iNc · Вычисления в памяти
Сравнение SRAM-PIM, DRAM-PIM и NAND-iNc по архитектуре, энергии и масштабу.
| Критерий | SRAM-PIM | DRAM-PIM | NAND-iNc |
|---|---|---|---|
| Конечное размещение данных | Временный кэш | Временная память | Постоянное хранилище |
| Путь перемещения данных | SSD→DRAM→SRAM | SSD→DRAM | Без перемещения, вычисления на месте |
| Решение основной проблемы | Локальная оптимизация | Частичное смягчение | Устранение основной причины |
| Прирост энергоэффективности | Ограниченная оптимизация | В 2–4 раза | Более чем в 100 раз |
| Масштаб ёмкости | КБ–МБ | ГБ–ТБ | ТБ–ПБ |
| Стоимость единицы ёмкости | $1000+/ГБ | $10/ГБ | $0,1/ГБ |
| Сохранность данных | Энергозависимая | Энергозависимая | Энергонезависимая |
| Ресурс перезаписи | Не ограничен | Не ограничен | 50 000+ циклов, защита LDPC |
| Пригодность для периферийного ИИ | Недостаточная ёмкость | Высокое потребление | Малая мощность и большая ёмкость |
| Требования к техпроцессу | Высокоточный процесс | Стандартный DRAM | Стандартный NAND Flash без изменений |
Два принципиально разных способа измерения
Измерение производительности CPU/GPU
TOPS и GOPS считают, сколько цифровых операций умножения и сложения кристалл выполняет за секунду.
Это как считать число винтов, которое рабочий закручивает за час, не учитывая, доставлены ли материалы.
На практике много времени уходит на перемещение данных. TOPS/GOPS не отражают эти затраты.
Превращение склада в фабрику
Вычисления выполняются внутри массива памяти: не требуется доставлять данные к отдельным цифровым вычислителям.
Данные из хранилища необходимо передавать в CPU/GPU.
Вычисления выполняются в массиве памяти без перемещения данных.
Вместо найма новых рабочих сам склад превращается в фабрику: меньше перемещений — выше скорость и ниже расход энергии.
Перемещение данных и вычисления на месте
1 / 5 · Загрузка с диска в память
Пять этапов, включая возврат результатов через DRAM.
Вычисления внутри массива без передачи данных в CPU.
Один этап, малое перемещение данных
Цифровые MAC и тактовая частота позволяют считать операции.
Токи и проводимости ячеек обеспечивают аналоговые вычисления во всём массиве. Число операций в секунду не описывает этот процесс напрямую.
Пиковая мощность ограничивается пропускной способностью памяти и энергией перемещения данных.
Результат оценивается по времени задачи и энергии, а не только по числу TOPS.
TOPS/GOPS характеризуют общие цифровые вычисления.
Векторный поиск, сопоставление сходства и поиск эмбеддингов с большими объёмами данных могут выполнять в 10–100 раз больше работы при той же энергии.
Цифровые операции в секунду при условии, что данные уже находятся рядом с процессором.
Насколько быстрее и экономичнее выполняется одна и та же задача.
Сопоставлять задержку и энергию на одинаковой задаче и наборе данных.