Содержание
Micron вывела на рынок модуль памяти SOCAMM2 объёмом 256 ГБ на чипах LPDDR5x. Это история строго для дата-центров: в сервере с восьмиканальным CPU можно поставить восемь таких модулей и получить до 2 ТБ памяти.
Компания целится в AI-серверы и HPC, где узким местом всё чаще становится не только ускоритель, но и системная память. Особенно когда растут контекстные окна и объём данных, которые нужно держать ближе к CPU.
Что именно выпустила Micron
Новый модуль — это 256GB SOCAMM2, собранный из 64 монолитных чипов LPDDR5x ёмкостью 32Gb каждый. Micron подчёркивает, что это плотная LPDRAM-упаковка под задачи, где важны ёмкость, пропускная способность и энергопотребление.
По сравнению с прошлым поколением модулей на 192 ГБ прирост ёмкости составляет примерно на треть. Для серверов это прямой способ держать больше данных в памяти и реже упираться в нехватку объёма при инференсе.
2 ТБ на процессор: как это собирается
Micron описывает конфигурацию, где восемь SOCAMM2-модулей ставят в систему с восьмиканальным серверным CPU. В такой схеме суммарный объём CPU-подключённой LPDRAM достигает 2 ТБ.
Здесь важен и форм-фактор. Micron говорит, что SOCAMM2 задуман модульным, чтобы упростить обслуживание и расширение, а ещё он совместим с серверами на жидкостном охлаждении.
Энергопотребление, габариты и заявленные метрики для инференса
Micron называет SOCAMM2 более эффективным решением, чем привычные серверные модули памяти. По заявлениям компании, новый LPDRAM-модуль потребляет примерно в три раза меньше энергии, чем сопоставимые RDIMM, и занимает около трети физического объёма.
Отдельно Micron приводит цифры по AI-инференсу в unified memory сценариях. Компания заявляет улучшение time-to-first-token более чем в 2,3 раза при длинном контексте, когда модуль используют для offload key-value cache. Для чисто CPU-нагрузок Micron говорит о более чем 3x лучшей производительности на ватт по сравнению с массовой серверной памятью.
Официальные детали из пресс-релиза Micron — по ссылке: Micron sets new benchmark: 256GB SOCAMM2.
«Micron’s 256GB SOCAMM2 offering enables the most power-efficient CPU-attached memory solution for both AI and HPC», — заявил Радж Нарасимхан, старший вице-президент и руководитель Cloud Memory Business Unit в Micron.
Micron также уточняет, что линейка LPDRAM у компании охватывает компоненты от 8 до 64 ГБ, а модули SOCAMM2 — от 48 до 256 ГБ. Сэмплы 256GB SOCAMM2 уже отправляют заказчикам.
