На конференции Intel Vision 2024 компания Intel представила ускоритель Intel Gaudi для обучения и вычислений генеративного искусственного интеллекта.
Особенности
Новый Gaudi 3 построен на 5-нм производственном узле TSMC, оснащен 96 МБ скоростной кэш-памяти SRAM и 128 ГБ памяти HBM3E с пропускной способностью 3,7 ТБ/с. Gaudi 3 имеет 8 матричных процессоров и 64 тензорных процессора.
Intel Gaudi 3 обещает в 4 раза больше вычислений искусственного интеллекта в режиме BF16 и в 1,5 раза увеличение пропускной способности памяти по сравнению с его предшественником. Производительность в режиме FP8 достигает 1835 TFLOPS.
Как и предшественники, Gaudi 3 использует порты Ethernet для масштабирования. При скорости 24×200 ГБит/с пропускная способность фактически удваивается по сравнению с Gaudi 2.
Ускорители Intel Gaudi 3 AI будут представлены в форм-факторе OAM (OCP Accelerator Module) HL-325L с мощностью до 900 Вт, предназначенным для высокопроизводительных серверных решений. Ещё будут доступны ускорители Gaudi 3 HL-338 для установки в слот PCIe с TDP 600 Вт и аналогичными характеристиками, как у моделей OAM. Также была представлены базовая плата HLB-325 и система HLFB-325L, способная вместить до 8 ускорителей Gaudi 3. Эта система имеет общий TDP в 7,6 кВт.
Intel активно проводит сравнение нового ускорителя с NVIDIA H100. Из этих сравнений видно, что новый Intel Gaudi 3 превосходит конкурентов в процессе обучения различных моделей искусственного интеллекта, демонстрируя преимущество от 1,4 до 1,7 раз. Однако при выводе результатов разница уже заметно сокращается. Но с точки зрения энергоэффективности Gaudi 3 значительно превосходит конкурентов в 1,2-2,3 раза в зависимости от области вычислений и конкретной модели искусственного интеллекта.
Сроки выхода
Intel Gaudi 3 будет доступен OEM-производителям, включая компании Dell Technologies, HPE, Lenovo и Supermicro, во втором квартале 2024 года.
