В четверг компания Inception Labs выпустила Mercury Coder – новую языковую модель ИИ, которая использует методы диффузии для генерации текста быстрее, чем обычные модели.

В отличие от традиционных моделей, которые создают текст слово за словом (например ChatGPT), основанные на диффузии модели, такие как Mercury, одновременно производят целые ответы, преобразуя их из изначально замаскированного состояния в связный текст.

Традиционные большие языковые модели строят текст слева направо, по одному токену за раз. Они используют технику, называемую «авторегрессия». Каждое слово должно ждать всех предыдущих слов, прежде чем появиться. Вдохновленные техниками из моделей генерации изображений, таких как Stable Diffusion, DALL-E и Midjourney, языковые модели диффузии текста, такие как LLaDA (разработанные исследователями из Университета Жэньминь и Ant Group) и Mercury, используют подход, основанный на маскировании. Эти модели начинают с полностью скрытого контента и постепенно раскрывают все части ответа одновременно.

Inception Labs Mercury

Согласно Inception Labs, их подход позволяет модели уточнять выходные данные и устранять ошибки, поскольку она не ограничивается рассмотрением только ранее сгенерированного текста. Эта параллельная обработка обеспечивает заявленную Mercury скорость генерации более 1000 токенов в секунду на графических процессорах NVIDIA H100. Эти модели диффузии поддерживают производительность быстрее или сопоставимую с обычными моделями аналогичного размера. Исследователи LLaDA сообщают, что их модель с 8 миллиардами параметров работает аналогично LLaMA3 8B в различных тестах, с конкурентоспособными результатами в таких задачах, как MMLU, ARC и GSM8K.

Однако Mercury заявляет о кардинальном улучшении скорости. Их Mercury Coder Mini набирает 88,0% на HumanEval и 77,1% на MBPP – сопоставимо с GPT-4o Mini – при этом, как сообщается, работая со скоростью 1109 токенов в секунду по сравнению с 59 токенами в секунду у GPT-4o Mini. Это примерно в 19 раз больше скорости по сравнению с GPT-4o Mini при сохранении аналогичной производительности в тестах.

Inception Labs Mercury

В документации Mercury указано, что их модели работают «со скоростью более 1000 токенов/сек на NVIDIA H100, скорость, которая ранее была возможна только при использовании специальных чипов» от специализированных поставщиков оборудования, таких как Groq, Cerebras и SambaNova. По сравнению с другими оптимизированными по скорости моделями заявленное преимущество остается значительным: Mercury Coder Mini, как сообщается, примерно в 5,5 раза быстрее Gemini 2.0 Flash-Lite (201 токен/сек) и в 18 раз быстрее Claude 3.5 Haiku (61 токен/сек).

Самостоятельно попробовать Mercury Coder можно на демонстрационном сайте Inception, а также загрузить код для LLaDA или попробовать демоверсию на Hugging Face.

Подпишись вTelegram
Представлен Huawei Pocket 2 Premium Edition

Представлен Huawei Pocket 2 Premium Edition

Vivo Y400 Pro 5G получил 120-герцевый AMOLED-экран и АКБ на 5500 мАч

Vivo Y400 Pro 5G получил 120-герцевый AMOLED-экран и АКБ на 5500 мАч

Ремонтопригодность ноутбука Framework Laptop 12 оценили в 10 из 10

Ремонтопригодность ноутбука Framework Laptop 12 оценили в 10 из 10

AyaNeo представила Pocket S2 и S2 Pro – Android-консоли на Snapdragon G3 Gen 3

AyaNeo представила Pocket S2 и S2 Pro – Android-консоли на Snapdragon G3 Gen 3

Вышел ноутбук ASUS ProArt P16 – рабочая станция с NVIDIA RTX 5070

Вышел ноутбук ASUS ProArt P16 – рабочая станция с NVIDIA RTX 5070

Apple готовит складной iPhone с Touch ID по цене от $2000

Apple готовит складной iPhone с Touch ID по цене от $2000

Представлен iQOO Z10 Lite – 120 Гц и 6000 мАч за $115

Представлен iQOO Z10 Lite – 120 Гц и 6000 мАч за $115

AMD выпустила Ryzen Threadripper PRO 9000 – 96 ядер, до 2 ТБ памяти и 128 линий PCIe 5.0

AMD выпустила Ryzen Threadripper PRO 9000 – 96 ядер, до 2 ТБ памяти и 128 линий PCIe 5.0

Nintendo пожизненно банит Switch 2 за MiG Flash – даже с легальными копиями игр

Nintendo пожизненно банит Switch 2 за MiG Flash – даже с легальными копиями игр

Представлены Amazfit Active 2 Square – часы с AMOLED-дисплеем и автономностью до 10 дней

Представлены Amazfit Active 2 Square – часы с AMOLED-дисплеем и автономностью до 10 дней

Новая спецификация увеличит дальность NFC в 4 раза

Новая спецификация увеличит дальность NFC в 4 раза

Microsoft Xbox объявила стратегическое партнерство с AMD

Microsoft Xbox объявила стратегическое партнерство с AMD