В четверг компания Inception Labs выпустила Mercury Coder – новую языковую модель ИИ, которая использует методы диффузии для генерации текста быстрее, чем обычные модели.

В отличие от традиционных моделей, которые создают текст слово за словом (например ChatGPT), основанные на диффузии модели, такие как Mercury, одновременно производят целые ответы, преобразуя их из изначально замаскированного состояния в связный текст.

Традиционные большие языковые модели строят текст слева направо, по одному токену за раз. Они используют технику, называемую «авторегрессия». Каждое слово должно ждать всех предыдущих слов, прежде чем появиться. Вдохновленные техниками из моделей генерации изображений, таких как Stable Diffusion, DALL-E и Midjourney, языковые модели диффузии текста, такие как LLaDA (разработанные исследователями из Университета Жэньминь и Ant Group) и Mercury, используют подход, основанный на маскировании. Эти модели начинают с полностью скрытого контента и постепенно раскрывают все части ответа одновременно.

Inception Labs Mercury

Согласно Inception Labs, их подход позволяет модели уточнять выходные данные и устранять ошибки, поскольку она не ограничивается рассмотрением только ранее сгенерированного текста. Эта параллельная обработка обеспечивает заявленную Mercury скорость генерации более 1000 токенов в секунду на графических процессорах NVIDIA H100. Эти модели диффузии поддерживают производительность быстрее или сопоставимую с обычными моделями аналогичного размера. Исследователи LLaDA сообщают, что их модель с 8 миллиардами параметров работает аналогично LLaMA3 8B в различных тестах, с конкурентоспособными результатами в таких задачах, как MMLU, ARC и GSM8K.

Однако Mercury заявляет о кардинальном улучшении скорости. Их Mercury Coder Mini набирает 88,0% на HumanEval и 77,1% на MBPP – сопоставимо с GPT-4o Mini – при этом, как сообщается, работая со скоростью 1109 токенов в секунду по сравнению с 59 токенами в секунду у GPT-4o Mini. Это примерно в 19 раз больше скорости по сравнению с GPT-4o Mini при сохранении аналогичной производительности в тестах.

Inception Labs Mercury

В документации Mercury указано, что их модели работают «со скоростью более 1000 токенов/сек на NVIDIA H100, скорость, которая ранее была возможна только при использовании специальных чипов» от специализированных поставщиков оборудования, таких как Groq, Cerebras и SambaNova. По сравнению с другими оптимизированными по скорости моделями заявленное преимущество остается значительным: Mercury Coder Mini, как сообщается, примерно в 5,5 раза быстрее Gemini 2.0 Flash-Lite (201 токен/сек) и в 18 раз быстрее Claude 3.5 Haiku (61 токен/сек).

Самостоятельно попробовать Mercury Coder можно на демонстрационном сайте Inception, а также загрузить код для LLaDA или попробовать демоверсию на Hugging Face.

Подпишись вTelegram
Apple AirPods смогут переводить разговоры в реальном времени

Apple AirPods смогут переводить разговоры в реальном времени

Новые данные о iPhone 17 Air и iPhone 17 Pro

Новые данные о iPhone 17 Air и iPhone 17 Pro

Sony разрабатывает IMX09A – флагманский фотосенсор для смартфонов

Sony разрабатывает IMX09A – флагманский фотосенсор для смартфонов

Представлены ноутбуки ASUS Vivobook S14 и S16 с AMD Ryzen 7 и автономность до 20 часов

Представлены ноутбуки ASUS Vivobook S14 и S16 с AMD Ryzen 7 и автономность до 20 часов

Apple выпустила iOS 18.3.2, macOS Sequoia 15.3.2 и visionOS 2.3.2

Apple выпустила iOS 18.3.2, macOS Sequoia 15.3.2 и visionOS 2.3.2

Глава IBM считает, что ИИ не заменит программистов

Глава IBM считает, что ИИ не заменит программистов

Ноутбук с десктопной NVIDIA RTX 5090 поддерживает ПК-компоненты и весит 5 кг

Ноутбук с десктопной NVIDIA RTX 5090 поддерживает ПК-компоненты и весит 5 кг

MSI представила компактную GeForce RTX 5070

MSI представила компактную GeForce RTX 5070

Представлен Adata SC730 – самый маленький SSD на 1 ТБ

Представлен Adata SC730 – самый маленький SSD на 1 ТБ

Представлен iQOO Neo 10R – Snapdragon 8s и АКБ на 6400 мАч

Представлен iQOO Neo 10R – Snapdragon 8s и АКБ на 6400 мАч

Microsoft работает над портативной консолью под кодовым названием Keenan

Microsoft работает над портативной консолью под кодовым названием Keenan

Samsung Galaxy S25 Edge получит 200-Мп камеру и батарею на 3786 мАч

Samsung Galaxy S25 Edge получит 200-Мп камеру и батарею на 3786 мАч