Технологии

Эра гигантских нейросетей уходит в прошлое: инновация в Москве пошатнула позиции мировых ИТ-лидеров

13 сентября 7 просмотров 1 минута на чтение
Размер шрифта: А А А

Рынок больших языковых моделей (LLM) переходит от гонки объемов к борьбе за эффективность. Публикация "Яндексом" базовой версии Alice AI Search Pretrain на Hugging Face иллюстрирует этот сдвиг: ценность модели теперь определяется не общим числом параметров, а стоимостью одного токена при сохранении качества ответа. Центральный тезис здесь в том, что для массовых продуктов вроде поиска избыточная мощность универсальной модели становится экономически нецелесообразной, уступая место специализированным архитектурам.
Техническое решение Alice AI Search Pretrain базируется на гибриде двух подходов: Encoder-Decoder и Mixture of Experts (MoE). Первая часть отвечает за фильтрацию информации и генерацию лаконичного текста, вторая — за избирательную активацию ресурсов. В результате модель с 35 млрд параметров при обработке одного токена задействует лишь около 600 млн (менее 2%). Это позволяет достигать результатов, сопоставимых с гораздо более тяжелыми моделями, такими как Qwen 3.5 35B-A3B, при значительно меньших затратах на вычисления.
Такая архитектура продиктована спецификой поисковых запросов: системе нужно обработать массив документов и быстро выдать сжатый итог. Согласно данным компании, дообученная версия модели уже обслуживает более 49 млн пользователей в месяц. Опыт внедрения показывает, что оптимизация под конкретный продукт эффективнее, чем использование универсальных гигантов. Схожий тренд виден и в глобальных проектах: например, DeepSeek V3 при общем объеме 671 млрд параметров задействует всего 37 млрд на один токен.

Эра гигантских нейросетей уходит в прошлое: инновация в Москве пошатнула позиции мировых ИТ-лидеров
Читать полностью на сайте www.pravda.ru