Павел Шпидель: YandexGPT 5 Pro

Насколько далеко от лидеров?

Яндекс представил свою флагманскую модель YandexGPT 5 Pro.

В невероятной высокоинтенсивной гонке за лидерство в ИИ на арену пытается взобраться Яндекс, хотя до лидеров очень далеко, но судя по представленной информации, новая российская LLM весьма перспективная.

В настоящий момент эта модель пока не поддерживает мультимодальность (внешнюю коммуникацию через аудио, фото или видео), не поддерживает обработку файлов, пока только текст.

YandexGPT 5, как заявлено, является конкурентоспособной моделью, особенно для задач на русском языке, с сильной интеграцией в популярные сервисы и доступом для бизнеса.

В семейство YandexGPT 5 вошли две модели:

1.  YandexGPT 5 Pro – флагманская модель, конкурирующая с прошлым поколением ведущих LLM, таких как OpenAI GPT-4o и Alibaba Qwen2.5.

2.  YandexGPT 5 Lite (будет доступна позже, но уже выложена на платформе Hugging Face) – облегчённая версия с 8 млрд параметров, опубликованная с открытым кодом. Допускает дообучение.

• Обе версии YandexGPT 5 поддерживают контекст до 32 тыс токенов, что в 4 раза превышает возможности предыдущего поколения.
• Предварительное обучение на 15 трлн токенов, включающих русскоязычный контент (70%), англоязычные материалы (30%), программный код и математические задачи.
• Доля англоязычных данных в обучающем датасете увеличилась с 14% до 30%, улучшив генерацию ответов на английском языке.
• В слепых A/B-тестах YandexGPT5 Pro демонстрирует сопоставимое с GPT-4o качество ответов, а в задачах, связанных с русскоязычным контентом, превосходит его.
• В классификации информации модель достигает точности 70% против 51% у GPT-4o. Однако в математических расчётах и работе с кодом GPT-4o сохраняет преимущество в 5-7%.
• В тестах на точность ответов с опорой на внешние базы знаний модель показала успешность 68% против 55% у GPT-4o.
• В тестах на написание кода YandexGPT5 Pro превосходит Qwen 2.5 32b на 12 п.п. Китайская Qwen 2.5 32b, хотя и превосходит YandexGPT5 Pro в математике (66% против 58%), уступает в фактологических задачах (62% против 68%).
• В автоматизации клиентской поддержки YandexGPT5 Pro обрабатывает на 15% больше запросов без участия человека по сравнению с предыдущей версией.
• Интеграция с Yandex SpeechSense позволяет анализировать голосовые обращения с точностью 89%, что на 7% выше, чем у Qwen 2.5.
• Для бизнес-заказчиков часто важно, чтобы модель отвечала, опираясь на конкретные источники — например на базу знаний компании. Эта технология называется RAG (Retrieval Augmented Generation). В работе с такими сценариями YandexGPT Pro 5 выигрывает как у модели прошлого поколения, так и у GPT-4o.

YandexGPT 5 Pro умеет работать с внешними инструментами и API.

YandexGPT 5 Pro уже доступен в:
•  Чате с «Алисой» (в веб-версии, мобильном приложении и «Яндекс Браузере»).
•  Умных устройствах с «Алисой».
•  Корпоративных сервисах Yandex Cloud AI Studio и SpeechSense.

Бесплатный лимит составляет 20 сообщений в день, платный доступ всего 100 руб в месяц.

В целом, в представленных тестах от Яндекса, YandexGPT 5 Pro плюс-минус примерно сопоставим с GPT-4o и Qwen 2.5 32b, но лучше справляется с информацией на русском языке, т.к. обучался на русскоязычных источниках и оптимизирован под Россию – в это и есть главное преимущество.

Лично еще не успел познакомиться, лишь беглый осмотр, компетентное мнение дать пока не могу, ознакомлюсь с моделью позже.