Средний балл этой модели составил 55, превышая минимальный требуемый порог в 40 баллов для поступления в высшие учебные заведения. Это становится первым случаем в России, когда искусственный интеллект успешно справляется с ЕГЭ, включая выполнение творческих заданий.

Этот эксперимент подчеркивает сложность самого экзамена, который оценивает не только знания, но и способность адекватно выразить мысли, обширность эрудиции и творческий потенциал.

Стандартным методом для проверки эрудиции языковых моделей в мире является MMLU, включающий в себя вопросы разной сложности из 57 различных областей знаний. Этот тест позволяет объективно сравнивать различные нейронные сети, но он не способен оценить качество их ответов на открытые или творческие вопросы. В связи с этим Яндекс предложил YandexGPT 2 сдать ЕГЭ по литературе.

Технический директор «Поиска» Яндекса, Алексей Гусаков, пояснил, что это было сделано, чтобы обеспечить чистоту эксперимента, и подтвердил, что образцы ЕГЭ были взяты из тренировочных экзаменов 2021-2023 годов, и что данные, использованные для обучения YandexGPT 2, не содержат ответов на эти вопросы.

Этот успех также подчеркивает значительное улучшение в YandexGPT 2, позволяя ей эффективно решать более широкий спектр задач с повышенным качеством ответов.