Нейросеть Сбера ГигаЧат подтвердила уровень знаний, достаточный для успешной сдачи экзамена по направлению «Математика и компьютерные науки» на уровне выпускника магистратуры. В ходе аттестационного испытания, проведенного на базе Сколтеха, работа модели была оценена аттестационной комиссией на оценку 4 («хорошо»).
Аттестация проходила в два этапа. Сначала модель прошла тестирование на 500 уникальных вопросах закрытого типа в формате MMLU, которые были разработаны преподавателями Сколтеха. Они охватывали 9 тем в области компьютерных наук: алгоритмы и структуры данных, базы данных, кибербезопасность, программное обеспечение, программирование, сети и оборудование, специализированное ПО, управление и искусственный интеллект. Средний показатель правильных ответов модели на вопросы составил 76,9%.
Второй этап — очный экзамен с участием аттестационной комиссии, состоящей из 8 докторов технических и физико-математических наук. Эксперты комиссии выбрали 3 билета из 45, по которым проводили оценку знаний ГигаЧат. Каждый билет содержал два задания — теоретическое (проверка фундаментальных знаний в предметной области) и практическое (прикладная задача). Все задачи были разработаны специально для этого испытания и отсутствовали в открытых базах, что исключало возможность поиска готовых ответов и требовало от нейросети применения реальных знаний. Для объективной оценки глубины компетенций эксперты не только проверяли ответы, но и задавали уточняющие вопросы, просили объяснить ход рассуждений и анализировали работу модели с нестандартными формулировками.
Оценка проводилась по профильному принципу: например, при оценке ответов модели на задания по программированию решающий голос принадлежал соответствующему эксперту. Применение весовых коэффициентов позволило обеспечить максимальную объективность аттестации. По итогам очного экзамена модель набрала 7 из 10 баллов по шкале Сколтеха, что соответствует итоговой оценке 4 («хорошо»).
Ранее ГигаЧат успешно сдал ЕГЭ по обществознанию, профильные экзамены по медицине, финансам, экономике, музыковедению и другим направлениям в ведущих вузах страны.
