Оценка искусственным интеллектом развёрнутых ответов школьников на задания ЕГЭ по биологии: взгляд методиста

Автор: Кириллова Наталия Николаевна

Организация: Онлайн-сервис «Облако знаний» (ООО «Физикон Лаб»)

Населенный пункт: Московская область, г. Долгопрудный

Одна из важнейших задач, стоящих перед учеником на ЕГЭ по биологии, как и на ЕГЭ по другим предметам, – дать полные развёрнутые ответы на задания части 2. Развёрнутые ответы в настоящее время проверяются квалифицированными экспертами, но в связи с развитием технологии искусственного интеллекта открываются возможности его применения в обучении в целом и в подготовке к ЕГЭ в частности. Например, образовательный онлайн-сервис «Облако знаний» при грантовой поддержке Фонда содействия инновациям работает над проектом по использованию нейросети для проверки заданий ЕГЭ с развёрнутым ответом.

Результаты ЕГЭ имеют большое значение в контексте будущего профессионального обучения выпускников школ, поэтому у учителей и у самих школьников возникает вопрос: а вдруг модель искусственного интеллекта не сможет дать корректную оценку ответам, если они сформулированы не так, как в критериях, заданных для верного ответа? Что необходимо сделать, для того чтобы модель учитывала и, соответственно, оценивала веер правильных ответов, а не только то, что непосредственно указано в критериях? Рассмотрим возможные решения на примере заданий по биологии.

Как сейчас оцениваются работы учеников?

Тип заданий ЕГЭ определяется положениями нормативно-правовых документов, регулирующих процедуру ГИА – кодификаторами, спецификациями и демонстрационной версией.

В контрольно-измерительных материалах по биологии в 2024 году задания линий 22–26 относятся к заданиям открытого типа, задания линий 27 и 28 – к заданиям закрытого типа.

Оценивание всех заданий 2 части ЕГЭ экспертами производится по критериям оценки ответов. В критериях указано, что ответ ученика на задания закрытого типа обязательно должен содержать позиции, приведённые в критериях оценки. В ответах на задания открытого типа допускаются как ответы, совпадающие по формулировке с критериями, так и иные формулировки ответа, не искажающие его смысла. Ученик может дать верный ответ на вопрос, но записать его другими словами.

Пример задания линии 23 ЕГЭ по биологии:

Например, в задании «Как влияет кислотность среды на скорость размножения инфузорий-туфелек», можно дать ответы:

• повышение кислотности среды замедляет скорость размножения инфузорий туфелек;
• понижение кислотности среды повышает скорость размножения инфузорий-туфелек;
• изменение скорости размножения инфузорий обратно пропорционально кислотности среды.

Все эти ответы будут верными. То есть в заданиях открытого типа действительно возможны различные формулировки правильного ответа.

Как повысить точность оценки работ нейросетью?

Без сомнений, сейчас заменять эксперта предметной комиссии на модель искусственного интеллекта проблематично и нерационально. Текущие исследования направлены в будущее. Именно в целях развития технологии решается задача повышения корректности оценки ответов выпускника. В чём же заключается решение?

В первую очередь – это загрузка большого количества данных с ответами в модель искусственного интеллекта. Модель должна видеть как верные, так и неверные ответы. Чем больше разнообразие данных, тем выше точность оценки ответа моделью.

Критерии ответа:

Варианты ответов учеников:

Кроме того, необходимо проверять загружаемые ответы на соответствие теме вопроса. Вносимые в систему ответы не должны содержать излишних суждений, бессмысленных и просторечных выражений.

Варианты ответов учеников:

Именно поэтому к обучению модели искусственного интеллекта привлекаются методисты по предмету. В идеальной ситуации это должен быть человек, являющийся экспертом предметной комиссии по проведению государственной итоговой аттестации обучающихся, освоивший основные образовательные программы ООО и СОО по предмету. В процессе работы эксперты имеют дело с огромным количеством работ, поэтому более ясно представляют возможный разброс ответов реальных учеников, лучше знают наиболее типичные ошибки, что позволяет обучить нейросеть их распознавать.

Методист напрямую участвует в обработке ответов, загружаемых в модель искусственного интеллекта: сначала формирует элементарные критерии оценки ответов, а затем проверяет ответы на соответствие элементарным критериям и в целом на корректность.

Это довольно кропотливая и тщательная работа, требующая глубоких предметных знаний. В результате существенно повышается точность оценки ответов выпускников нейросетью.

Выводы

Повышение доверия к оценке моделью искусственного интеллекта достигается при наличии чётких критериев правильности ответа, а также при соответствии загруженной в модель информации федеральным рабочим программам по предметам и нормативно-правовым документам, определяющим содержание и регламент ГИА (спецификации, кодификаторы, демоверсия).

При соблюдении этих условий и учителя, осуществляющие подготовку к ГИА, и сами выпускники могут быть уверены в корректной оценке ответов моделью.

Преимуществ применения нейросетей множество для всех участников образовательного процесса. Если учитель использует модель искусственного интеллекта при подготовке к ЕГЭ, то он, во-первых, получает автоматическую проверку ответов на задания части 2 и экономит время на ручной проверке. При желании после внедрения технологии возможно будет сочетать автоматическую и ручную проверку работ: ответ ученика, оценённый ИИ, поступит учителю, а тот вправе согласится с нейросетью, либо сможет поставить свою отметку. Во-вторых, учитель может быть уверен, что все ответы учеников получат объективную оценку. Учитывая это, важно продолжать изучать возможности искусственного интеллекта при проверке развёрнутых ответов ЕГЭ.

___________________________________________________________

Проект по внедрению искусственного интеллекта в онлайн-сервис «Облако знаний» реализуется при грантовой поддержке Фонда содействия инновациям.

1. file0.docx.. 917,1 КБ

Опубликовано: 04.04.2024