Могут ли чат-боты на основе искусственного интеллекта оценивать образовательные данные так же хорошо, как люди

Получение точной информации из обширных образовательных баз данных остается проблемой для многих пользователей. Ответы на простые вопросы, такие как успеваемость или статистические нормы, часто разбросаны по отчетам, таблицам или техническим документам. Чтобы облегчить доступ к этим данным, разрабатываются инструменты генеративного искусственного интеллекта, такие как чат-боты. Однако их надежность и точность вызывают вопросы, особенно когда речь идет о чувствительных и актуальных данных.

Перспективным решением является технология, называемая генерацией с дополнением на основе поиска. В отличие от классических моделей искусственного интеллекта, этот подход не опирается исключительно на предварительно записанные знания. Он в реальном времени черпает информацию из официальных и проверенных источников, чтобы предоставлять адаптированные и контекстуальные ответы. Это снижает риск ошибок или устаревшей информации — распространенной проблемы традиционных инструментов.

Исследователи протестировали специализированного чат-бота в области образования, предназначенного для ответа на сложные вопросы о стандартах и школьных данных. Чтобы оценить его эффективность, они сравнили его ответы с ответами человеческих экспертов по трем основным критериям: точность информации, её полнота и ясность изложения. Результаты показывают, что чат-бот дает ответы, столь же надежные, как и оцененные экспертами. В некоторых случаях он даже превосходил последовательность человеческих оценок, особенно в качестве коммуникации.

Основное новшество заключается в использовании другой модели искусственного интеллекта для автоматизации части процесса оценки. Этот метод, называемый оценкой с помощью большой языковой модели, позволяет экономить время и ресурсы, сохраняя при этом высокий уровень качества. Анализ показывает, что такой автоматизированный подход дает результаты, сопоставимые с оценками людей, а по ясности ответов даже превосходит их.

Это достижение открывает путь к более широкому использованию искусственного интеллекта для анализа и предоставления доступа к сложным образовательным данным. Оно может помочь учителям, родителям и лицам, принимающим решения, быстро получать точную информацию без необходимости в технической экспертизе. Частичная автоматизация оценки также позволяет сократить затраты и ускорить процессы, сохраняя при этом человеческий контроль для обеспечения правильности результатов.

Однако в исследовании подчеркивается, что эти инструменты не должны полностью заменять человеческую экспертизу. Они скорее выступают в роли помощников, облегчая доступ к информации, но время от времени требующих проверки. В будущем такой подход может быть распространен и на другие области, где точность и актуальность данных имеют решающее значение.

Bibliographie

Source du rapport

DOI : https://doi.org/10.1186/s40536-026-00287-w

Titre : Evaluating generative AI chatbots for large-scale assessment data: comparing LLM-as-a-judge and human ratings

Revue : Large-scale Assessments in Education

Éditeur : Springer Science and Business Media LLC

Auteurs : Ting Zhang; Luke Patterson; Blue Webb; Zeyu Jin; Maggie Beiting-Parrish