ПРЕДВАРИТЕЛЬНАЯ ОЦЕНКА ОТВЕТОВ ОБУЧАЮЩИХСЯ НА ОСНОВЕ ВЕКТОРНОЙ МОДЕЛИ

Abstract

В статье рассматривается применение векторного представления слов и предложений для анализа и предварительного оценивания ответов студентов, данных в свободной форме. Для векторизации предложений использовались модели word2vec и doc2vec. Модели были обучены на учебных текстах по компьютерной графике. Ответы студентов сравнивались с примерами корректных ответов из учебника и с верными ответами других студентов с использованием косинусной меры. Было выявлено, что модели с достаточной точностью определяют явно неверные ответы. Для ответов, которые близки по формулировке к верным, предлагается ввести дополнительную проверку, включающую определение важных, ключевых слов для верного ответа. С помощью модели word2vec выполнена двоичная классификация ответов на определенные вопросы, оценена точность.

The article discusses the use of vector representation of words and sentences for the analysis and preliminary assessment of students' answers given in free form. The word2vec and doc2vec models were used to vectorize sentences. The models were trained on educational texts on computer graphics. Students' answers were compared with examples of correct answers from the textbook and with correct answers of other students using a measure of cosine similarity. It was found that the models differentiate clearly incorrect answers with sufficient accuracy. For answers that are close in wording to the correct answers, it is suggested that an additional check be introduced that includes identifying important, keywords for the correct answer. Using the word2vec model, binary classification of answers to certain questions was performed, and accuracy was evaluated.