Нейросети ChatGPT и Sage сдали университетский экзамен по истории на тройку

В Уральском федеральном университете для нейросетей Chat GPT и Sage провели экзамен по истории, за который они получили «тройку», сообщает ТАСС.

Нейросети протестировали на знание истории России, а именно исторических фактов и терминологии. В вузе рассказали, что Chat GPT и Sage хорошо ответили на вопросы, связанные с использованием общей научной терминологии. Но с гуманитарным материалом они не справились, поскольку для этого необходимо знать языки нескольких эпох. Например, терминология XVI века написана на церковнославянском языке, языке деловой письменности и на разговорном. Преподаватели заметили, что программы владеют только современным русским языком.

Доцент кафедры истории России УрФУ Михаил Киселёв, который инициировал тестирование, назвал нейросеть «студентом-импровизатором» и поставил за экзамен тройку. Он отметил, что Chat GPT и Sage приводят выдуманные факты там, где затрудняется с ответом.

«Есть тип, когда студент выучил кое-что, но делает вид, что он знает всё. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, и здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», – рассказал историк.

Например, при ответе на вопрос «Какие историки писали о завещании Василия III?» Sage назвала какого-то Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу «История Российского государства».

ChatGPT сдал экзамен по истории за 9 класс на тройку

Читать подробнее