Исследована проблема квантификации уверенности больших языковых моделей (Large Language Model, LLM) при автоматической семантической классификации аргументов при эмотивных предикатах. На материале русскоязычных сообщений социальных сетей проанализированы глаголы страха (пугать, бояться и др.) и эмоционального отношения (нравиться, любить) с семантическими ролями экспериенцера, каузатора и объекта. В работе дано сравнение самооценки уверенности LLM Claude Sonnet 4.5 с экспертной оценкой текстов рассуждений модели при классификации аргументов по тематической области «Здравоохранение». В эксперименте использована стратифицированная выборка из 300 примеров с применением цепочки рассуждений на русском языке и четырехступенчатой шкалы уверенности. Результаты показали умеренную корреляцию Спирмена между оценками эксперта и модели. Статистически значимая связь установлена только между самооценкой модели и фактической корректностью классификации, тогда как экспертная оценка лингвистических характеристик рассуждений не зависит от точности. Сделан вывод о том, что эксплицитные рассуждения LLM не связаны напрямую с самооценкой по степени уверенности и не влияют на процесс принятия решений; они могут являться важной функциональной частью пользовательского интерфейса, но не исследовательского.
DOI: 10.26907/1562-5419-2026-29-4-1155-1173
Скачать статью (PDF) на сайте журнала: https://rdl-journal.ru/article/view/1091
Скачать статью (PDF) в eLibrary (требуется регистрация): https://www.elibrary.ru/item.asp?id=93455602
Ларионов, Д. С., Никитина, Е. Н., Смирнов, И. В. Уверенность LLM при построении семантических классификаций аргументов // Электронные библиотеки. — Т. 29. — Вып. 4. — 2026. — С. 1155–1173.