Ivan Smirnov shared his doubts about large language models during text processing and analysis at the Artificial Intelligence Problems seminar

03.10.2024

 

После затянувшегося летнего перерыва ФИЦ ИУ РАН и РАИИ вернулись к популярному формату семинара «Проблемы искусственного интеллекта». Открывать сезон пригласили заведующего 72 отделом ИПИИ Ивана Смирнова. 2 октября в конференц-зале Центра он поделился результатами своих многолетних исследований, бережно собранных в докладе «Интеллектуальный анализ текстов на основе методов разноуровневой обработки естественного языка» (ссылка). Наш автор, напомним, не только собаку съел на разноуровневых структурах текстов, но и удостоился за них звания доктора технических наук минувшей весной.

 

Отведённого времени, к счастью, хватило, чтобы бегло познакомить аудиторию с методами семантического и дискурсивного анализа (включая созданный командой крупнейший корпус русского языка с дискурсивной разметкой), информационным и вопросно-ответным поиском на основе семантических структур и баз знаний, разрешением кореференции и другими приёмами, на разработку которых у Ивана ушли годы. Значительную часть лекции он уделил практической пользе инструментов TextAppliance и TITANIS в ходе психолингвистических экспериментов, о которых мы неоднократно писали: например, при определении депрессии по текстам эссе или личностных особенностей по текстам социальных сетей, выявлении типа реакции на фрустрацию по Розенцвейгу и анализе сетевого политического дискурса.

Также его внимание привлекла актуальная проблема доверия к большим языковым моделям (LLM), получившим широкое распространение в последние годы. При всей кажущейся эффективности эти модели обладают целым рядом недостатков, ставящих под сомнение результаты анализа — тем более, если дело касается русского языка. Перспективу автор видит в гибридизации разноуровневых структур текста с LLM, например, для эффективного установления семантических ролей или выявления ментальных расстройств. Полная видеозапись с графиками, комментариями и ответами на вопросы старших товарищей доступна для вашего просмотра: