Команда 71 отдела обучила слотовую смесь и сыграла в GOLF на ICLR 2024

14.05.2024

 

71 отдел не сидит на месте. С 7 по 11 мая в Вене (Австрия) раскинулась 12-я международная конференция ICLR 2024, название которой в кругу людей сведущих уже даже не принято расшифровывать (Международная конференция по обучению представлений). За прошедшее десятилетие она из молодой, едва оперившейся провинциальной (для Штатов, откуда родом) встречи единомышленников выросла в ведущее мировое событие в области машинного обучения и нейросетевых моделей, куда мечтает попасть и стар, и млад. Значительно расширилась и её география: если в ушедшем году она проходила в Африке (Руанда), а в нынешнем проходит в Европе, то в следующем году планирует переехать в Азию (Сингапур).

 

Команде Александра Панова повезло чуть больше стара и млада. Вот лишь список приглашённых сотрудников Института проблем искусственного интеллекта: Александр Скрынник, Алексей Ковалёв, Леонид Угадяров, Даниил Кириленко, Виталий Воробьёв и, конечно, сам Александр Панов. С собой они привезли две работы, обнародованные на третий и пятый день пребывания соответственно: «Объектно-центричное обучение с модулем слотовой смеси» (ссылка) и «Обучение постепенной оптимизации для минимизации конформационной энергии» (ссылка).

 

В первом случае речь шла о повышении эффективности объектно-центричных слотовых представлений с помощью модели гауссовой смеси (GMM), для чего командой был своевременно спроектирован обучаемый кластерный метод Slot Mixture Module на его основе. В отличие от других методов, наш объединяет сразу и кластерные центры, и межкластерные расстояния для слотовых представлений. Эмпирические доказательства с датасета CLEVR показали надёжность модели в задачах прогнозирования свойств со строгими пороговыми значениями и превосходство в задачах реконструкции объекта. Авторы даже улучшили результаты реконструкции на синтетических датасетах типа CLEVR-Mirror, ShapeStacks и ClevrTex, хотя и столкнулись с некоторыми ограничениями. Помогал в работе грант РНФ № 20-71-10116 (ссылка).

 

 

Вторая статья по активному обучению для генерации молекулярных конформаций с низкой энергией была создана усилиями великого множества авторов, включая специалистов ФИЦ ИУ РАН. В ней доступно объясняется, почему методы итеративной оптимизации, подсчитанные с помощью симулятора физики, вычислительно дороги и неэффективны. Для ускорения процедуры симуляторы заменяются нейронной сетью. Впрочем, и она не застрахована от ошибок искажения, что побуждает создавать оптимизированные траектории в качестве дополнительных данных обучения. Gradual Optimization Learning Framework (GOLF) призван минимизировать энергию при помощи внешнего оптимизатора и схемы сбора данных, что подтвердили результаты экспериментов и дайджест Александра Панова: на ICLR проект «заслужил большое внимание коллег»!

 

Ещё больше впечатлений с конференции вам подарит традиционный видеоотчёт Центра когнитивного моделирования о поездке. Только вот семинар пришлось отложить на неопределённый срок: едва вернувшись, коллектив тут же отбыл в Японию для участия в ведущей конференции по робототехнике IEEE International Conference on Robotics and Automation (ICRA 2024). Очень, знаете ли, насыщенный выдался сезон. И славно, ещё столько поводов порадоваться за ребят! А отчёт обязательно будет — следите за обновлениями в нашем «Телеграме».


Cсылки по теме:

сайт ICLR 2024

новость VK ФИЦ ИУ РАН