18–21 июня в культурной столице культурно отгремел XXVIII Петербургский международный экономический форум. Как обычно, деловая программа пестрела лекциями известнейших спикеров из самых разных сфер бизнеса, науки, медиа, политики и не только. Не обошли стороной и подрастающее поколение: так, крупнейшим событием последнего дня стала молодёжная площадка «День будущего». Студенты, аспиранты, начинающие предприниматели и, разумеется, учёные — все стремились попасть на «Экспофорум», где выступали модные и красивые эксперты, инноваторы и лидеры мнений.
Неудивительно, что туда же переехала и знакомая нам AI Journey вместе с полюбившимся вам Александром Пановым. Он выступил уже под занавес с «Рассуждениями и планированиями для воплощённого ИИ» (ссылка) и тут же заявил, мол, нечего скукоживать тему ИИ до каких-то языковых моделей. И максимально доступно поведал о воплощённой системе (embodied AI) и её типах, не забыв и о своей любимой компьютерной игре Minecraft — идеальном симуляторе воплощённого агента.
Коснулся он и задач навигации и выполнения текстовых инструкций в среде манипуляций с объектами для обучения роботов в человеко-центричных условиях, а также проблем при совмещении онлайн- и офлайн-обучения. Александр, помимо прочего, рассказал о современных архитектурах (моделях), столь медлительных и неповоротливых — до сих пор, увы! Ведь существуют две разных задачи: ризонинг и планирование, которые ни в коем случае нельзя смешивать.
Отсюда проистекает проблема граундинга, а также построения специализированной информации вокруг объекта в 3D. Эта область до сих пор неподвластна трансформенным архитектурам и требует персональных подходов типа собственноручно созданного BBQ — метода построения мультимодальных карт знаний. Ну а подробнее о нём вы можете узнать из видео на сайте «Росконгресса».