В докладе обсудим современные тенденции в использовании трансформерных архитектур в обучении с подкреплением. Поговорим о задачах, где нужна память, а также о том, что не так с контекстом трансформера. Обсудим и альтернативные подходы с Мамба, SSM и с токенами памяти в стиле RATE.
Получить доступ к записи на сайте конференции DataStart: https://datastart.ru/
Панов А. И. Трансформеры, Мамба и память в обучении с подкреплением // Бесплатная онлайн-конференция DataStart (3 июля 2024 г.).