Трансформеры, Мамба и память в обучении с подкреплением

Авторы

Панов А. И.

Аннотация

В докладе обсудим современные тенденции в использовании трансформерных архитектур в обучении с подкреплением. Поговорим о задачах, где нужна память, а также о том, что не так с контекстом трансформера. Обсудим и альтернативные подходы с Мамба, SSM и с токенами памяти в стиле RATE.

Внешние ссылки

Получить доступ к записи на сайте конференции DataStart: https://datastart.ru/

Ссылка при цитировании

Панов А. И. Трансформеры, Мамба и память в обучении с подкреплением // Бесплатная онлайн-конференция DataStart (3 июля 2024 г.).