🔥 Google представили Transformers 2.0 — это новая архитектура Titans, которая может

🔥 Google представили Transformers 2.0 — это новая архитектура Titans, которая может стать главным двигателем прогресса LLM в 2025 году.

Краткий пересказ огромного исследования:

• Проблема: трансформеры обрабатывают ограниченный объем контекста, часто забывают его части и отвлекаются на неважные детали.
• Решение: архитектура Titans с тремя типами памяти!
1. Краткосрочная память — для обработки инфы сейчас;
2. Долгосрочная память — для хранения важной инфы из прошлого;
3. Постоянная память — для хранения текущего запроса.
• Titans работает как человеческий мозг — забывает неактуальную инфу, а в долгосрочную память кладёт только самое важное.
• Результат: Titans запоминает контекст длиной больше 2 миллионов токенов! Можно загрузить три полных версии романа «Война и мир» за раз — больше, чем у любых существующих нейронок.

Архитектура, которая проложит путь к AGI — тут.

@notboring_tech