Революция в обучении ИИ: Google представила архитектуру Hope
Большинство современных моделей искусственного интеллекта (ИИ) страдают «катастрофическим забыванием»: при обучении на новых данных они начинают путать или полностью стирать старые знания. Для решения этой критической проблемы, которая мешает постоянному и надежному обновлению ИИ в бизнес-задачах, Google представила новый подход — Nested Learning (Вложенное обучение) и его прототип, архитектуру Hope.
Google предлагает рассматривать обучение ИИ не как единый непрерывный процесс, а как иерархическую систему вложенных задач, каждая из которых обновляется с разной частотой.
• Верхний уровень (Медленный): Собирает устойчивые, фундаментальные знания, которые меняются редко (например, грамматика или базовые концепции).
• Нижний уровень (Быстрый): Состоит из небольших компонентов, которые можно быстро переобучить, чтобы они впитывали ежедневные изменения и свежую информацию.
В этом подходе оптимизаторы работают как ассоциативная память, помогая модели запоминать, какие исправления были внесены ранее, чтобы избежать повторного забывания.
Прототип Hope и его преимущества
Прототип этой технологии, архитектура Hope, уже показал многообещающие результаты в экспериментах. Hope продемонстрировала лучшую точность в языковом моделировании и устойчивость на задачах с длинным контекстом по сравнению с классическими трансформерами.
Если технология окажется успешной, бизнес получит возможность создавать более надежных ИИ-агентов, которые:
• Доучиваются «на лету» во время диалога.
• Экономно работают с длинным контекстом, так как не требуют повторного анализа всех старых данных при каждом запросе.
В Google подчеркивают, что Hope является только прототипом, и для подтверждения ее жизнеспособности необходимы независимые тесты.
ORIENT
