Учёные из Лаборатории информационных и решающих систем Массачусетского технологического института и Гарварда представили свои выводы на Международной конференции по машинному обучению (ICML) в Ванкувере. Их работа показывает, что сегодняшние ИИ-модели умеют предсказывать, но слабо справляются с обобщением и построением более глубокой картины мира.
«Предсказатель» или «понимающий»?
Главная идея исследования родилась из исторического контраста. Иоганн Кеплер рассчитал орбиты планет, опираясь на эмпирические данные, а Исаак Ньютон пошёл дальше — вывел универсальные законы тяготения. Так и у ИИ: прогнозировать положение объектов модели уже умеют, а вот сформулировать общие законы пока не способны.
«Люди всегда умели переходить от хороших эмпирических предсказаний к моделям мира. Вопрос был в том, смогут ли ИИ сделать этот скачок», — говорит ведущий автор работы Кейон Вафа.
Новая метрика: «индуктивное смещение»
Чтобы проверить «степень понимания», учёные предложили новую метрику — индуктивное смещение. Она показывает, насколько модель тяготеет к ответам, которые отражают реальную структуру мира, а не только статистику из датасета.
Эксперименты варьировались от простых задач («лягушка прыгает с кувшинки на кувшинку») до сложных игр наподобие Отелло.
- В одномерных и двумерных конфигурациях модели справлялись — они успешно реконструировали структуру «мира».
- Но по мере увеличения размерности способность к обобщению резко падала.
- В игре «Отелло» ИИ уверенно предсказывал допустимые ходы, но плохо представлял общую картину доски.
Особый эксперимент показал разрыв: модели смогли вычислить орбиты (аналог законов Кеплера), но не справились с выводом законов Ньютона из той же базы данных.
Почему это важно
Сейчас модели работают блестяще в рамках узких задач, но глобальное понимание, перенос знаний из одной сферы в другую у них фактически отсутствует.
Соавтор исследования, Питер Чанг из MIT, отмечает:
«Теперь мы имеем метрику, которая позволяет оценить, насколько модель сближается с реальной картиной мира. Это открывает возможность для разработки новых способов обучения, способных приближать ИИ к настоящему пониманию».
Взгляд в будущее
Работа говорит о том, что путь к «мыслящему» искусственному интеллекту лежит через создание количественных мер и методов, которые проверяют не только качество предсказаний, но и степень понимания.
Подробнее об этой и других новостях Монреаля можно узнать на нашей Телеграм-странице https://t.me/NewsCMG
