현재의 AI가 현실 세계를 인식하지 못하는 이유

Session Overview

최첨단 AI 모델들은 MMMU 같은 표준 벤치마크에서 80~90%의 점수를 기록한다. 그런데 여섯 살짜리 아이도 거뜬히 해내는 시각 과제 — 이미지 속 물체 개수 세기나 미로 찾기 — 를 시키면 같은 모델이 속수무책으로 무너진다. Andrew Dai는 Google Brain과 DeepMind에서 12년간 GLaM, PaLM 2, Gemini 개발을 공동으로 이끌면서 이 간극이 점점 벌어지는 것을 직접 목격했다.

문제의 핵심은, 대부분의 모델이 높은 벤치마크 점수를 진짜 시각적 이해가 아닌 일종의 '코딩 우회로(coding shortcut)'를 통해 달성한다는 점이다. 이 우회로를 걷어내면 남는 건 간단한 크로스워드 퍼즐도 못 풀고, 두 이미지의 공통점과 차이점도 파악하지 못하며, 기본적인 3D 공간 탐색조차 어려워하는 시스템이다. 이러한 능력들은 사람 수준의 추론을 달성하는 데 필수적이다. 그런데 현재의 벤치마크 생태계는 이를 제대로 평가하도록 설계되어 있지 않고, 결과적으로 점수는 높지만 실제 시각 추론은 취약한 모델들이 양산되고 있다.

이 강연에서는 현재의 평가 체계가 AI 능력을 구조적으로 과대평가하는 이유, 그 기술적·구조적 원인, 그리고 최전선 연구소 내부에서 바라본 이 문제의 흐름을 파헤친다. 현 세대 모델들이 왜 이러한 한계를 보이는지 분석하고, 더 엄밀한 평가 체계가 갖춰야 할 조건을 제시한다. 시각 추론 능력을 진정으로 개선하려면, 먼저 그것을 측정하는 방식부터 바로잡아야 한다.

• 벤치마크 80~90% 점수에도 여섯 살 아이가 쉽게 하는 시각 과제에서 무너지는 현재 AI의 한계
• '코딩 우회로'로 높은 점수를 얻는 AI — 진짜 시각적 이해와 점수 사이의 구조적 간극
• 현재 벤치마크 생태계가 AI 능력을 과대평가하는 기술적·구조적 이유
• 최전선 연구소 내부 시각으로 본 이 문제의 원인과 흐름
• 시각 추론을 진정으로 개선하기 위해 갖춰야 할 더 엄밀한 평가 체계의 조건