LLM의 비디오 게임 약점: 추론과 실시간 제어의 간극 분석

LLM과 게임 플레이의 의외의 괴리

Cursor나 Claude 같은 LLM을 활용하면, 단일 프롬프트만으로 플레이 가능한 게임 코드를 생성할 수 있는 시대가 왔습니다. 그러나 LLM에게 "실제로 게임을 플레이하게" 하는 것은 전혀 다른 문제입니다. NYU 게임 혁신 연구소의 디렉터이자 Modl.ai의 공동 창립자인 Julian Togelius는, LLM이 게임 기반 AI 벤치마크에서 "극도로 낮은 능력"을 보이며, 단순한 탐색 알고리즘보다도 성능이 떨어진다고 지적합니다.

2025년 5월에는, Google의 Gemini 2.5 Pro가 "포켓몬스터 블루"를 클리어했다는 사례가 보고되었습니다. 하지만 이는 인간보다 훨씬 오랜 시간이 걸렸으며, 조작을 위해 맞춤 소프트웨어가 필요했습니다. 여기서 LLM이 직면한 기술적 벽이 드러납니다.

왜 "코드 생성"은 가능하고 "플레이"는 불가능한가?

엔지니어들에게 불가사의한 점은, 게임의 메커니즘(코드)은 만들 수 있으면서도 그 메커니즘 안에서 움직일 수 없다는 것입니다. Togelius는 코딩을 "규범적인 게임"으로 분석합니다. 코드 생성에서는 "컴파일이 통과하는지" "테스트를 통과하는지"와 같은 즉각적이고 세분화된 보상(피드백)을 얻을 수 있어, LLM의 학습 방식과 잘 맞는다고 알려져 있습니다.

반면, 실제 게임 플레이에는 다음과 같은 요소가 필수적이며, 이것이 LLM의 약점이 됩니다.

1. 공간 인식의 부재: LLM의 학습 데이터에는 물리적 공간 인식에 관한 정보가 부족합니다. 이로 인해 동적인 환경에서의 포지셔닝이나 이동 같은 공간적 추론이 어려워집니다.
2. 반복적 개선 프로세스의 부재: 게임 개발이나 플레이는 시행착오를 반복하는 반복적(iterative) 프로세스입니다. LLM은 스스로 플레이하고 검증한 후, 그 결과를 바탕으로 전략을 수정하는 루프를 돌 수 없어, 혁신적인 게임 창조나 고급 공략이 어렵다고 합니다.

현실 세계보다 "다양하고 "어려운" 게임 환경

일반적으로 AI에게 현실 세계(자율주행 등)가 가장 복잡하다고 생각하기 쉽습니다. 실제로 Waymo 등은 학습 루프에 "월드 모델(world model)"을 도입해 주행 제어를 실현하고 있습니다. 그러나 Togelius는 비디오 게임이 AI에게 "더 어려운" 관점을 제시합니다.

현실 세계에는 일관된 물리 법칙이 존재하지만, 비디오 게임은 타이틀마다 메커니즘(조작 체계)이나 입력 형식이 전혀 다릅니다. 이 극단적인 다양성이 범용 게임 AI의 구축을 방해합니다.

Google AlphaZero처럼 체스나 바둑에서 압도적인 강점을 보이는 AI도 존재하지만, 이들은 특정 규칙에 특화된 비 LLM형 AI이며, 다른 게임에 적용하려면 재설계와 재학습이 필요합니다. 많은 게임을 소화할 수 있는 범용 AI의 실현에는 아직 높은 허들이 있다고 볼 수 있습니다.

결론: 향후 AI에 필요한 능력

LLM이 "포켓몬" 같은 게임에서 성과를 낼 수 있었던 요인은, 인터넷에 방대한 공략 가이드와 데이터가 존재했기 때문으로 분석됩니다. 즉, 현재 LLM의 "플레이 능력"은 추론보다 "기억의 재구성"에 의존하는 측면이 강하다고 할 수 있습니다.

진정으로 동적인 환경에서 작동하는 AI를 실현하려면, 단순한 텍스트 기반 추론이 아니라, 공간 인식 능력을 갖추고 환경으로부터의 피드백을 실시간으로 학습에 통합할 수 있는 "월드 모델"적 접근이 필수적일 것으로 보입니다.

참고: Why Video Games Still Baffle AI Models - IEEE Spectrum (https://spectrum.ieee.org/ai-video-games-llms-togelius)