LLM은 왜 비디오 게임에서 무력한가? 동적 환경에서 드러나는 AI의 한계

LLM이 비디오 게임이라는 '동적 환경'에서 고전하는 이유

최근 대규모 언어 모델(LLM)은 놀라운 수준의 텍스트 생성과 복잡한 코드 작성을 가능하게 했다. 하지만 비디오 게임이라는 동적인 환경에 놓이면 그 성능은 눈에 띄게 떨어진다. NYU 게임 이노베이션 랩(Game Innovation Lab) 디렉터이자 Modl.ai 공동 창업자인 줄리안 토겔리우스(Julian Togelius)는 최신 프레임워크에서도 LLM의 게임 플레이 능력이 "절망적으로 낮다(absolutely suck)"고 평가하며, 단순한 탐색 알고리즘에도 못 미친다고 지적했다.

그렇다면 LLM은 코딩에서는 유능하면서 왜 게임에서는 이토록 고전하는 것일까? 그 배경에는 몇 가지 결정적인 기술적 요인이 존재한다.

코딩과 게임 플레이의 결정적 차이

LLM이 프로그래밍에서 높은 능력을 발휘하는 것은, 본질적으로 '행동이 통제된 게임'이기 때문이라고 볼 수 있다. 코딩에서는 컴파일 성공 여부나 테스트 통과 같은 즉각적이고 세밀한 보상(피드백)을 받을 수 있다.

반면 비디오 게임에서는 다음과 같은 요소들이 장벽으로 작용한다:

1. 공간 추론 능력의 부재: LLM은 텍스트 기반 학습이 주류를 이루기 때문에, 게임에서 필수적인 공간적 파악과 추론에 약점을 보인다.

2. 학습 데이터의 부족: 인기 타이틀을 제외한 대부분의 게임에 대해서는 학습 데이터가 극히 부족해, 알려지지 않은 게임 메커니즘에 대응하기 어렵다.

3. 범용성의 결여: 구글의 알파제로(AlphaZero)처럼 바둑이나 체스에서 압도적인 성능을 보이는 AI라도 각 게임에 맞춰 재학습이나 재설계가 필요했다. 비디오 게임은 작품마다 조작 체계와 규칙이 크게 다르기 때문에, 하나의 모델로 범용적으로 대응하는 것은 극히 어렵다.

'세계 모델'과 현실 세계의 복잡성

AI가 게임을 공략하려면 환경의 규칙을 이해하는 '세계 모델(World Model)' 구축이 필수적이다. 예를 들어, Waymo는 자율주행 학습 루프에 세계 모델을 도입하고 있다.

흥미로운 점은, 게임 환경이 현실 세계보다 "단순하면서 동시에 복잡하다"는 것이다. 현실 세계에서는 물리법칙이 어디에서나 동일하지만, 게임 세계에서는 작품마다 고유한 물리법칙과 규칙이 존재한다. 토겔리우스는 자율주행 같은 태스크가 게임만큼 다양한 규칙 세트에 직면하지 않기 때문에, 어떤 의미에서는 게임보다 단순하다는 견해를 밝혔다.

게임 개발에서의 AI 통합 현황과 전망

현재 Cursor나 Claude 같은 도구를 활용하면 프롬프트만으로 플레이 가능한 게임을 생성하는 것이 어렵지 않아졌다. 하지만 이는 '전형적인' 게임(예: 아스테로이드 같은 단순한 작품)의 제작에 그치고 있다.

'우수한 게임'이나 '참신한 게임'을 창작하려면 실제로 플레이해보며 '게임 필(game feel)' — 조작감과 몰입감 — 을 반복적으로 조정하는 과정이 필요하다. 그러나 현재의 LLM은 스스로 플레이테스트를 수행하고 그 감각에 기반해 조정하는 능력을 갖추고 있지 않아, 독창적인 게임 디자인에 도달하기는 어려운 실정이다.

게임 개발자가 AI를 통합할 때는 단순한 '작업 자동화'가 아니라, AI가 환경을 어떻게 인식하고 어떤 피드백 루프를 구축하는지에 대한 '에이전트 설계' 관점이 필수적일 것이다.