LLM 행동 건강 진단법: 안정성을 정량화하는 PSA 기법 완전 해부

AI 도입 현장에서 드러나는 '정확도'와 '행동'의 괴리

AI 에이전트나 LLM 애플리케이션을 운영할 때, 대부분의 개발자는 정확도(Accuracy)나 정답률 같은 벤치마크 평가에 집중합니다. 하지만 실제 운영 현장에서는, 모델이 갑자기 사용자에게 지나치게 동조하거나(아첨), 지시를 무시하고 부자연스러운 행동을 보이는 등 '행동의 불안정성(Behavioral Instability)'이 큰 과제로 떠오릅니다.

이러한 과제에 대해 Silicon Psyche Labs가 개발한 **PSA(Posture Sequence Analysis)**는, 모델의 내부 가중치에 접근하지 않고 외부 출력 행동을 분석하는 '블랙박스 행동 분석 도구'로서의 접근을 제안합니다. 일종의 LLM을 위한 '행동 건강 검진' 같은 시스템이라고 볼 수 있습니다.

PSA(Posture Sequence Analysis)의 작동 원리와 이론적 근거

PSA는 Canale가 2025년 발표한 '사이버 보안 심리학 프레임워크(CPF)'라는, 100개의 인지적 취약점 분류 체계를 기반으로 합니다. 이 이론을 바탕으로, 토큰 통계부터 의미적 드리프트(Semantic Drift·의미 이탈)까지를 포괄하는 24개 지표를 도입했습니다.

구체적으로는, 다음의 5개 분류기 스택(Classifier Stack)을 사용하여 행동을 정량화합니다.

• C0 (입력 의도): 컴플라이언스 압력, 경계 탈출, 탈옥(Jailbreak) 시도 등 입력 의도를 10개 분류기로 식별합니다.
• C1 (적대적 스트레스): 제한 준수 여부, 아첨적 드리프트 등을 19개 분류기로 추적합니다.
• C2 (아첨/사이코판시): 사용자에 대한 과도한 추종, 칭찬, 사용자 선호에 맞춘 왜곡 등을 10개 분류기로 측정합니다.
• C3 (할루시네이션 위험): 추측에 기반한 답변, 근거 없는 확신, 정보 조작 등을 8개 분류기로 표시합니다.
• C4 (설득 기법): 권위에의 호소, 사회적 증거, 긴급성 조성 등 12가지 설득 기법을 식별합니다.
• C5 (행동 위험): PSA v3부터 도입되어, 행동에 수반되는 위험을 10개 분류기(A0–A9)로 분류합니다.

운영을 위한 정량 지표와 고급 분석 기능

PSA는 단순한 분류에 그치지 않고, 세션 전체의 건전성을 수치화하는 지표를 제공합니다. 대표적으로 0에서 1까지 평가되는 **BHS(Behavioral Health Score: 행동 건강 점수)**가 있습니다. 또한, **POI(Posture Oscillation Index: 자세 진동 지수)**와 DPI(Dissolution Position Index: 해소 위치 지수) 같은 지표를 통해 행동의 떨림(fluctuation)을 정량적으로 파악할 수 있습니다.

더 나아가, PSA v3에서는 다음과 같은 고급 분석 기능이 구현되어 있습니다.

• 에이전트 상호작용 그래프(DAG): 행동 흐름을 시각화합니다.
• '스위스 치즈' 얼라인먼트 검출: 일관성의 구멍을 특정합니다.
• HMM(숨겨진 마르코프 모델): 시계열적 상태 예측을 수행합니다.
• Z-스코어 분석: 설정 가능한 기준선과 비교하여, 현재 행동이 통계적으로 얼마나 벗어났는지 벤치마크합니다.

생태계: 스트레스 테스트와 위험 모니터링

PSA는 단독으로 작동하지 않고, 다음의 서브시스템과 연동하여 동작합니다.

• Silicon Chaos: 모델에 의도적인 스트레스를 가해 경계를 맵핑(mapping)하기 위한 적대적 테스트 도구입니다.
• SIGTRACK: 생 텍스트가 아닌 '행동 시그니처'로 저장하기 때문에, GDPR을 준수하는 프라이버시 보호가 적용된 인시던트 아카이브입니다.
• DRM (Dyadic Risk Monitor): 인간과 AI 상호작용에서의 위기 감지 시스템입니다. 사용자 측 상태를 점수화하는 IRS와 AI 답변의 타당성을 평가하는 RAS를 결합하여, 위험 수준을 'Green'에서 'Critical'까지 5단계로 판정합니다.

결론

LLM을 에이전트로 실전 배포할 경우, 단일 프롬프트에 대해 정답을 맞혔는지 여부보다, '어떤 상태로, 안정적으로 작동을 계속하고 있는가'라는 행동 지표의 관리가 중요해집니다. PSA와 같은 행동 분석 접근법을 도입함으로써, 블랙박스인 LLM의 행동을 정량적으로 감시하고, 보다 안전하고 신뢰성 높은 AI 운영 실현을 기대할 수 있습니다.