METR 시간 지평선과 오류 복리

METR의 질문: AI는 얼마나 긴 작업을 완료할 수 있는가

AI 에이전트의 능력을 측정하는 기존 벤치마크 대부분은 분 단위로 끝나는 작업을 평가한다. 그런데 실제 소프트웨어 엔지니어링, 연구 분석, 비즈니스 프로세스 자동화는 시간, 일, 주 단위의 작업이다. METR(Model Evaluation and Threat Research)은 이 질문에 정면으로 답하기 위해 AI가 50% 신뢰도로 완료할 수 있는 작업 길이를 체계적으로 측정했다.

측정 방법론은 간단하다. 인간 전문가가 작업을 완료하는 데 걸리는 시간을 기준으로 작업 길이를 측정한다. 그리고 동일한 작업을 AI 에이전트에게 주었을 때 50% 이상의 시도에서 성공하는지 확인한다. 이 “50% 신뢰도 완료 길이”가 핵심 지표다.

7개월 2배 법칙

METR의 측정 결과에서 가장 주목할 만한 발견은 이 능력의 성장 속도다. AI가 50% 신뢰도로 완료할 수 있는 작업 길이가 약 7개월마다 2배씩 증가하고 있다. 2025년 3월 기준으로 Claude 3.7 Sonnet은 약 1시간짜리 작업을 50% 신뢰도로 완료할 수 있었다.

┌──────────────────────────────────────────────────────────────────┐
│         작업 길이별 AI 성공률 (2025-03 기준, 개략)                 │
├──────────────────────────────────────────────────────────────────┤
│                                                                  │
│  4분 미만    ██████████████████████████████████  거의 100%       │
│  15분       ████████████████████████████         ~80%            │
│  1시간      ████████████████                     ~50%            │
│  4시간      ████                                 <10%            │
│  하루 이상   ▌                                    <5%             │
│                                                                  │
│  ※ 이 수치는 METR 2025-03 연구의 대략적 패턴을 나타냄             │
└──────────────────────────────────────────────────────────────────┘

4분 미만의 짧은 작업은 거의 100%에 가까운 성공률을 보이지만, 4시간을 넘어가는 작업은 10% 미만으로 떨어진다. 이 급격한 하락을 이해하기 위해서는 오류 복리(error compounding) 메커니즘을 살펴봐야 한다.

오류 복리: p^n의 수학

에이전트 루프의 각 스텝이 p의 확률로 성공한다고 가정하자. 그러면 n개의 연속 스텝이 모두 성공할 확률은 p^n이다.

단계 성공률 p = 0.95 (95%)일 때:
  10 스텝:  0.95^10  ≈ 0.60  (60% 성공)
  20 스텝:  0.95^20  ≈ 0.36  (36% 성공)
  50 스텝:  0.95^50  ≈ 0.08  ( 8% 성공)
  100 스텝: 0.95^100 ≈ 0.006 ( 0.6% 성공)

단계 성공률 p = 0.99 (99%)일 때:
  10 스텝:  0.99^10  ≈ 0.90  (90% 성공)
  50 스텝:  0.99^50  ≈ 0.61  (61% 성공)
  100 스텝: 0.99^100 ≈ 0.37  (37% 성공)
  200 스텝: 0.99^200 ≈ 0.13  (13% 성공)

이 수학은 단순하지만 함의는 충격적이다. 개별 스텝의 성공률이 99%로 매우 높더라도, 100스텝 이상의 루프에서는 전체 성공률이 크게 떨어진다. 4시간 작업이 200-300스텝을 요구한다면, 스텝당 99% 성공률이라도 전체 성공 확률은 한 자릿수로 떨어질 수 있다.

여기서 “스텝”이란 에이전트의 이터레이션만을 의미하지 않는다. 각 이터레이션 내의 개별 추론 결정, 도구 파라미터 선택, 파일 탐색 경로 결정 하나하나가 독립적인 실패 포인트가 된다.

오류 복리의 두 가지 패턴

오류는 두 가지 방식으로 복리된다.

독립적 오류 누적: 각 스텝의 오류가 이전 스텝과 무관하게 독립적으로 발생한다. 파일 하나를 잘못 읽거나, 함수명을 잘못 입력하거나, 테스트 결과를 잘못 해석하는 것들이다. 이런 오류들은 p^n 공식 그대로 누적된다.

종속적 오류 전파: 더 위험한 패턴은 초기 오류가 이후 모든 스텝을 오염시키는 경우다. 2단계에서 문제를 잘못 이해해 그 이해를 기반으로 3, 4, 5, … 단계를 진행한다면, 뒤의 모든 스텝은 설령 그 자체로는 실행을 잘 했더라도 틀린 방향으로 움직인다. 이 경우 오류가 p^n보다 훨씬 빠르게 시스템 전체를 무너뜨린다.

7-2 챕터에서 다룬 **오류 캐스케이드(error cascade)**가 바로 이 패턴이다.

설계 함의: 오류 복리를 줄이는 전략

오류 복리가 피할 수 없는 수학이라면, 에이전트 루프 설계자가 할 수 있는 것은 두 가지다. 개별 스텝의 성공률(p)을 높이거나, 필요한 스텝 수(n)를 줄이거나.

p를 높이는 전략:

• 스텝을 가능한 한 작고 명확하게 쪼갠다. 모호한 거대 스텝 하나보다 명확한 작은 스텝 여러 개가 더 높은 성공률을 보인다.
• ACI(에이전트-컴퓨터 인터페이스) 설계에서 도구를 명확하고 오류를 줄이는 방향으로 설계한다.
• 중간 체크포인트를 두고 중요한 결정 전에 검증 스텝을 삽입한다.

n을 줄이는 전략:

• 서브에이전트 분할: 긴 루프를 여러 서브에이전트로 나눠 각각의 n을 줄인다.
• 효율적인 컨텍스트: JIT(Just-in-Time) 검색으로 불필요한 탐색 스텝을 제거한다.
• 사전 계획: 실행 전 계획 단계에서 최적 경로를 미리 찾아 불필요한 시행착오 스텝을 줄인다.

시간 지평선 확장의 속도

7개월 2배 법칙이 계속된다면, 2-3년 안에 하루짜리 작업을 안정적으로 완료하는 AI 에이전트가 등장할 수 있다. 그때 루프 엔지니어링의 중요성은 더욱 커진다. 시간 지평선이 길어질수록 오류 복리의 영향도 커지고, 이를 공학적으로 통제하는 능력이 시스템의 성공을 결정하기 때문이다.

다음 챕터에서는 이 오류 복리가 극단적으로 진행될 때 어떤 일이 벌어지는지, 즉 롱호라이즌 루프의 멜트다운(meltdown) 패턴을 분석한다.