케이스 스터디: SWE-agent와 코딩 에이전트

SWE-bench: 코딩 에이전트의 기준 벤치마크

SWE-bench는 실제 GitHub 저장소의 이슈를 에이전트가 해결하는 벤치마크다. 단순한 알고리즘 문제가 아니라 실제 오픈소스 프로젝트의 버그 수정, 기능 추가, 테스트 작성을 다룬다. 작업을 성공적으로 완료했는지는 실제 테스트 스위트가 통과하는지로 판단한다 — 명확하고 기계적인 검증 기준이다.

SWE-agent(Yang et al., NeurIPS 2024)는 이 벤치마크에서 주목할 만한 성과를 기록한 초기 코딩 에이전트 중 하나다. 그 성공의 핵심은 코딩 에이전트에 특화된 인터페이스 설계, 즉 **ACI(Agent-Computer Interface, 에이전트-컴퓨터 인터페이스)**였다.

ACI: 인터페이스가 성능을 결정한다

인간 개발자는 IDE, 터미널, 브라우저를 사용하도록 설계된 UI/UX를 통해 컴퓨터와 상호작용한다. 그런데 에이전트에게 동일한 인터페이스를 제공하면 문제가 생긴다. 에이전트는 픽셀을 보지 않고, 수천 줄의 터미널 출력을 처리하는 데 컨텍스트를 낭비하고, GUI 클릭 대신 텍스트 명령에 최적화되어 있다.

SWE-agent의 핵심 통찰은 에이전트를 위해 맞춤 설계된 인터페이스가 필요하다는 것이다.

┌─────────────────────────────────────────────────────────────────┐
│           일반 셸 인터페이스 vs SWE-agent ACI 비교               │
└─────────────────────────────────────────────────────────────────┘

일반 셸 인터페이스 (에이전트에게 불리):
  에이전트: cat large_file.py
  출력:     (3000줄 전체 출력)   ← 컨텍스트 낭비

  에이전트: grep -n "def main" *.py
  출력:     (수백 줄의 grep 결과) ← 파싱 부담

SWE-agent ACI (에이전트 맞춤):
  에이전트: open large_file.py 100-150
  출력:     (100~150번째 줄만 + 현재 위치 표시)

  에이전트: find_function main
  출력:     {파일: main.py, 줄: 42-75, 서명: def main(args) → ...}

SWE-agent의 ACI 설계 원칙

SWE-agent는 일반 bash 명령이 아니라 에이전트에 최적화된 커스텀 명령 집합을 제공한다.

1. 바운디드 파일 뷰어: 파일 전체를 한 번에 출력하는 대신, 현재 창 위치와 컨텍스트를 포함한 청크 단위로 제공한다. 에이전트가 “다음 페이지”와 “이전 페이지”로 탐색한다. 컨텍스트 낭비를 줄이면서 에이전트가 파일 내 위치를 추적할 수 있게 한다.

2. 검색 우선 탐색: 대규모 저장소에서 파일을 찾을 때 find_file, search_dir, find_function 같은 고수준 명령을 제공한다. 저수준 find 명령의 복잡한 옵션을 다룰 필요가 없다.

3. 원자적 편집 도구: 파일 편집은 edit <start>:<end> 명령으로 특정 줄 범위만 교체한다. 전체 파일을 다시 쓰는 대신 외과적 수정이 가능하다. 편집 후 자동으로 해당 부분을 다시 보여주어 수정이 올바른지 즉시 확인할 수 있다.

4. 행동 가능한 오류 메시지: 일반 bash 오류 메시지 대신, 에이전트가 다음 행동을 결정하는 데 필요한 정보를 포함한 구조화된 오류를 반환한다.

SWE-agent의 Edit-Test-Fix 루프

┌─────────────────────────────────────────────────────────────────┐
│               SWE-agent edit-test-fix 루프                       │
└─────────────────────────────────────────────────────────────────┘

  GitHub 이슈 + 저장소 코드
          │
          ▼
  ① 탐색 (Explore)
  find_file, search_dir로 관련 코드 위치 파악
  open 명령으로 관련 파일 읽기
          │
          ▼
  ② 이해 (Understand)
  버그 원인 또는 추가할 기능 특정
  수정이 필요한 코드 위치 확인
          │
          ▼
  ③ 편집 (Edit)
  edit 명령으로 코드 수정
  수정 결과 즉시 확인
          │
          ▼
  ④ 테스트 (Test)
  python -m pytest [관련 테스트] 실행
  (SWE-ReX 샌드박스 환경에서 격리 실행)
          │
          ▼
  ⑤ 결과 분석
  ├── 통과 ──▶ 추가 테스트 실행, 완료 선언
  └── 실패 ──▶ 오류 분석 → ③ 편집으로 돌아감

이 루프에서 SWE-ReX는 테스트를 안전하게 실행하는 샌드박스 환경이다. 각 에이전트 세션은 독립된 샌드박스에서 실행되어, 테스트 실행이 다른 세션이나 시스템에 영향을 미치지 않는다.

ACI 설계에서 배우는 도구 설계 원칙

SWE-agent의 경험에서 도출된 도구 설계 원칙은 모든 에이전틱 시스템에 적용된다.

원칙	나쁜 예	좋은 예
출력 크기 제한	cat /path/to/file (전체 출력)	view /path/to/file 1-50 (범위 지정)
정보 밀도	grep 원시 출력	파일명·줄번호·컨텍스트 구조화 반환
원자적 행동	파일 전체 교체	특정 줄 범위 편집
오류 메시지	“Error: command failed”	“라인 42의 들여쓰기 오류, 예상: 4칸, 실제: 2칸”
피드백 루프	편집 후 별도 확인 필요	편집 직후 수정 결과 자동 표시

현재 코딩 에이전트 에코시스템

SWE-bench는 코딩 에이전트 발전의 지표가 되었다. SWE-agent가 등장했을 때 12.5%를 기록했고, 이후 더 나은 모델, 더 정교한 ACI, 더 스마트한 루프 전략들이 발전하면서 상위 모델들의 성능이 크게 향상되었다. 중요한 것은 모델 크기만큼이나 ACI 설계와 루프 구조가 성능에 기여한다는 점이다.

SWE-agent의 교훈은 명확하다. 에이전트에게 적절한 도구와 인터페이스를 제공하는 것이 모델을 더 크게 만드는 것만큼 중요할 수 있다. 루프 엔지니어의 핵심 역량 중 하나가 에이전트를 위한 좋은 도구 설계임을 SWE-agent가 보여준다.

다음 챕터에서는 완전히 다른 접근인 Ralph 기법을 살펴본다. 정교한 ACI 대신, 가장 단순한 루프로 놀라운 결과를 이끌어내는 방법이다.