Harbor-Index란?: 2026 에이전트 평가 82문항 해설

또 하나의 종합 순위가 아니다. Harbor는 먼저 80여 개 에이전트 과제를 한 관으로 잇고, 최전선이 아직 떨어지는 82문항을 남긴다.

2026년 9월 3일 arXiv에 올라온 것은 플래그십 가중치가 아니라 공유 관이다. Harbor Adapters는 80여 개 에이전트 벤치를 잇고, Harbor-Index는 최전선이 아직 떨어지는 82문항만 남긴다.

검색되는 사건은 Harbor-Index와 arXiv:2609.04298이다. Lin Shi, Haowei Lin 등은 8모델, 54개 벤치, Terminus-2와 세 네이티브 런타임 중 하나를 보고한다. 어떤 조합도 30%를 넘지 않는다. GPT-5.5와 Codex가 28.0%. CCTest가 같은 초록을 전했다.

관과 문항 세트는 같은 물건이 아니다

논문이 실제로 넘긴 것

어댑터 층

80여 개 벤치를 Harbor에 연결. 패리티는 공통 형식이 원본을 납작하게 만들지 않았음을 보여 준다.

짝 평가

8모델, 54개. Terminus-2와 세 네이티브 런타임 중 하나. 실패는 모델, 하네스, 환경, 도구로 나뉜다.

얇은 메타셋

82문항, 29개 출처. 난도, 자동·사람 감사, 수리 루프. 30% 미만 천장은 설계다.

82문항을 읽는 세 갈래

1. 01
   모델보다 하네스를 먼저

   네이티브 CLI가 조금 높은 경우가 많지만 유의하지 않다. 약한 모델은 교체 후 약 7%만 남는다. 종합 한 장은 런타임을 버린다.

2. 02
   깨진 문항과 어려운 문항을 가른다

   지시와 검증기 불일치, 모호한 성공 조건, 빠진 의존성은 모두 0점을 만든다. 깔때기는 남은 실패를 능력 상한에 가깝게 만든다.

3. 03
   재실행 키트이지 IQ 합이 아니다

   CCTest는 82문항이 모든 실무를 대신할 수 없다고 적는다. 어댑터, 결과, 분석은 감사와 확장을 위해 열려 있지, 영구 표를 못 박으려는 것이 아니다.

먼저 관을 공유하고, 아직 떨어지는 문항을 남긴다. 순위는 부산물이다.

다음 주 어떤 에이전트 스택을 시험할지 정해야 한다면 깔때기와 통과율을 한 페이지에 펼치는 편이 낫다. 말이 필요할 때 마이크를 열면 된다. 짧은 oakmeet 방으로 충분하고, 평가 회의를 위해 클라이언트를 깔 필요는 없다. 한도는 8명, 대략 한 시간이다.