READ THE PULSE
다음 뉴스에서 확인할 다섯 가지
01
75%는 무엇과 무엇을 비교한 수치인가?
- WHERE TO CHECK
- 벤치마크의 모델·과제·성공 기준
- HOW TO READ IT
- 하네스 효과와 저비용 모델 선택 효과를 분리합니다.
- DOES NOT PROVE
- 다른 모델 간 비용 차이가 하네스 자체의 보편적 절감률을 증명하지 않습니다.
근거: InfoWorld · TrueFoundry debuts open-source AI agent harness, claiming up to 75% lower costs
02
토큰 외 운영비가 포함됐는가?
- WHERE TO CHECK
- 인프라·모니터링·보안·장애 대응 비용 장부
- HOW TO READ IT
- 월 총운영비로 관리형 서비스와 비교합니다.
- DOES NOT PROVE
- 실행당 모델 비용만으로 자체 호스팅의 총비용을 알 수 없습니다.
근거: InfoWorld · TrueFoundry debuts open-source AI agent harness, claiming up to 75% lower costs
03
업무에 실제로 제공되는 범위는 어디까지인가?
- WHERE TO CHECK
- 제품 제공 언어·베타·지원 모델 문서
- HOW TO READ IT
- 데모 기능과 현재 사용 가능한 기능을 구분합니다.
- DOES NOT PROVE
- 기능 발표가 모든 계정과 지역의 일반 제공을 뜻하지 않습니다.
근거: Google Ads & Commerce Blog · Evolve your marketing with new AI tools
04
같은 조건으로 결과를 다시 실행할 수 있는가?
- WHERE TO CHECK
- 공개된 과제·MCP 서버·세션 초기화·채점·비용 산식과 재현 코드
- HOW TO READ IT
- 회사 설명의 재현 조건을 먼저 고정한 뒤 내부 과제로 독립 반복합니다.
- DOES NOT PROVE
- 재현 자료가 공개됐다는 사실만으로 회사 결과가 독립 검증됐다고 볼 수 없습니다.
근거: TrueFoundry · TrueForge vs Claude Managed Agents benchmark · InfoWorld · TrueFoundry debuts open-source AI agent harness, claiming up to 75% lower costs
30%와 75%는 같은 비교가 아니다
동일한 Opus 4.8 모델끼리의 회사 자체 비교와, TrueForge에 더 저렴한 GLM-5.2를 붙인 비교를 분리해야 합니다.
완료 과제가 비슷했다는 회사 설명은 중요한 출발점이지만 14개 과제 결과를 실제 업무 전체로 확대할 수는 없습니다.
자체 호스팅은 통제와 운영 책임을 함께 가져온다
모델과 런타임을 분리하면 라우팅과 자체 통제를 설계할 여지가 생깁니다.
동시에 런타임 유지, 규제 요건, 인프라와 관찰 비용이 새로 생기므로 토큰 가격과 총운영비를 구분해야 합니다.
THREE-STEP COST TEST
비용 주장을 분해하는 세 단계
변수를 한 번에 바꾸지 않아야 하네스와 모델의 효과를 구분할 수 있습니다.
- 01
1 · SAME MODEL
같은 모델·과제·성공 기준으로 하네스만 바꿉니다.
- 02
2 · MODEL MIX
저비용 모델을 섞고 품질 저하와 재시도를 함께 측정합니다.
- 03
3 · TOTAL COST
인프라·관찰·보안·운영 인력을 포함해 월 총비용을 비교합니다.
근거: InfoWorld · TrueFoundry debuts open-source AI agent harness, claiming up to 75% lower costs
Google 사례: 에이전트는 업무 화면으로 들어간다
Google은 Ads와 Analytics에서 Ask Advisor, AI 요약, 프롬프트 기반 보고서와 벤치마킹 기능을 발표했습니다.
이는 비용 벤치마크의 검증 근거가 아니라 에이전트 도구의 적용 범위가 마케팅 분석 업무로 확장되는 별도 제품 신호입니다.

한국 팀의 검증 순서: 하네스, 모델, 총비용
먼저 같은 모델로 하네스만 비교하고, 다음에 저비용 모델을 섞으며 품질과 재시도를 측정합니다.
마지막으로 인프라와 운영 인력까지 더한 총운영비를 계산해야 비용 절감의 출처가 보입니다.
