Intelligence Warehouse · 연구

기업용 AI의 비용이 높은 이유

대부분의 엔터프라이즈 AI는 프롬프트 안에 전체 프로그램을 넣어 구축됩니다. IW는 다르게 작동합니다. 오케스트레이션은 일반 Python으로 실행되며 모델은 실제로 언어 추론이 필요한 지점에서만 호출됩니다. 우리는 이것이 비용에 어떤 영향을 미치는지 알아보기 위해 1,000개의 기업 작업을 시뮬레이션했습니다. 프롬프트 기반 버전에 가능한 모든 이점을 제공한 후에도(전체 프롬프트 캐싱 포함) IW는 96% 더 적은 양의 토큰을 처리하고 비용은 약 8분의 1로 실행합니다.

저자 Akhil Singh · Nidhi Prabhu · Aniruddha Tammewar 날짜 2026년 7월 방법 시드 몬테카를로, n=1,000 재현 가능 시드 20260729

—

작업당
처리되는 토큰 수가 적습니다.

—

기준 캐싱 후
실행 비용 절감

—

토큰 처리량
여러

—

작업별 LLM 호출
기준선 → IW

여기에는 서로 다른 두 가지를 측정하기 때문에 두 개의 숫자가 있습니다. 처리된 토큰은 모델이 수행하는 원시 작업입니다. 실행 비용은 인보이스에 기록되는 비용이며, 반복되는 토큰의 가격을 90% 절감하는 기본 전체 프롬프트 캐싱을 제공한 후 이를 계산합니다. IW는 둘 다 앞서 나옵니다.

01프롬프트 기반 에이전트의 비용이 커지는 이유

프롬프트 기반 에이전트는 데모에서는 저렴해 보이지만 프로덕션에서는 놀라는 경향이 있습니다. 그 이유는 작동 방식에 달려 있습니다.

일반적인 에이전트에서 모델은 컨텍스트 창 내에서 전체 제어 루프를 실행합니다. 각 단계마다 시스템 프롬프트, 모든 도구 스키마, 검색기가 반환한 내용 및 해당 지점까지의 전체 대화를 다시 읽은 다음 한 단계를 더 생성하고 다시 시작합니다. 따라서 8단계를 수행하는 작업에는 8개의 메시지가 필요하지 않습니다. 계속해서 성장하는 하나의 프롬프트가 필요하며 모든 단계에서 다시 청구됩니다.

프롬프트 캐싱은 여기서 도움이 되지만 근본적인 문제를 해결하지는 않습니다. 캐싱을 사용하면 다시 읽는 토큰이 더 저렴해집니다. 모델이 처리를 중지하지는 않습니다. 캐시된 모든 토큰은 여전히 모든 패스에서 모델을 통해 실행되므로 비용은 약 10분의 1만 지불하면 됩니다. 하루에 몇 번씩 전화를 하면 이 중 어느 것도 중요하지 않습니다. 한 달에 백만 개의 작업을 수행하면 비용이 많이 듭니다.

IW는 다른 가정에서 시작합니다. 모델은 시스템 자체가 아니라 시스템의 한 구성 요소입니다. 오케스트레이션(라우팅, 구문 분석, 계산, 단계 간 데이터 이동)은 결정론적 Python으로 작성되었습니다. 지식은 마크다운 파일 네트워크에 위치하며 특정 파일은 추론에 실제로 필요한 경우에만 로드됩니다. 모델은 해당 호출 그래프의 잎에서 호출되며, 매번 올바르게 응답할 만큼 충분한 컨텍스트가 있습니다. 이 백서에서 대답하기 위해 설정한 질문은 다음과 같은 간단한 질문입니다. 완료된 작업당 기준에 유리한 비교를 중단하면 실제로 얼마나 절약됩니까?

02같은 기능을 구현하는 두 가지 방식

비교가 공정하려면 두 시스템 모두 잘 구축되어야 합니다. 왼쪽에 있는 에이전트는 허수아비가 아니라 유능한 에이전트입니다. 정적 접두사를 캐시하고 검색을 엄격하게 유지하며 작업이 완료될 때까지 루프를 반복합니다. 오른쪽은 IW 버전입니다.

두 시스템 모두 리프에서 모델을 호출하므로 차이점이 없습니다. 차이점은 그 사이에 있는 모든 것입니다. 에이전트에서 단계를 하나로 묶는 접착제는 토큰입니다. 모든 라우팅 결정과 모든 중간 결과는 컨텍스트 창을 통과하고 계속해서 비용이 청구됩니다. IW에서 그 글루는 단지 함수 호출 스택일 뿐입니다. CPU에서 실행되고 비용은 1센트 미만이며 토큰 측정기에 전혀 영향을 주지 않습니다.

03토큰이 실제로 소비되는 지점

절약은 세 가지 별개의 것에서 비롯됩니다. 그것들을 분리해 볼 가치가 있습니다. 왜냐하면 그렇게 하면 하나의 숫자를 믿음으로 받아들이는 대신 수학을 확인할 수 있기 때문입니다.

메커니즘 1: 제어 흐름을 토큰에서 코드로 옮기기

에이전트에서 모델은 컨텍스트 창 내에서 다음에 수행할 작업을 결정하므로 모든 결정은 전체 작업 세트에 대한 유료 추론입니다. IW는 이러한 결정을 코드로 내립니다. 기준선이 작업을 수행하기 위해 ~8개의 모델 단계를 거치는 경우, IW는 일반적으로 ~2개의 실제 추론이 필요합니다. 나머지는 미터에 도달하지 않는 결정론적 코드입니다. 대부분의 절감액이 여기서 발생합니다.

메커니즘 2: 필요한 시점에 맥락 불러오기

프롬프트 시스템은 필요한 모든 것을 창에 로드합니다: 전체 시스템 프롬프트, 모든 도구 스키마, 검색된 청크에 대한 넉넉한 도움, 몇 가지 예. IW는 리프 추론에 하나 또는 두 개의 마크다운 파일(추론에 실제로 필요한 파일)과 이미 가져온 데이터를 제공합니다. 결국에는 사용할 수 있는 컨텍스트가 아닌 사용하는 컨텍스트에 대한 비용을 지불하게 됩니다.

메커니즘 3: 이력의 반복 전송 없애기

에이전트는 모든 단계에서 증가하는 기록을 다시 보내므로 비용은 대략 단계 수의 제곱만큼 증가합니다. IW는 Python 변수의 상태를 유지하므로 각 추론은 작고 단순하게 유지됩니다. 가격의 10분의 1에 해당하는 기본 캐싱을 사용하더라도 긴 작업에 걸쳐 다시 읽는 작업이 쌓입니다. IW는 애초에 그런 서류를 보내지 않습니다.

모델의 평균 드로우 규모에 맞게 그린 단일 호출의 분석입니다. 왼쪽: 캐시된 에이전트 기준의 한 단계: 정적 접두사(캐시됨), 새로 검색, 다시 읽기 기록, 출력. 오른쪽: IW 리프 추론 1개: 작은 명령, 지식 노드 1개, 데이터 페이로드, 출력.

04분석 방법

아래의 모든 내용은 하나의 시드 시뮬레이션에서 나온 것입니다.iw-토큰-경제학-sim.py, 뛰어넘다작업 1,000개5개의 실제 IW 카테고리에서 가져온 것입니다. 이 문서에는 손으로 입력한 내용이 없습니다. 각 숫자는 스크립트 출력에서 바로 읽혀집니다. 전체 모델은재현 가능, 그리고 그와 함께 작업별 데이터 세트를 게시했습니다.

비교를 보수적으로 설계한 방법

우리는 세 가지 방법으로 우리의 결론에 반대하도록 작업을 설정합니다.

기준선은 전체 프롬프트 캐싱을 얻습니다. 정적 접두사는 한 번 작성되고 그 이후에는 가격의 10분의 1로 다시 읽혀지며, 성장 내역도 같은 방식으로 캐시됩니다. 이는 API가 허용하는 가장 관대한 처리입니다.
IW는 캐싱을 전혀 받지 않습니다. 모든 IW 컨텍스트는 처음부터 끝까지 전체 입력 가격으로 청구됩니다. 이로 인해 IW가 실제보다 더 나빠 보이게 됩니다.
헤드라인은 달러 가중치입니다. 총 IW 비용을 1,000개 작업 전체의 총 기준 비용으로 나누므로 비용이 많이 드는 작업이 가장 큰 비중을 차지하며 저렴하고 쉬운 승리가 쌓여도 평균을 채울 수 없습니다.

세 가지를 모두 갖춘 상태에서 우리가 보고하는 숫자는 천장보다 바닥에 더 가깝습니다.

비용 모델

스위치가 3개 있는 하나의 비용 함수이며 두 가지 극단적인 설정은 정확히 두 가지 아키텍처입니다. 토큰 흐름은 4개의 버킷(신선 입력, 캐시 쓰기, 캐시 읽기 및 출력)으로 추적되며 Claude Sonnet급 게시 요율로 가격이 책정됩니다.

토큰 100만 개당 # USD 입력 3.00 출력 15.00 캐시-쓰기 3.75 캐시-읽기 0.30 비용 = fresh_in·3.00 + 캐시_쓰기·3.75 + 캐시_읽기·0.30 + 출력·15.00 #을 1e6으로 나누기

세 개의 스위치는 §03의 메커니즘에 일대일로 매핑됩니다: m1 제어 흐름→코드, m2 지연 컨텍스트, m3 기록 없음. 세 가지를 모두 해제하면 캐시된 에이전트 기준선이 재현됩니다. 세 가지를 모두 설정하면 IW가 재생됩니다. 끝점은 하나의 기능을 공유하므로 §06의 분해가 정확합니다.

실험에 사용한 업무 구성

각 작업은 원형을 샘플링한 다음 문서화된 삼각형 범위에서 해당 매개변수를 가져옵니다. 에이전트 단계 S, 사용 가능한 도구 T, 검색된 청크 K, 그리고 결정적 작업이 아닌 실제 언어 추론인 단계의 일부인 중추적인 단계로 IW의 리프 수 I를 설정합니다.

원형	공유	단계 S	도구 T	청크 K	추론:단계
소매 보충	28%	4–12	8–20	3–8	0.15–0.40
통신 출시 파견	22%	6–18	12–30	2–7	0.12–0.35
PE 실사 쿼리	15%	3–9	5–14	6–18	0.25–0.60
공급망 예외	20%	5–14	10–24	3–9	0.15–0.40
현장 운영 쿼리	15%	2–6	4–10	2–5	0.30–0.70

가장 큰 비중을 차지하는 가정은 추론:단계 비율이며, 대부분의 에이전트 단계가 결정적이라고 주장합니다. 우리는 그것이 타당하다고 생각하지만(라우팅, 도구 선택, 구문 분석 및 산술에는 실제로 언어 모델이 필요하지 않습니다) 여전히 가정입니다. §07은 4배 범위에 걸쳐 이를 훑어보고 모든 지점에서 무슨 일이 일어나는지 보여줍니다.

05결과

1,000개 작업 전체에 걸쳐 IW는 — 적은 양의 토큰을 처리하고 실행 비용도 — 적습니다. 해당 비용 수치는 기준선에 전체 캐싱이 적용된 후의 수치입니다.

두 숫자는 간단한 이유로 다릅니다. 캐싱을 사용하면 기준선의 반복되는 토큰이 10배 더 저렴해지기 때문에 달러 비용이 토큰 수보다 더 빠르게 감소합니다. 그렇기 때문에 토큰 감소(—, — 배수)가 비용 절감(—, — 배수)보다 더 큽니다. 둘 다 정확합니다. 비용 번호는 송장에 표시되는 번호이고 우리가 직접 계산할 수 없는 번호이기 때문에 먼저 계산합니다.

1,000개 작업 전체에 걸쳐 작업당 비용 절감액을 분배합니다. 중앙값 —, 작업의 중간 80%가 — 및 — 사이에 속합니다. 왼쪽 꼬리는 실제입니다. 간단한 현장 작업 쿼리에는 제거할 제어 흐름이 많지 않으므로 최소한의 비용만 절약됩니다.

산업별 결과

수직적 절감액은 관련 오케스트레이션의 정도에 따라 달라집니다. 긴 루프와 대규모 도구 세트를 갖춘 통신 파견은 비용을 가장 많이 절약합니다. 간단한 현장 작업 쿼리는 최소한의 비용을 절약하며, 이는 예상한 것입니다.

06비용 절감의 원인

단일 헤드라인 비율은 의심하기 쉽고 확인하기 어렵습니다. 기준선과 IW는 동일한 비용 함수의 두 가지 설정일 뿐이므로 Shapley 값(적용할 수 있는 모든 가능한 순서에 대해 각 메커니즘이 만드는 평균 기여도)을 사용하여 세 가지 메커니즘에 절감액을 깔끔하게 나눌 수 있습니다.

작업당 평균 비용은 캐시된 기준에서 한 번에 하나의 메커니즘으로 IW로 떨어집니다(Shapley 속성이므로 순서는 중요하지 않음). 제어 흐름→코드가 대부분을 차지합니다. 지연 컨텍스트가 그 다음입니다. 기록 없음은 실제이지만 가장 작습니다. 기준의 캐싱이 이미 대부분의 문제를 해결했기 때문입니다.

마지막 부분은 유용한 온전성 검사입니다. 기록이 없는 것이 가장 큰 절약 효과로 판명되었다면 이는 실제로 기준선에 캐싱을 제공하지 않았음을 의미합니다. 정확히 우리가 그렇게 했기 때문에 작게 나옵니다.

07가정에 대한 민감도 검증

반발을 불러일으킬 가능성이 가장 높은 가정을 두 번 휩쓸었습니다.

실행 단계 대비 추론 횟수의 비율

핵심 가정은 대부분의 에이전트 단계가 결정적이라는 것입니다. 우리가 틀렸다고 가정해 보세요. 확인하기 위해 모든 작업의 IW 추론 수를 추정치의 절반에서 최대 두 배로 확장하고 전체 포트폴리오를 다시 실행합니다.

추론:단계 비율이 0.5배에서 2배로 확장됨에 따라 포트폴리오 비용이 절감됩니다. IW에 우리가 모델링한 것보다 두 배 많은 실제 추론이 필요하더라도 실행 비용은 여전히 — 떨어집니다. 결과는 칼날에 있지 않습니다.

기준 방식의 캐싱

우리의 헤드라인은 기록을 포함하여 가장 넉넉한 캐싱을 기준선에 제공합니다. 많은 실제 배포에서는 검색이 모든 단계에서 컨텍스트를 변경하기 때문에 기록이 캐시 가능한 안정적인 접두사를 형성할 수 없습니다. 그런 일이 발생하면 기준 가격이 더 비싸지고 IW의 리드가 늘어납니다.

기준 캐싱 방식	비용 절감
완전히 캐시된 기록 (헤드라인, 기준에 가장 관대함)	—	바닥
캐시되지 않은 기록 (더 일반적인 실제 배포)	—	가능성이 더 높은

우리는 둘 중 더 작은 것을 보고합니다. 실제 사례는 더 크다.

08규모가 커질 때의 의미

단일 작업에서 차이는 — 대 —로 1센트 미만입니다. 그러나 기업은 하나의 작업을 실행하는 것이 아니라 수백만 달러를 실행하며 그 차이는 규모에 따라 바로 확장됩니다. 모델과 출력 품질은 정확히 동일하게 유지됩니다. 왜냐하면 이 중 어느 것도 모델을 변경하지 않고 모델이 호출되는 빈도와 빈도만 변경하기 때문입니다.

월별 작업량	기준/월	IW/월	저장됨/년

같은 모델, 같은 대답. 변경된 유일한 것은 오케스트레이션이 실행되는 위치입니다.

09가정과 한계

장점만 나열한 논문은 그다지 가치가 없습니다. IW 비용은 다음과 같습니다. 그리고 이 분석이 잘못될 수 있는 부분은 다음과 같습니다.

IW가 지출하는 것 중 기준선이 지출하지 않는 것

그래프 작성. 엔지니어는 마크다운 네트워크와 Python 함수를 미리 작성합니다. 이는 실제 비용이지만 진지한 에이전트는 둘 중 하나(즉시 엔지니어링, 평가 도구, 검색 파이프라인)를 자유롭게 구축할 수 없으므로 공정한 비교는 IW와 0이 아니라 둘 사이의 차이입니다.
계산. 모든 함수 호출은 CPU를 사용합니다. 작업당 1센트 미만의 클라우드 요금으로 대체하는 토큰 비용보다 3~4배 정도 저렴합니다.
최초의 디자인 작업. IW는 제작하는 동안 무엇이 결정적이고 모델에 진정으로 필요한 것이 무엇인지 결정하도록 팀에 요청합니다. 이는 에이전트가 런타임에 정리하도록 하는 것보다 더 많은 작업입니다. 당신이 얻는 것은 위의 청구서에 더해 개방형 에이전트 루프가 실제로 제공할 수 없는 결정성과 감사 가능성입니다.

이것이 잘못될 수 있는 곳

추론:단계 비율은 우리의 모델링 선택입니다. 모든 것이 의존한다는 가정입니다. §07은 결과가 0.5×에서 2×까지 유지됨을 보여줍니다. 대략 0.35× 추론 공유 아래에서 두 아키텍처가 수렴되기 시작합니다. 그 선이 어디에 있는지 아는 것이 가치가 있습니다.
토큰 크기는 한 고객의 로그가 아닌 문서화된 범위에서 나옵니다. 현장에서 측정된 것이 아니라 대표적인 것입니다. 실제 배포에서는 고유한 번호를 사용하여 스크립트를 다시 실행해야 하며 이를 사용하도록 구축되었습니다.
이것은 기능이 아닌 비용을 측정합니다. 일부 문제에는 실제로 개방형 루프를 탐색하는 에이전트가 필요합니다. 우리의 주장은 대부분의 기업 업무 흐름가 그렇지 않다는 것입니다. 이는 몇 가지 추론 포인트가 있는 알려진 프로세스이며, 에이전트 가격 지불은 필수 사항이 아닌 선택입니다.

10분석 재현 방법

이 페이지의 모든 숫자는 실제로 시뮬레이션을 실행한 결과에서 나온 것입니다. 시드되어 있으므로 모든 시스템에서 동일한 수치를 얻을 수 있습니다. 그 어느 것도 예시가 아닙니다.

직접 실행해 보세요

$ python3 iw-토큰-경제학-sim.py # → iw-token-economics-data.json (이 페이지의 모든 수치) # → iw-token-economics-tasks.csv(전체 1,000개 작업, 행당)

심: iw-token-economics-sim.py: 순수 표준 라이브러리 Python, 종속성 없음. 하나의 비용 함수, 세 개의 스위치, Shapley 분해, 두 감도 스윕.
데이터: iw-token-economics-data.json: 이 페이지가 렌더링되는 집계이며 아래에 포함됩니다.
작업: iw-token-economics-tasks.csv: 매개변수, 비용 및 절감 효과가 포함된 전체 작업별 테이블입니다. 원하는 대로 파헤쳐 보세요.
난수 시드: 20260729: 변경하면 작업별 분포가 약간 이동하지만 집계는 거의 움직이지 않습니다.

자체 설정에 대해 테스트하려면 공급자의 가격, 자체 워크로드 혼합 및 추적에서 가져온 토큰 크기를 교체하세요. 헤드라인 결과(코드에서 오케스트레이션을 실행하는 것이 토큰에서 실행하는 것보다 낫다)는 특정 추첨에 의존하지 않습니다. 아키텍처에 따라 다릅니다.