포춘 100대 기업 3곳에 맥락 인프라를 구축하며 얻은 교훈

지난 18개월 동안 Intelligence Warehouse(Questt AI의 일부) 팀은 Fortune 100대 기업 3곳, 통신업체, CPG 회사, 글로벌 의료 기관에 '컨텍스트 인프라'를 배포했습니다. 각각은 AI에 수백만 달러를 지출했습니다. 각각 프로덕션에 에이전트가 있었습니다. 그리고 각각은 거의 같은 위치에 있었습니다. 중요한 결정에 대한 정확도는 60~70%였습니다.

이번 포스팅은 우리가 배운 내용에 관한 것입니다. 폴리쉬 버전은 아닙니다. 우리를 놀라게 한 것, 우리가 틀렸던 가정, 그리고 등장한 프레임워크를 포함한 실제 버전입니다.

반복해서 발견한 패턴

Foundation Capital이 컨텍스트 그래프를 AI의 1조 달러 기회에 관한 논문을 발표했을 때 우리가 현장에서 관찰했던 내용이 구체화되었습니다. 그들의 주장은 데이터뿐만 아니라 맥락이 AI의 기업 가치에 대한 구속력이 있다는 것입니다. 우리는 몇 달 동안 그 현실을 살아왔습니다.

이러한 조직 내부의 패턴은 다음과 같습니다.

• AI 팀은 유망한 에이전트 또는 부조종사를 구축합니다. 데모를 잘하네요.
• 이를 데이터 웨어하우스, 벡터 저장소, 지식 그래프에 연결합니다.
• 그들은 실제 결정을 내리는 실제 사용자 앞에 이를 제시합니다.
• 정확도 분화구. 모델이 나빠서가 아니라, 데이터를 둘러싼 비즈니스 맥락을 이해하지 못하기 때문입니다.

수익 수치는 숫자일 뿐입니다. 어떤 엔터티가 롤업되는지, 어떤 공식이 이를 계산하는지, 어떤 임계값이 작업을 트리거하는지, 어떤 예외가 4분기 화요일에 적용되는지 알지 못하면 상담원은 이를 사용하여 유용한 작업을 수행할 수 없습니다.

우리는 이것을 컨텍스트 조각화라고 부르기 시작했습니다. 그리고 그것은 카테고리 수준의 문제인 것으로 밝혀졌습니다.

맥락 분절은 데이터만의 문제가 아니다

이것이 우리가 설명하는 데 가장 오랜 시간이 걸린 것입니다. 우리가 함께 일한 모든 기업은 AI 정확도 문제가 데이터 문제라고 생각했습니다. 더 많은 데이터, 더 나은 데이터, 더 깨끗한 데이터. 그들은 이미 Snowflake 또는 Databricks에 투자했습니다. 그들은 벡터 데이터베이스를 가지고 있었습니다. 일부에는 지식 그래프가 있었습니다.

그 어느 것도 충분하지 않았습니다.

문제는 원시 데이터와 올바른 결정 사이에 비즈니스 정의, 측정 공식, 의사결정 규칙, 숙련된 운영자가 머릿속에 갖고 있는 제도적 지식으로 구성된 계층이 있다는 것입니다. 이 레이어는 어떤 데이터베이스에도 존재하지 않습니다. 이는 스프레드시트, Confluence 페이지, Slack 스레드, 그리고 가장 중요하게는 최고의 인재들의 마음속에 있습니다.

데이터 웨어하우스는 데이터 조각화를 해결했습니다. 우리에게 필요한 것은 컨텍스트 단편화를 해결하는 것, 즉 AI 에이전트가 데이터뿐만 아니라 이해도를 쿼리할 수 있는 구조화된 계층이었습니다.

이러한 깨달음이 우리가 Intelligence Warehouse를 구축하게 된 계기가 되었습니다.

맥락 인프라의 의미

인접한 공간에 유용한 도구가 확산되었습니다. Gartner는 "컨텍스트 메시"에 관해 글을 쓰고 있습니다. 몇몇 스타트업에서는 에이전트 메모리 계층, 컨텍스트 관리 플랫폼 및 엔터프라이즈 그래프를 구축하고 있습니다. 이는 모두 실제적이고 가치 있는 노력입니다.

하지만 우리가 힘들게 배워야만 했던 중요한 차이점이 있습니다. 바로 에이전트 메모리는 엔터프라이즈 컨텍스트가 아닙니다입니다.

개발자 중심의 메모리 도구, 세션 저장소, 대화 메모리, 검색 캐시와 같은 시스템은 개별 에이전트 상호 작용에 대한 실제 문제를 해결합니다. 상담원이 마지막 대화에서 무슨 일이 일어났는지 기억하거나 문서에서 관련 청크를 검색하는 데 도움이 됩니다.

엔터프라이즈 컨텍스트 인프라는 다릅니다. 이는 비즈니스가 실제로 어떻게 작동하는지에 대한 구조화되고 관리되며 쿼리 가능한 표현입니다. 상담원이 기억하는 것이 아닙니다. 에이전트가 추론을 시작하기 전에 알아야 할 사항입니다.

구축 과정에서 정리된 세 계층

세 가지 배포 모두에서 동일한 3계층 아키텍처로 통합되었습니다.

에이전트가 세 가지 레이어를 모두 쿼리할 수 있으면 출력에서 질적인 변화가 발생합니다. 그들은 환각적인 비즈니스 논리를 중단합니다. 혼란스러운 측정 항목을 중지합니다. 그들은 마치 조직에서 10년차 베테랑인 것처럼 보이는 결정을 내리기 시작합니다.

세 차례 구축에서 얻은 교훈

교훈 1: 가장 수집하기 어려운 지식이 가장 가치 있다

통신 회사에서 우리는 문서에서 비즈니스 규칙을 추출하는 데 처음 2주를 보냈습니다. 우리는 필요한 것의 30% 정도를 찾았습니다. 나머지는 전적으로 고위 네트워크 기획자의 머릿속에 있었습니다. 그들은 회사에 15~20년 동안 근무했지만 실제로 어떻게 결정을 내렸는지 명확히 설명하라는 요청을 받은 적이 없는 사람들이었습니다.

우리는 이러한 부족 지식을 추출하기 위해 특별히 고안된 구조화된 인터뷰 프로세스(내부적으로는 MORRIE라고 함)를 구축했습니다. 이는 운영자에게 그들이 결정한 것뿐만 아니라 왜, 어떤 임계값을 보고 있는지, 어떤 예외에 대해 알고 있는지, 어떤 패턴을 인식하도록 배웠는지 조사하면서 실제 결정을 내리도록 요청합니다.

출력물은 문서가 아닙니다. 에이전트가 결정 시 쿼리할 수 있는 구조화된 컨텍스트입니다.

교훈 2: 맥락은 검색뿐 아니라 계산에도 사용할 수 있어야 한다

CPG 회사에는 정교한 예측 파이프라인과 우수한 데이터 인프라가 있었습니다. 문제는 수요 계획 담당자가 판촉, 계절성 조정 및 지역적 예외 사항에 대해 최고의 계획 담당자처럼 추론할 수 없다는 것입니다.

중요한 통찰력: 에이전트가 RAG를 통해 검색할 수 있는 텍스트로 컨텍스트를 저장하는 것만으로는 충분하지 않았습니다. 에이전트가 계산할 수 있도록 컨텍스트를 구조화해야 합니다. 상담원이 SKU에 대한 수요를 예측해야 하는 경우 엔터티(제품군, 지역)를 확인하고, 관련 지표를 계산하고(환각적인 근사치가 아닌 비즈니스에서 사용하는 정확한 공식을 사용하여) 결정 규칙(적용되는 판촉 리프트, 적용되는 안전 재고 임계값)을 평가해야 합니다.

이것이 우리가 Intelligence Warehouse를 문서 저장소가 아닌 개별 작업(resolve_entity, Compute_metric, estimate_rule, traverse_path)을 갖춘 MCP 서버로 구축한 이유입니다. 에이전트는 컨텍스트를 검색하지 않습니다. 프로그래밍 방식으로 쿼리합니다.

교훈 3: 맥락 구성 속도가 통찰의 속도를 결정한다

의료 배포는 달랐습니다. 임상팀은 개별 결정의 정확성을 위해 고군분투하지 않았습니다. 그들은 어떤 결정을 내리기 위해 충분한 맥락을 모으는 데 시간이 걸리기 때문에 어려움을 겪고 있었습니다. 5개의 서로 다른 시스템에서 가져오고, 3개의 서로 다른 프로토콜을 상호 참조하고, 2개의 규제 제약 조건을 확인해야 하는 진단 권장 사항에는 몇 시간의 수동 작업이 필요합니다.

우리는 컨텍스트 인프라가 단지 정확성에 관한 것이 아니라는 것을 배웠습니다. 이해의 지연에 관한 것입니다. Intelligence Warehouse가 이미 매핑된 온톨로지, 이미 정의된 메트릭, 이미 코드화된 의사결정 규칙을 갖춘 사전 구조화된 컨텍스트를 제공하면 에이전트는 몇 시간이 아닌 몇 초 만에 신호에서 통찰력을 얻을 수 있습니다.

시장에 주는 의미

우리는 AI 인프라 스택이 실시간으로 성숙해지는 것을 지켜보고 있습니다. 데이터 계층이 해결되었습니다. 모델 계층은 상품화되고 있습니다. 오케스트레이션 레이어가 혼잡합니다. 하지만 AI가 실제로 비즈니스를 이해하게 만드는 부분인 컨텍스트 레이어(Context Layer)는 아직 초기 단계입니다.

Foundation Capital이 이를 1조 달러의 기회로 보는 것은 우리가 현장에서 보는 것과 공감합니다. AI 에이전트를 실행하는 모든 기업에는 일종의 컨텍스트 인프라가 필요합니다. 문제는 그것이 어떻게 생겼는지입니다.

세 번의 하드 배포를 통해 얻은 정보는 창고처럼 보인다는 것입니다. (존재하는) 데이터 창고가 아니라 Intelligence Warehouse입니다. 비즈니스가 실제로 어떻게 작동하는지 인코딩하고 이를 에이전트, 업무 흐름, 의사결정 지점에 공개하는 구조화되고 관리되며 쿼리 가능한 시스템입니다.

우리는 그 비유가 정확하다고 생각합니다. 분석 시대에 데이터 조각화를 해결하기 위해 데이터 웨어하우스가 등장한 것처럼 에이전트 시대에는 컨텍스트 조각화를 해결하기 위해 Intelligence Warehouse가 등장할 것입니다. 그것이 우리가 만들고 있는 카테고리입니다.

앞으로의 방향

우리는 아직 이르다. 세 번의 배포를 통해 우리는 엄청난 양의 정보를 얻었지만 이 문제의 표면적은 엄청납니다. 모든 산업 분야에는 서로 다른 컨텍스트 구조가 있습니다. 모든 기업은 서로 다른 부족 지식을 가지고 있습니다. 엔터프라이즈 규모에서 컨텍스트를 추출, 구조화 및 제공하기 위한 도구는 아직 개발 중입니다.

우리가 확실히 알고 있는 사실은 AI 에이전트가 비즈니스 운영의 기본 인터페이스가 되면서 컨텍스트 인프라에 투자하는 기업은 이제 지속적인 이점을 갖게 될 것이라는 점입니다. 모델은 계속 좋아질 것입니다. 데이터는 계속 저렴해질 것이다. 그러나 특정 비즈니스가 어떻게 작동하는지에 대한 구조화된 이해는 해자입니다.

---