의사결정 이력에 숨은 콜드 스타트 문제

엔터프라이즈 AI 세계에는 컨텍스트 그래프라는 새로운 집착이 있습니다. 그러나 컨텍스트 그래프에서 결정 추적을 수행하기 전에 먼저 와야 할 것이 있는데 거의 아무도 그것에 대해 이야기하지 않습니다. 우리는 이를 의사결정 청사진이라고 부릅니다.

컨텍스트 그래프 뒤에 숨겨진 주제는 설득력이 있습니다. Jaya Gupta는 이를 AI의 1조 달러 규모의 기회라고 부릅니다. 논쟁은 다음과 같습니다: 엔터프라이즈 시스템은 결과("20% 할인 승인")를 저장하지만 결과를 생성한 추론을 포착하지 않습니다. 해결책은 AI 에이전트를 계측하여 결정 추적을 내보내고 해당 추적을 그래프로 연결하여 선례를 검색할 수 있도록 하는 것입니다.

컨텍스트 그래프는 강력한 아이디어입니다. 의사결정 추적은 귀중한 데이터입니다. 그러나 현재의 담론에는 순서 문제가 있고, 그 아래에는 더 어려운 문제가 숨어 있습니다.

의미 있는 추적을 캡처하려면 먼저 에이전트가 어떻게 결정을 내려야 하는지 알아야 합니다. 그리고 그 기준선을 포착하는 것은 누구도 인정하는 것보다 훨씬 어렵습니다.

기준 지식의 부재

Foundation Capital의 비전은 상담원이 움직이는 것에서 시작됩니다. 갱신 상담원은 20% 할인을 제안하고, PagerDuty에서 사건 기록을 가져오고, Zendesk에서 에스컬레이션을 확인하고, 사전 승인을 참조하고, 예외를 Finance에 전달합니다. 추적은 수집된 입력, 평가된 정책, 승인 승인 등 모든 것을 캡처합니다.

우아합니다. 하지만 에이전트가 이미 다음 사항을 알고 있다고 가정합니다.

• 10%가 갱신에 대한 표준 한도입니다.
• 서비스 영향 예외가 카테고리로 존재함
• 관련 컨텍스트가 포함된 시스템
• 경쟁 요인에 가중치를 두는 방법
• 라우팅할 시기와 조치를 취해야 할 시기

그 지식은 어디서 왔는가?

추적 우선 모델은 에이전트가 반복을 통해 학습한다고 가정합니다. 그들이 제안하고, 인간이 수정하고, 흔적이 쌓이고, 패턴이 나타난다. 그러나 이로 인해 인간이 본질적으로 에이전트를 처음부터 가르치는 고통스러운 부트스트래핑 기간이 생성됩니다. 즉 잘못된 제안 수정, 기본 논리 설명, 이미 자동화되어야 하는 볼륨 처리 등이 있습니다.

의사결정 인텔리전스를 포착하고 있지 않습니다. 교육 커리큘럼을 캡처하고 있습니다.

유의미한 신호와 잡음

모든 추적이 동일한 것은 아닙니다.

"특이한 상황으로 인해 표준 정책에서 벗어났습니다 X"를 포착한 추적은 가치가 있습니다. 이해를 풍부하게 해주는 진정한 예외입니다. 인코딩할 가치가 있는 선례입니다.

"에이전트가 잘못된 것을 제안했고 사람이 이를 수정했습니다"를 포착하는 흔적은 노이즈입니다. 상담원이 기본 사항을 이해하지 못했다는 의미입니다. 이것은 선례가 아닙니다. 수정입니다.

추적 우선 접근 방식은 이를 통합합니다. 인간의 모든 개입은 흔적이 됩니다. 모든 수정 사항은 데이터 포인트가 됩니다. 컨텍스트 그래프는 에이전트가 기본 사항을 이해하기 전에 무엇을 잘못했는지에 대한 예시로 채워집니다.

선례는 기준선과 관련해서만 의미가 있습니다. "서비스 영향으로 인해 30% 할인해 드립니다"는 기준이 10%라는 것을 알아야만 의미가 있습니다. 기준선이 없으면 단절된 사실만 축적할 뿐입니다.

추적은 상담원이 이미 기준선을 알고 있는 경우에만 가치가 있습니다. 그렇지 않으면 신호가 아닌 잡음을 포착하게 됩니다.

더 어려운 문제: 기준 지식을 추출하기 어렵다

기준선이 중요하다는 점에 동의하는 것은 쉽습니다. 그들을 포착하는 것은 어렵습니다.

기업의 의사결정을 지배하는 논리는 한 곳에만 존재하지 않습니다. Excel 통합 문서, ERP 구성, 정책 문서 및 15년 동안 해당 업무를 수행해 온 사람들의 머리로 조각화되어 있습니다. 더 나쁜 것은 이러한 출처가 종종 서로 모순된다는 것입니다. 문서화된 정책은 한 가지를 말해줍니다. 스프레드시트에 다른 내용이 나와 있습니다. 베테랑 기획자는 완전히 다른 일을 합니다.

그리고 여기에 더 깊은 문제가 있습니다. 인간은 자신의 의사결정 논리를 확실하게 표현할 수 없습니다.

판매자에게 가격 인하 시기를 어떻게 결정하는지 물어보세요. 재고 기간, 마진 기준, 경쟁 역학과 관련된 사려 깊은 답변을 얻을 수 있습니다. 그러나 그들이 실제로 결정을 내리는 것을 보면 그들이 언급하지 않은 요소, 너무 깊이 내면화되어 더 이상 "논리"로 등록되지 않는 직관을 볼 수 있습니다.

이것이 암묵적 지식의 문제이다. 사람들이 말하는 것과 실제로 하는 것 사이의 격차는 엄청납니다. 인터뷰, 프로세스 문서화, 요구 사항 수집과 같은 전통적인 접근 방식은 명확한 논리를 포착합니다. 그들은 운영 현실을 놓치고 있습니다.

따라서 두 가지 나쁜 옵션이 남습니다.

둘 다 작동하지 않습니다. 첫 번째는 신뢰할 수 없습니다. 두 번째는 프로세스 초기에 컨텍스트 그래프가 이미 제안한 것입니다.

기준선을 포착하려면 뭔가 다른 것이 필요합니다. 즉 인간에게서 논리를 추출하는 동시에 현실에 대해 검증하는 접근 방식이 필요합니다.

의사결정 설계도

우리는 캡처되고 검증된 이 기준선을 의사결정 청사진이라고 부릅니다. 이는 중요한 입력, 지배하는 논리, 제한하는 가드레일, 사람의 판단이 필요한 극단적인 경우를 포함하여 결정을 내려야 하는 방법을 체계적으로 표현한 것입니다.

Decision Blueprint는 발생한 일의 흔적이 아닙니다. 이는 인간의 전문 지식에서 추출되었지만 실제 행동에 대해 검증된 무슨 일이 일어나야 하는지에 대한 코드화입니다.

블루프린트를 유용하게 만드는 세 가지 속성:

1. 구조화되어 있습니다. 산문적인 설명이나 순서도가 아니라 시스템이 실행할 수 있는 논리(입력, 조건, 임계값, 출력)입니다.
2. 검증되었습니다. 명확한 논리가 운영 현실과 일치하는지 확인하기 위해 과거 결정에 대해 테스트되었습니다. 누군가 "60일에 인하합니다"라고 말했지만 과거 데이터가 45일로 표시되면 격차가 즉시 나타납니다.
3. 실행하기에 충분히 완벽합니다. 모든 극단적인 경우에 대한 완벽한 모델은 아니지만 명확한 감사 추적을 통해 90%의 결정을 정확하게 처리하기에는 충분합니다.

청사진은 철저할 필요는 없습니다. 기준선, 즉 볼륨의 대부분을 구성하는 일상적인 결정이 정확해야 합니다. 엣지 케이스는 정확히 추적의 용도입니다.

이력을 모으기 전에 설계도가 필요한 이유

순서가 모든 것을 바꿉니다.

첫날부터 업무 역량을 갖춘 에이전트

검증된 Decision Blueprint를 사용하면 에이전트는 어떤 논리가 적용되었고 어떤 데이터가 사용되었는지 정확하게 보여주는 명확한 감사 추적을 통해 배포 시 결정의 90%를 정확하게 처리할 수 있습니다. 수개월의 수정이 없습니다. 인내심을 소모하는 부트스트래핑이 없습니다.

사람은 실제 예외 상황에 집중

상담원이 기준을 이해하면 인간 참여형(Human-In-The-Loop)이 기본 교육이 아닌 엣지 케이스에 대한 전문가 판단이 됩니다. 인간에게 표면으로 나타나는 10%는 표면으로 나타나야 하는 10%입니다.

유의미한 신호를 담는 의사결정 이력

사람이 기준을 이해하는 에이전트를 재정의하면 해당 재정의는 의미가 있습니다. 이는 인코딩할 가치가 있는 진정한 예외입니다. 시스템을 풍부하게 한 것은 선례입니다.

이력으로 정교해지는 설계도

시간이 지남에 따라 예외 추적의 패턴에 차이가 드러납니다. 계속해서 반복되는 극단적인 경우는 새로운 규칙으로 성문화됩니다. 계속해서 무시되는 가드레일은 다시 검사됩니다. 청사진이 진화합니다.

컨텍스트 그래프는 이러한 기반이 존재하면 강력해집니다. 진정한 예외가 검색 가능한 선례로 축적되는 곳입니다. 제도적 기억이 복합되는 곳이다. 그러나 그것은 기초가 아니라 지붕입니다.

속도가 중요한 이유

여기가 흥미로워지는 곳입니다.

의사결정 논리를 포착하는 전통적인 접근 방식은 수개월이 걸립니다. 요구사항 수집. 이해관계자 인터뷰. 프로세스 문서화. 검증주기. 논리를 매핑할 때쯤에는 비즈니스가 변경되고 사람들이 이동하며 프로젝트는 추진력을 잃었습니다.

이것이 대부분의 기업 AI 파일럿이 지연되는 이유입니다. 기술이 작동하지 않아서가 아니라 지식 전달에 너무 오랜 시간이 걸리기 때문입니다.

검증된 의사결정 청사진을 30분 안에 캡처할 수 있다면 어떨까요? 거친 스케치가 아닙니다. 수개월의 개선이 필요한 첫 번째 초안은 아닙니다. 의사결정이 어떻게 이루어지고, 역사적 현실에 대해 테스트되고, 배포 준비가 완료되고, 가치를 창출할 준비가 되었는지에 대한 구조화되고 검증된 표현입니다.

신속한 Blueprint 캡처를 수행하는 기업은 채택 일정을 분기에서 며칠로 단축할 것입니다. 그들은 즉시 작동하는 AI를 배포할 것입니다. 첫날부터 캡처할 가치가 있는 추적을 생성합니다.

경쟁은 최고의 컨텍스트 그래프 아키텍처를 구축하는 것이 아닙니다. 컨텍스트 그래프를 의미있게 만드는 지식 추출 문제를 해결하는 것입니다.

조 달러 시장을 바라보는 관점의 전환

컨텍스트 그래프가 가치 있다는 Foundation Capital의 말은 맞습니다. 결정은 제도적 기억으로 복합화됩니다. 선례는 검색 가능해야 합니다. 결정 이면의 '이유'는 최고 수준의 데이터여야 합니다.

그러나 추적은 측정 대상이 되는 기준선만큼만 가치가 있습니다. 그리고 현실과 비교하여 빠르고 정확하게 검증된 기준선을 포착하는 것은 다른 모든 것을 가능하게 만드는 어려운 문제입니다.

예외는 규칙과 관련해서만 의미가 있습니다. 편차는 표준과 관련된 정보일 뿐입니다. 선례는 그것이 무엇을 위한 것인지 알 때만 유용합니다.

문제는 의사결정 추적을 캡처하는 방법이 아닙니다. 추적을 의미 있게 만드는 의사결정 청사진을 어떻게 구축하고, 기업이 실제로 채택할 만큼 빠르게 이를 수행하는가 하는 것입니다.

누군가가 어떻게 걷는지 이해하기 위해 발자국을 연구하는 것은 아닙니다. 당신은 그들이 어떻게 걷는지 이해하고, 발자국은 그들이 어디에 있었는지 알려줍니다.

컨텍스트 그래프가 대상입니다. 의사결정 청사진은 목표에 도달하는 방법입니다.

---

이 시리즈의 다음: 배포 전에 결정 청사진을 어떻게 검증합니까? 실시간 시뮬레이션과 기록을 바탕으로 결정을 테스트하는 기술

이 기사의 버전은 LinkedIn에 처음 게재되었습니다.