기존 모델로 더 나은 의사결정을 만드는 방법

01맥락에서 분리된 예측

대부분의 기업에서 수요 예측이 실제로 어떻게 소비되는지 살펴보세요. 낭비는 모델의 정확성과 아무런 관련이 없습니다.

모델은 일정에 따라 실행되며 해당 수치를 테이블에 기록합니다. 대시보드가 ​​테이블을 읽습니다. 거기에서 예측의 삶은 거칠어집니다. 공급 계획 담당자는 이를 스프레드시트에 복사하고 그녀가 수년 동안 사용해 온 안전 마진, 즉 모든 것에 대해 하나의 마진을 추가합니다. 아무도 그녀에게 모델이 울퉁불퉁한 SKU보다 안정적인 SKU에서 두 배 더 정확하다고 말한 적이 없기 때문입니다. 그녀는 또한 모델이 들어본 적도 없는 프로모션이 곧 있을 것이라는 것을 알고 있기 때문에 몇 줄을 손으로 조정합니다. 그녀의 조정은 훌륭했지만 그 조정은 사라졌습니다. 다음 주에 그녀는 조정을 처음부터 다시 수행했으며 예측의 다른 활용자는 그로부터 이익을 얻지 못했습니다. 한편 재무 부서는 동일한 테이블을 다른 조정 사항이 포함된 다른 스프레드시트로 읽어오므로 회사는 이제 하나의 예측에 대해 두 가지 버전을 실행합니다. 그리고 3월에 시장이 바뀌면 모델은 동일한 자신감 있는 얼굴로 2월에 훈련된 수치를 계속 게시하며, 모든 활용자는 분기별 재학습까지 이를 동등하게 신뢰합니다. 왜냐하면 그렇게 하지 말라고 지시하는 신호가 없기 때문입니다.

이것은 모델의 잘못이 아닙니다. 모델은 괜찮네요. 누락된 것은 주변의 모든 것입니다. 누가 그것을 소비하는지, 무엇을 소비하지 않는지, 그것이 얼마나 잘못된 경향이 있는지, 어디에 있는지, 그리고 그것이 훈련된 세계가 여전히 존재하는지 여부입니다. 이 모든 것은 관계형 정보이며, 표준 ML 스택에는 이를 넣을 공간이 없습니다. 모델 레지스트리는 아티팩트를 저장합니다. Feature Store가 이를 제공합니다. 모니터링 도구가 엔지니어에게 이메일을 보냅니다. 모델을 제공하기 위해 존재하는 결정과 연결하는 것은 없습니다.

Intelligence Warehouse는 이를 다른 모든 종류의 지식에 대해 해결하는 것과 동일한 문제로 취급합니다. 즉, 모델은 회사 그래프에서 입력된 노드가 되며 입력된 관계로 관련 모든 항목에 연결됩니다. 두 동반 논문은 그래프 자체와 그래프를 소비하는 결정 회로를 다룹니다. 이것은 회사가 이미 소유하고 있는 모델에 대해 해당 배치가 수행하는 작업을 다룹니다.

02모델 노드

모델 노드는 모델에 해당 상황(입력, 활용자, 소유자, 오류 기록 및 최신성)을 더한 것으로, 모두 순회가 이동할 수 있는 관계입니다.

인공물

모델 자체: 버전, 훈련 기간, 기능, 재학습 주기. 오늘날 모델 레지스트리에 보관된 내용은 교체되지 않고 그대로 유지됩니다.

입력

모델이 사용하는 data_source 노드에 유형이 정의된 관계를 연결합니다. 각 데이터 소스는 EDA 프로필과 드리프트 신호를 포함합니다. 따라서 §06의 방식이 가능합니다. 그래프는 모델이 어떤 데이터로 학습되었는지 알고 그 데이터의 분포가 변했는지 확인할 수 있습니다.

오류 프로필

모델의 측정된 오류는 하나의 전역 숫자가 아닌 세그먼트별로 유지됩니다. 백테스트와 실시간 실제 데이터를 통해 지속적으로 유지됩니다. 이것이 모델 자체의 EDA입니다. 시스템은 모델이 예측하는 내용뿐만 아니라 예측이 얼마나 잘못된 경향이 있는지, 어디에 있는지도 알고 있습니다.

활용자

모델의 출력을 읽는 모든 회로 및 흐름의 에지입니다. ML 스택이 거의 보관하지 않는 이 단일 기록 부분은 모델 문제를 라우팅 가능한 이벤트로 바꾸는 것입니다. 모델의 성능이 저하되면 그래프는 어떤 결정이 노출되는지 정확히 알 수 있습니다.

소유자

다른 노드와 마찬가지로 에스컬레이션 경로가 있는 사람입니다. 소유자가 없는 모델은 문서와 똑같은 방식으로 부패됩니다.

출력

KPI 노드에 대한 관계는 모델의 결정이 궁극적으로 이동하므로 글로벌 오류가 아닌 비즈니스 영향에 따라 재학습의 우선 순위를 지정할 수 있습니다(§06).

목록에 없는 항목, 즉 모델 변경이 필요한 항목을 확인하세요. 노드는 경사 강화 예측, 이탈 분류기, 8분기 전 노트북에 맞는 가격 탄력성 곡선 등 회사가 이미 보유하고 있는 모델을 래핑합니다. 그래프는 모델과 경쟁하지 않습니다. 이는 모델의 특성에 대한 완전한 지식을 바탕으로 출력을 사용할 수 있는 공간을 모델에 제공합니다.

03모델 활용자가 읽는 정보

결정 회로의 탐색이 모델 노드에 도달하면 숫자를 받지 않습니다. 컨텍스트에 따라 숫자를 받습니다.

첫 번째 줄 이후의 모든 줄은 오늘날 대부분의 회사에 존재하며 결정에 이르지 못하는 정보입니다. 오류 기록은 데이터 과학자의 평가 노트북에 기록됩니다. 프로모션은 마케팅 일정에 포함됩니다. 엔지니어가 확인하는 모니터링 대시보드에서 드리프트를 볼 수 있습니다. 재정의는 플래너의 메모리에 있습니다. 그래프는 이러한 지식을 생성하지 않습니다. 이는 의사결정이 실제로 진행되는 경로에 놓이게 되며, 이는 대부분의 가치로 밝혀집니다.

04맥락: 모델이 볼 수 없는 정보

예측 모델은 패턴에 능숙하며 구조적으로 이벤트를 인식하지 못합니다. 패턴은 훈련 데이터에 있습니다. 월요일에 시작되는 승진은 다른 부서의 시스템에 있습니다.

이러한 실명은 일반적으로 모델링 문제로 처리되며 팀은 분기에 걸쳐 프로모션 달력을 기능 스토어에 게시합니다. 때로는 그만한 가치가 있습니다. 그러나 가치의 대부분은 모델링이 전혀 필요하지 않습니다. 왜냐하면 모델이 아닌 소비 결정이 이벤트 지식을 위한 올바른 위치이기 때문입니다. 그래프에서 프로모션은 영향을 미치는 SKU에 연결되어 이미 유지 관리하고 있는 노드 마케팅입니다. 보충 회로의 이동은 모델 노드로 가는 도중에 이를 교차하며, 모델이 본 적이 없는 이벤트에 대해 주문 수량이 조정됩니다. 모델은 기본을 예측합니다. 그래프는 예외를 제공합니다. 경쟁이 아닌 노동분업.

회로 문서의 실행 결과 재기록 메커니즘이 이를 완료합니다. 20주차 축제가 모든 사람을 놀라게 하고 기획자가 시스템의 명령을 무시하면 해당 수정 사항은 보충 회로의 규칙 노드가 됩니다. 즉, 축제 주간, 이러한 지역, 대략 이 상승폭입니다. 44주차가 되면 모델은 20주차와 마찬가지로 맹목적 상태가 되며 규칙이 실행되기 때문에 문제가 되지 않습니다. 시뮬레이션에서 이 단일 메커니즘은 두 번째로 축제 주간 재고 부족을 91.9% 줄였습니다. 기획자의 지식이 증발을 멈췄습니다.

05불확실성: 오차 특성을 의사결정에 반영하기

모든 모델에는 오류 분포가 있습니다. 모델의 다운스트림에서는 이를 사용하는 의사결정이 거의 없습니다.

표준 실패는 모든 것에 대한 하나의 안전 여유입니다. 평균 SKU에 대한 느낌으로 보정된 플래너의 고정 버퍼입니다. 그러나 모델이 어디에서나 평균적으로 틀린 것은 아닙니다. 안정적인 대용량 셀에서는 오류가 몇 퍼센트입니다. 울퉁불퉁하고 간헐적인 세포에서는 그 5배가 될 수 있습니다. 따라서 하나의 글로벌 마진은 쉬운 셀을 과잉 재고로 만들고 동시에 단단한 셀을 과소 보호합니다.

모델 노드는 세그먼트당 오류 프로필을 전달하기 때문에 활용 회로는 해당 셀의 실제 오류에서 각 셀의 버퍼를 설정할 수 있습니다. 이는 최종적으로 입력에 연결되는 기본 결정 이론입니다. 뉴스 공급업체 분위수는 평균에 대한 민간 추정 대신 올바른 분포로 계산됩니다. §08의 분해에서 이 메커니즘은 세 가지 중 가장 적은 기여를 하며 그 이유에 대해 솔직하게 말할 가치가 있습니다. 더 나은 완충 장치는 꾸준히 도움이 되지만 전혀 알지 못하는 사건이나 체제 변화로부터 결정을 구할 수는 없습니다. 불확실성 처리는 상황에 대한 보완이지 대체가 아닙니다.

06드리프트: 경고와 함께 파악하는 영향 범위

모델은 천천히 그리고 조용히 실패합니다. 문제는 세상이 훈련 데이터에서 멀어지는가가 아니라, 누가 알아냈는지, 그리고 알아낸 것이 얼마나 빨리 결정에 도달하는지입니다.

일반적인 ML 구성에서도 드리프트는 감지되지만, 그 정보는 모니터링 도구의 경고에서 멈춥니다. ML 엔지니어가 경고를 읽고 재학습 요청을 등록하면 파이프라인 일정에 따라 처리됩니다. 그동안 모델을 활용하는 업무는 드리프트 정보를 전달받지 못하므로 기존 예측을 계속 신뢰합니다.

그래프가 바꾸는 것은 감지 자체가 아니라 정보 전달 경로입니다. 모델의 입력 관계는 EDA 프로필을 감시하는 data_source 노드와 연결됩니다. 데이터 분포가 변하면 드리프트 신호가 소스에서 모델로, 다시 모델을 사용하는 모든 의사결정 회로로 전달됩니다. 활용 측에서는 재학습을 기다리지 않고 예측의 가중치를 낮추고 최근 실측값을 더 반영합니다. 이는 신뢰하기 어려운 예측에 숙련된 계획 담당자가 대응하는 방식과 같습니다. 활용 관계가 명시되어 있으므로 어떤 부서의 어떤 결정과 KPI가 영향을 받는지도 알 수 있습니다. 이 영향 범위를 기준으로 재학습 우선순위를 정할 수 있습니다. 전체 오차가 가장 큰 모델이 반드시 가장 중요한 의사결정에 피해를 주는 모델은 아닙니다.

시뮬레이션에서는 26주차에 전체 셀의 4분의 1에서 데이터 분포의 구조적 변화가 발생합니다. 모델은 두 시나리오 모두 같은 운영 주기로 39주차에 재학습됩니다. 독립형 모델을 사용하는 경우에는 13주 동안 현실과 어긋난 예측을 바탕으로 발주합니다. 그래프에 연결한 경우에는 2주 안에 변화를 감지하고 실측값을 더 많이 반영하여 드리프트 기간의 추가 비용을 61.6% 줄입니다. 모델 자체는 개선되지 않았습니다. 변화에 관한 정보가 비용을 집행하는 의사결정에 전달된 결과입니다.

07실험 설계

시뮬레이션은 구성별로 청구를 분리합니다. 한 가지 수요 실현이 생성됩니다. 52주에 걸쳐 200개의 SKU 영역 셀이 안정에서 덩어리까지 4개 세그먼트로 구성됩니다. 세그먼트 관련 오류와 함께 하나의 예측 시리즈가 생성됩니다. 그런 다음 두 세계 모두 동일한 예측을 사용하므로 모델의 RMSE는 구성에 따라 모든 곳에서 동일하며 의사결정 메커니즘만 다릅니다.

결정은 미성년자에 대한 주간 보충으로 초과 비용이 4배이므로 올바른 순서는 예측에 안전 분위수를 더한 것입니다. 세계:

• 독립형. 하나의 전역 안전 계수를 사용하여 원시 예측에서 주문합니다. 이벤트 지식이 없고 세그먼트별 오류가 없으며 드리프트 신호가 없습니다. 이것은 유능하게 실행되는 스프레드시트와 고정 버퍼 세계입니다.
• 노드로 모델링합니다. 동일한 예측과 독립 스위치의 세 가지 메커니즘: 컨텍스트(§04, 시끄러운 규모로 90%의 시간 동안 알려진 프로모션, 80%의 공급 충격, 첫 번째 응답 이후에만 축제), 세그먼트별 불확실성(§05), 드리프트 응답(§06, 교대 후 2주 후에 감지, 동일한 39주차 재학습까지 혼합).

세상에는 그래프가 고칠 수 없는 것도 포함되어 있습니다. 프로모션의 10%는 예고 없이 도착하고, 알려진 이벤트 규모는 30%의 소음으로 추정되며, 첫 번째 축제는 두 세계를 똑같이 놀라게 하며, 수요 소음 자체는 줄일 수 없습니다. 세계 사이의 격차는 모델링이 아닌 조직이 제거할 수 있는 혼란의 일부입니다.

08같은 모델로 달라진 1년

하나의 차트에는 논문의 주장이 담겨 있습니다. 상단 패널은 모델의 주간 오류인 한 줄입니다. 두 세계가 정확히 공유하기 때문입니다. 하단 패널은 해당 연도의 비용입니다.

비용 절감이 발생하는 지점

두 번의 축제 시즌

효과가 나타나지 않는 조건

두 번의 스윕이 클레임을 묶었습니다. 첫째, 이벤트 발생률: 개별 이벤트가 없는 비즈니스는 불확실성과 드리프트 메커니즘만 유지하며 절감액은 8.6%로 떨어집니다. 이벤트 발생률이 두 배로 증가하면 28.2%로 증가합니다. 컨텍스트 메커니즘은 달력의 가치만큼 가치가 있습니다. 둘째, 비용 비대칭성: 미성년자 대 초과 비율이 2:1이면 절감액은 14.9%이고, 가혹한 8:1에서는 26.2%입니다. 잘못하는 데 비용이 많이 들수록 주변 기계가 더 중요합니다.

09하나의 예측값을 사용하는 여러 부서

이 시뮬레이션에서는 모델 활용 주체가 하나이므로 또 다른 장점은 드러나지 않습니다. 실제 예측에는 공급 계획, 재무 예산, 영업 목표 등 여러 활용 주체가 있습니다. 현재는 각 부서가 원시 테이블을 읽고 개별적으로 보정하므로 같은 예측값의 서로 다른 사본이 만들어지고 회의에서 이를 맞춰야 합니다.

예측을 노드로 표현하면 기준 위치가 하나로 정해지고 각 활용자의 보정도 유형이 명확한 정보로 기록됩니다. 계획 담당자의 축제 수요 보정은 재무 부서의 탐색에서도 보이는 규칙 노드가 됩니다. 드리프트에 따른 신뢰도 조정은 개인 스프레드시트가 아니라 모델 노드에 기록되므로 모두에게 동시에 적용됩니다. S&OP 회의에서는 누가 추출한 데이터가 맞는지를 따지기보다 출처가 명시된 공유 객체를 검토합니다. 서로 다른 사본이 생길 공간을 없애는 구조를 통해 예측 프로세스가 오랫동안 추구한 단일 기준값을 구현합니다.

동일한 배치를 통해 동반 논문의 LLM 레이어에서 모델을 올바르게 사용할 수 있습니다. 모델 노드에 도달하는 순회는 오류, 신선도 및 예외가 첨부된 예측을 언어 모델에 전달하므로 월요일 리뷰를 위해 작성한 설명("수요가 12% 증가했지만 모델은 남부에서 드리프트에 대한 플래그가 지정되었으며 다음 주에 축제 규칙이 실행됩니다")은 모델의 실제 상황에 기초합니다. 전통적인 모델은 숫자 예측을 수행하는데, 이는 어떤 언어 모델보다 성능이 뛰어나고 훨씬 저렴합니다. 그래프는 숫자를 소비 가능하게 만듭니다. LLM 이유와 관계에 설명되어 있습니다. 각 레이어는 자신이 잘하는 한 가지 일을 수행합니다.

10적용 범위와 구분

ML 도구 시장에는 인접한 제품이 있으며 각 제품은 이것이 아닌 실제 문제를 해결합니다.

마지막 열의 패턴은 전체적으로 동일합니다. 그 중 어느 것도 새로운 정보가 아니며 모두 새로운 배치입니다. 레지스트리, 상점 및 모니터는 모델을 구축하는 사람들에게 서비스를 제공합니다. 그래프는 이를 소비하는 결정을 제공하며 세 가지 모두와 행복하게 공존합니다. 노드의 아티팩트 에지는 레지스트리를 가리킬 수 있고, 입력 에지는 특성 저장소 소스에서, 드리프트 플래그는 모니터 출력에서 ​​가리킬 수 있습니다.

11가정과 한계

비용은 얼마이며, 분석이 잘못될 수 있는 부분은 무엇입니까?

12분석 재현 방법

이 페이지의 모든 숫자는 하나의 시드 스크립트에서 나옵니다. 구현은 한 번 생성되어 공유되며, 모든 임의성은 미리 그려지고, 각 스위치 조합은 그것의 순수한 기능이므로 분해는 샘플링되지 않고 정확합니다.

자신의 것으로 대체할 가치가 있는 매개변수: 실제 재고 부족 경제에 대한 미달 대 초과 비율, 이벤트 발생률, 기능이 실제로 이벤트에 대해 얼마나 앞서 있는지, 그래프가 짧아지는 드리프트 기간을 설정하는 재학습 주기.

관련 논문