의사결정 규칙은 실제로 어디에 있는가

01현재 의사결정 논리가 존재하는 곳

회사의 데이터가 어디에 있는지 물어보면 누군가가 창고를 가리킵니다. 회사를 운영하는 논리, 할인이 승인되고 재고가 재할당되고 예외가 허용되는 실제 규칙이 어디에 있는지 물어보세요. 이에 상응하는 대답은 없습니다.

정직한 대답은 그것이 세 군데에 살고 있다는 것인데, 그 어느 곳도 시스템이 아닙니다.

일부는 기록되어 있습니다. SOP, 정책 PDF, 프로세스 위키. 이미 모두가 동의하고 있는 부분이기 때문에 문서로 만들었습니다. 또한 만성적으로 오래되었습니다. 3월에 프로세스가 변경되었지만 PDF는 변경되지 않았습니다.

나머지 대부분은 사람들의 머릿속에 있습니다. 11년 동안 그곳에 있었던 가격 분석가는 할인 SOP를 따르지 않습니다. 그녀는 SOP에 따라 사례별로 축적된 40개의 수정 사항을 추가했습니다. 그녀에게는 그것이 규칙처럼 느껴지지 않기 때문에 아무도 수정 사항을 기록하지 않았습니다. 그들은 경험처럼 느껴집니다. 이 지식은 그녀가 그럴 때마다 건물을 떠납니다.

나머지는 추적에서만 볼 수 있습니다. 일부 제약 조건은 문서나 인터뷰에서 미리 말할 수 없습니다. 실제 사례가 실행될 때까지 그 제약이 유지되는지 아무도 모르기 때문입니다. 재정의 및 에스컬레이션과 함께 실제로 이루어진 결정 기록은 이 레이어가 존재하는 유일한 장소입니다.

회사 결정에 AI를 적용하려는 모든 진지한 시도는 이러한 배포로 이어집니다. 문서만으로 교육을 받거나 메시지를 받은 시스템은 첫 주에 똑똑한 신입 사원처럼 작동합니다. 표준 사례에서는 수정하고 중요한 사례에서는 틀리게 됩니다. 어려운 사례를 결정하는 자료는 결코 기록되지 않았기 때문입니다. 이 백서의 숫자는 이러한 직관을 뒷받침합니다. 우리 모델에서 기록되지 않은 제약 조건은 규칙서의 38.3%이고 문서 전용 시스템이 생성하는 오류의 81%를 차지합니다.

Intelligence Warehouse의 대답은 각 반복 결정에 홈, 즉 결정 회로를 제공하는 것입니다. 동반 문서에서는 순회가 회로에 들어갈 때 응답 시간에 회로가 ​​어떻게 사용되는지 다룹니다. 이 문서는 회로 자체에 관한 것입니다. 즉, 회로에 포함된 내용, 내용의 출처, 1년 동안 작동 시 회로가 어떻게 변경되는지에 관한 것입니다.

02의사결정 회로란 무엇인가

결정 회로는 하나의 반복 결정을 실행 가능한 형식으로 캡처하는 형식화된 하위 그래프입니다. 결정에 대한 설명이 아닙니다. 실행되는 형태의 결정입니다.

회로는 여섯 가지를 담고 있습니다.

전제 조건

이 결정이 적용되기 전에 무엇이 사실이어야 하는지. 가장 저렴한 검사이고 대부분의 트래픽을 필터링하므로 먼저 검사합니다.

규칙 노드

코드화된 제약 조건. 각 항목은 출처가 무엇인지, 어떤 SOP에서 왔는지, 어떤 인터뷰를 통해 갈등이 해결되었는지 등 일급 속성으로 전달됩니다. 원점이 없는 규칙은 회로에 존재하지 않습니다.

에스컬레이션 경로

입력됨 escalates_to 순서대로 예외를 소유한 사람들에게 다가갑니다. 이것이 회로의 출력을 제안이 아닌 승인 체인으로 만드는 것입니다.

예외 이력

누가, 왜 규칙을 무시한 모든 사건에 대한 누적된 기록입니다. 결정 시 읽어 보십시오. 따라서 비정상적인 사례에 대한 판단은 일반적인 모델의 합리적인 판단이 아니라 이 회사가 유사한 사례를 어떻게 처리했는지에 따라 결정됩니다.

파견 정책

회로 실행 방법: 결정론적(컴파일된 코드), 에이전트적(판단 지점에서 모델 추론) 또는 하이브리드(라우터가 사례별로 선택). 섹션 10에서는 회로가 이들 사이에서 어떻게 이동하는지 다룹니다.

인터페이스

회로가 읽고 영향을 미치는 항목, 즉 회로가 작동하는 엔터티, 참조하는 데이터 소스, KPI 결과 피드에 대한 입력된 관계입니다. 이는 회사 그래프의 어느 곳에서나 순회가 회로에 들어갈 수 있게 하는 것입니다.

IW 그래프의 모든 노드와 마찬가지로 회로는 두 가지 해상도로 존재합니다. 순회 프론티어에서는 이름, 범위, 한 줄 등 약 45개의 토큰이 필요합니다. 포함된 전체 본문, 규칙 및 예외 기록은 실제로 탐색가 들어갈 때만 로드됩니다. 회사는 수천 개의 회로를 보유할 수 있으며, 주어진 질문은 접촉하는 2~3개의 회로에 대한 비용을 지불합니다.

“스킬” 대신 “회로”라는 단어를 선택한 데에는 이유가 있습니다. 둘 다 필요할 때 불러오는 작고 자기 설명적인 절차입니다. 차이는 출처에 있습니다. 스킬은 누군가 에이전트를 위해 작성한 파일입니다. 의사결정 회로는 기업의 운영 과정에서 축적되며, 모든 규칙은 근거 문서, 인터뷰 또는 해결된 사례로 연결됩니다. 회로는 한 번 설치하는 대상이 아니라 운영하면서 자라는 대상입니다. 이 논문의 나머지 부분은 그 성장 과정을 설명합니다.

03측정에 사용한 모델

지식 포착에 대한 주장은 만들기는 쉽지만 확인하기는 어렵습니다. 따라서 이 논문에는 시뮬레이션이 포함되어 있으며 여기에서 나오는 모든 숫자는 여기에서 나옵니다. 설정은 동반 문서와 일치합니다. 회사 1개, 반복 결정 420개, 한 달에 결정 8,000개 실행, 트래픽 Zipf 분산. 실제 회사의 질문 트래픽이 반복 사례의 책임자에 집중되기 때문입니다.

각 회로에는 8~25개의 제약 조건이 포함된 실제 규칙집이 있으며 각 제약 조건에는 두 가지 속성이 있습니다. 첫 번째는 출처, 즉 배울 수 있는 곳입니다.

두 번째 속성은 바인딩 가중치입니다. 즉, 실제 사례에서 제약 조건이 실제로 중요한 빈도입니다. 문서화된 규칙은 일반적인 규칙이므로 높은 가중치를 갖습니다. 면담 및 추적 규칙은 구속력이 거의 없지만 구속력이 있으면 사건을 결정합니다. 이러한 비대칭성은 게임 전체에 적용됩니다. 포착하기 가장 어려운 규칙은 정답과 그럴듯한 답을 구분하는 규칙입니다.

의사결정 실행에서는 가중치를 기준으로 1~3개의 바인딩 제약조건을 샘플링합니다. 회로에서 바인딩 제약 조건이 누락되었거나 존재하지만 오래된 경우 실행은 개입입니다. 즉, 사람이 결과를 재정의하거나 재작업하거나 구출해야 합니다. 개입률은 뒤따르는 모든 것에 대한 품질 척도입니다. 우리는 또한 세계에 진정한 참신함을 선사합니다. 실행의 1.5%는 이전에 누구도 본 적이 없는 제약에 부딪히며 어떤 캡처 메커니즘도 방지할 수 없습니다. 그것이 바닥이고, 이것이 이 논문의 어떤 선도 0에 도달하지 않는 이유입니다.

게다가 문서 이외의 세 가지 캡처 메커니즘(인터뷰, 추적 캡처, 강화)은 독립적으로 켜고 끌 수 있는 스위치입니다. 이를 통해 §08에서는 전체 시스템을 한 번에 인정하는 대신 각 메커니즘의 가치를 알 수 있습니다.

041단계: 문서

회로는 종이에서 탄생합니다. SOP, 정책 문서, 권한 위임 매트릭스, 프로세스 위키: 회사가 기록하려고 애쓴 모든 내용은 초안 규칙 노드로 구문 분석되며, 각각은 해당 문서와 해당 섹션의 태그가 지정됩니다.

이 레이어는 저렴하고 빠르며 정말 가치가 있습니다. 이는 규칙서의 약 61.7%를 캡처하고, 누구의 달력도 필요하지 않으며, 모든 이후 레이어가 연결되는 뼈대(임계값, 명명된 승인자, 표준 사례)를 생성합니다. 시뮬레이션에서는 스위치가 아닙니다. 그것은 모든 세계가 시작되는 바닥입니다.

분명히 말할 가치가 있는 두 가지 한계가 있습니다. 첫 번째는 모든 사람이 이미 동의한 내용을 문서에 담고 있다는 것입니다. SOP는 기록할 만큼 논란의 여지가 없는 결정의 일부입니다. 즉, 논쟁과 에스컬레이션을 유발하는 어려운 잔여물이 체계적으로 결여되어 있음을 의미합니다. 두 번째는 부실함입니다. 모델에서 문서화된 규칙의 6%는 작성된 대로 잘못되었습니다. 프로세스는 이동했지만 문서는 이동하지 않았기 때문입니다. 시스템이 자신 있게 적용하는 잘못된 규칙은 그 자체로 실패의 원인입니다.

여기에서 중단했을 때 측정된 결과: 개입 비율은 34.09%에서 시작하여 12개월 후에도 33.5%로 유지됩니다. 문서 전용 시스템은 문서에 포함되지 않은 내용을 알 수 있는 방법이 없기 때문에 개선되는 것은 없습니다. 대략 3번 중 1번의 결정은 이를 따라잡을 사람이 영원히 필요합니다.

052단계: 전문가 인터뷰

가격 분석가의 머리 속에 있는 수정 사항은 양식을 통해 나오지 않습니다. 그들은 올바른 후속 질문을 하는 사람과의 대화를 통해 나오며, 이는 IW가 인터뷰 에이전트인 Morrie에게 제공하는 임무입니다.

회로에 대한 인터뷰 세션은 설문지가 할 수 없는 세 가지 작업을 수행합니다. 암묵적 지식을 보유한 사람들은 그것을 열거할 수는 없지만 하루 종일 사례에 반응할 수 있기 때문에 추상적인 규칙을 묻는 대신 실제 사례를 통해 전문가를 안내합니다. 전문가가 조용히 문서에서 벗어나는 부분이 바로 문서화되지 않은 규칙이 있는 부분이기 때문에 작성된 SOP와의 불일치를 직접 조사합니다. 그리고 학습한 내용을 출처에 전문가 이름과 함께 규칙 노드로 기록하므로 6개월이 지난 후에도 제약 조건이 어디서 왔는지 궁금해하는 사람은 아무도 없습니다.

인터뷰는 노인들의 시간이라는 중요한 통화로 인해 비용이 많이 들기 때문에 롤아웃이 최우선입니다. 시뮬레이션에서는 한 달에 60개의 회로가 교통 순서에 따라 인터뷰를 진행하며, 이는 1분기 내에 대부분의 볼륨을 수행하는 결정을 다룹니다. 각 인터뷰는 해당 회로의 인터뷰 가능한 규칙의 85%를 포착합니다. 누구도 한 번에 모든 것을 기억하지 못하며, 모델은 그렇지 않은 척하지도 않습니다.

계층이 구매하는 것, 측정됨: 인터뷰를 켜면 1개월간 개입 비율이 결정됩니다.34.09%에10.4%, 트래픽 책임자가 일찍 예외를 받기 때문입니다. 장기적인 그림은 더 흥미롭고 덜 명확합니다. 12개월이 되면 추적 캡처(§06) 어려운 방법으로 동일한 규칙을 많이 찾았을 것이므로 인터뷰의 연말 기여도는 초기 달 기여도보다 분해에서 더 작게 보입니다. 인터뷰를 통해 얻을 수 있는 두 가지시간, 결코 일어나지 않은 헤드 회로의 실패의 해, 그리고보험, 이는§09: 소유자가 사임하기 전에 회로에 도달한 규칙은 캡처되고 그렇지 않은 규칙은 사라질 수 있습니다.

063단계: 의사결정 이력

회로가 활성화되면 회로를 통과하는 모든 실행이 증거가 됩니다. 추적 계층은 실패를 규칙으로 바꿉니다.

실행이 개입으로 끝나면 특정한 일이 발생합니다. 즉, 사람이 시스템의 출력을 보고 더 잘 알고 다른 작업을 수행한 것입니다. 해당 수정에는 규칙이 포함되어 있습니다. 추적 메커니즘은 회로에서 결론을 내린 것과 사람이 수행한 것 사이의 델타를 조사하고, 누락된 제약 조건의 초안을 작성하고, 확인을 위해 이를 회로 소유자에게 전달합니다. 시뮬레이션에서 누락된 규칙으로 인한 개입은 해당 규칙을 확률 0.5로 코드화합니다. 나머지 시간에는 사례가 너무 모호하여 명확한 제약을 산출할 수 없었는데, 이는 사후 프로세스를 실행하려고 시도한 사람의 경험과 일치합니다.

두 가지 속성으로 인해 이 레이어는 처음 두 가지와 종류가 다릅니다. 이는 누구도 미리 언급할 수 없는 규칙, 즉 현실이 사례를 생성한 후에만 존재하는 trace-origin 제약 조건에 도달합니다. 그리고 결코 멈추지 않습니다. 문서는 한 번 수집되고 인터뷰가 끝나지만 추적 레이어는 회사가 있는 한 실행됩니다. 이것이 바로 §08 분해의 12개월 결과에 가장 큰 단일 기여자가 되는 이유입니다. 동반 문서의 쓰기 되돌림 메커니즘은 순회 측면에서 볼 수 있는 이 레이어입니다. 이동 중에 해결된 충돌은 규칙 노드로 지정되고, 동일한 영역을 통과하는 다음 이동에서는 문제를 재발견하는 대신 규칙을 읽습니다.

이 레이어가 학습하는 방법에는 비용이 포함되며, 이를 큰 소리로 말해야 합니다. 트레이스 레이어가 캡처하는 모든 규칙은 실제 개입으로 지불되었으며, 시스템이 프로덕션에서 잘못된 경우입니다. 추적은 규칙당 가장 저렴한 메커니즘이고 레슨당 가장 비쌉니다. 그 거래는 중요한 회로에서 인터뷰 단계를 건너뛰지 말아야 한다는 가장 강력한 실제적 주장입니다.

074단계: 사용 과정에서 얻는 보강

처음 세 개의 레이어에는 규칙이 추가됩니다. 네 번째는 라이브 플랫폼이 무료로 생성하는 신호, 즉 사람들이 시스템 결정에 따라 무엇을 하는지를 사용하여 이미 존재하는 규칙을 판단합니다.

모든 실행은 세 가지 결과 중 하나로 끝납니다. 결정이 승인되었거나, 재정의되었거나, 에스컬레이션되었습니다. 각 결과는 실행에 참여한 모든 규칙에 대한 레이블입니다. 수용된 결정 안에 계속 머무르는 규칙은 신뢰를 얻습니다. 재정의된 규칙에 계속 나타나는 규칙은 잘못되었거나, 오래되었거나, 형제 예외가 누락된 것이며, 충분한 관련 사례(시뮬레이션에서 3개) 후에 회로 소유자를 통해 플래그가 지정되고 수정됩니다.

이는 수집된 날부터 잘못된 문서화된 규칙의 6%와 그 아래의 프로세스가 진행됨에 따라 나중에 부패되는 규칙을 처리하는 레이어입니다. 이는 또한 §10의 디스패치 결정을 제공합니다. 강화가 축적하는 신뢰도 점수는 시스템이 결정적 코드로 승격을 제안할 때 회로가 제시하는 증거이며 해당 점수의 드리프트는 강등을 유발합니다.

단어에 대한 메모는 "강화"가 우리가 의도한 것보다 더 강한 읽기를 유도하기 때문입니다. 여기에는 모델 가중치를 업데이트하는 항목이 없습니다. 이는 명시적 규칙에 대한 결과 가중 장부입니다. 모든 수정에 대해 인간 소유자가 루프에 참여하면서 규칙별 신뢰도를 조정하는 신호를 수락하고 무시합니다. 사용법이 행동을 향상시킨다는 느슨한 의미의 강화 학습처럼 동작하지만, 모든 업데이트는 누군가가 승인한 명명된 규칙에 대한 읽기 쉬운 변경입니다. 이것이 학습하는 시스템과 학습하는 동안 감사할 수 있는 시스템의 차이입니다.

081년간의 측정 결과

12개월 동안 4개의 레이어를 모두 함께 실행하면 두 개의 곡선이 이야기를 말해줍니다. 즉, 회로가 무엇을 알고 있는지, 그리고 얼마나 자주 실패하는지를 알 수 있습니다.

각 메커니즘의 기여도

세 가지 메커니즘은 독립적인 스위치이기 때문에 동일한 시드에서 8개 조합을 모두 실행하고 Shapley 값으로 12개월 개선을 분할했습니다. 따라서 속성은 추가하는 순서에 따라 달라지지 않습니다.

분해는주의 깊게 읽는 데 도움이됩니다. 추적 캡처는 실행을 멈추지 않기 때문에 12개월에 승리합니다. 그러나 초기 달은 인터뷰에 속하고 3개월에 수행된 분해는 순위를 정반대로 지정합니다. 메커니즘은 경쟁하지 않습니다. 인터뷰는 가장 중요한 결정에 대한 첫 해의 성과를 구매하고, 추적은 꼬리를 영원히 갈아내고, 강화는 둘 다 작동하는 동안 규칙서를 정직하게 유지합니다. 그 중 하나를 건너뛰면 달력의 다른 위치에 표시됩니다.

09전문가가 조직을 떠날 때

한 사람이 보유한 지식은 퇴직일이 있는 부채입니다. 이 실험은 가격을 책정합니다.

6개월차가 시작될 때 전체 회로의 4분의 1을 담당하는 전문가가 퇴사합니다. 아직 기록하지 못한 규칙도 함께 사라집니다. 실패 사례를 설명할 사람이 없으므로 이 지식은 이후 의사결정 이력에서 정상 규칙화 속도의 5분의 1 수준으로 느리고 비싸게 복구됩니다. 같은 1년을 두 번 실행합니다. 한 시나리오는 1개월차부터 사용 빈도순으로 전문가를 인터뷰하고, 다른 시나리오는 문서와 의사결정 이력에만 의존합니다.

두 선 사이의 차이는 한 가지 측면에서 실제 차이를 과소평가합니다. 시뮬레이션은 개입에 대한 가격만 책정하며, 실제 회사에서는 각 결정이 잘못되었거나 지연되어 자체 비용이 발생합니다. 단순하게 읽는 것이 옳습니다. 회로 소유자와 인터뷰하는 것은 그들이 여전히 당신을 위해 일하는 동안에만 구입할 수 있는 보험이며 보험료는 그들의 일정에 따라 몇 시간 정도 소요됩니다.

10의사결정 회로의 생애주기

규칙이 포착되더라도 회로는 완성되지 않습니다. 여기에는 수명 주기가 있으며 흥미로운 전환은 자체 증거에 따라 이루어지는 전환입니다.

초안

문서에서 구문 분석되었으며 검토되지 않았습니다. 실행할 수 없습니다. 실제 교통에 닿기 전에 소유자가 뼈대를 확인할 수 있도록 존재합니다.

대리인의

젊은 회로의 정상적인 작동 상태입니다. 모델은 판단 시점에서 규칙과 예외 기록을 읽고 추론합니다. 모든 실행은 실제 예제를 추가합니다.

하이브리드

라우터는 표준 사례를 컴파일된 경로로 보내고 예외처럼 보이는 사례에 대한 모델을 예약합니다. 대부분의 회로는 대부분의 삶을 이곳에서 보냅니다.

승진하다

완전히 결정적입니다. 회로의 축적된 증거에 따르면 판단이 안정화되었음을 나타낼 때 도달합니다. 모델링에서는 50개의 일관된 실행이 이루어졌습니다. 3% 샘플링된 감사는 새로운 모델 판단에 대해 컴파일된 논리를 계속 확인합니다. 승격에는 회로가 기록 시스템에 쓸 때마다 사람의 승인이 필요합니다.

강등됨

감사 불일치가 증가하거나 입력 분포가 드리프트되는 승격된 모든 회로는 자동으로 하이브리드로 돌아갑니다. 강등은 비용이 적게 들고 낙인이 찍히지 않습니다. 세상이 움직이는 것을 알아차리는 시스템이다.

은퇴하다

결정 자체가 반복되지 않았습니다. 회로와 그 기록은 이를 대체한 항목의 출처로 그래프에 유지됩니다.

회사 차원에서도 동일한 움직임이 나타납니다. 계속해서 제기되는 판단 요청은 결국 절차에 기록됩니다. 회사에서는 누군가가 SOP를 작성할 때 이를 직접 수행합니다. 회로는 증거를 첨부하여 양방향으로 지속적으로 수행합니다. 이는 회사가 잘 못하는 부분입니다. 즉, 사실이 아닌 경우 절차를 작성 취소하는 것입니다.

한 의사결정 회로의 첫 1년

탄생부터 승진까지 동반 문서에 나온 거래 할인 회로:

이 타임라인에는 이국적인 것이 하나도 없습니다. 그게 요점입니다. 각 이벤트는 일반적인 작업을 수행하는 4개 계층 중 하나이며, 이벤트가 끝나면 회사는 검사 가능한 하나의 개체에서 PDF, 분석가의 머리 및 분산된 재정의 이메일에 존재했던 결정을 소유합니다.

11의사결정 회로의 범위와 구분

이 표의 모든 열은 기업의 의사결정 논리를 담는 곳으로 제안되었습니다. 행은 각 대안에는 부족한 회로에 필요한 것입니다.

이 가운데 두 가지는 더 설명할 필요가 있습니다. 규칙 엔진은 가장 가까운 선행 기술이며 그 역사가 시사하는 바가 있습니다. BRMS 구축은 모든 규칙을 미리 나열하고 이후에도 수작업으로 유지해야 한다는 부담 때문에 멈추곤 합니다. 네 계층은 바로 이 전제를 제거합니다. 미세 조정한 모델은 의사결정 행동을 학습할 수 있지만, 개별 규칙과 출처를 보여주거나 재학습 없이 수정하거나 어떤 판단 습관이 낡았는지 알려주지는 못합니다. 다시 한 사람의 머릿속에 지식이 들어간 것과 비슷하지만 인터뷰하기는 더 어렵습니다.

12가정과 한계

회로 비용은 얼마이며 이 분석이 어디에서 잘못되었을 수 있습니까?

13분석 재현 방법

이 페이지의 모든 숫자는 규칙서, 12개월, 8개의 스위치 조합, 두 소모 세계 및 두 스윕이라는 하나의 시드 스크립트에서 나옵니다.

자신의 것으로 대체할 가치가 가장 높은 매개변수는 오리진 믹스(실제로 기록되는 결정 논리의 양, 대부분의 회사는 이를 과대평가함), 고위 직원이 유지할 수 있는 인터뷰 역량, 추적 레이어가 얼마나 빨리 학습할 수 있는지를 설정하는 월간 결정량입니다.

관련 논문