80%에서 멈추는 성능
지난 2년 동안 엔터프라이즈 AI 에이전트를 구축했다면 아마도 같은 벽에 부딪혔을 것입니다. 프로토타입은 데모 당일에 훌륭하게 작동했습니다. 통제된 테스트에서는 정확도가 유망해 보입니다. 그런 다음 실제 운영 결정에 따라 배포하고 70~80% 사이에서 정체되는 것을 지켜봅니다.
본능은 검색 파이프라인을 수정하는 것입니다. 더 나은 청킹 전략. 모델 순위 재지정. 하이브리드 검색. 더 많은 임베딩, 더 많은 벡터, 더 많은 컨텍스트 창. 그리고 이들 중 일부는 점진적으로 도움이 됩니다. 그러나 문제는 검색이 아니었기 때문에 한계점은 남아 있습니다. 문제는 검색된 텍스트 청크가 결정 논리를 인코딩할 수 없다는 것입니다.
이것이 AI 데모와 AI 인프라를 구분하는 격차입니다. 그리고 이를 이해하려면 RAG가 잘하는 것이 무엇인지, 어디에서 문제가 발생하는지, 프로덕션에서 대안이 실제로 어떤 모습인지 솔직하게 살펴봐야 합니다.
RAG가 잘하는 일
RAG(Retrieval-Augmented Generation)는 실제 문제를 해결했습니다. LLM에는 고정된 교육 데이터가 있습니다. RAG를 사용하면 벡터 데이터베이스에서 관련 텍스트 청크를 검색하고 이를 프롬프트에 삽입하여 추론 시 현재 도메인별 정보를 참조할 수 있습니다.
대규모 작업 클래스의 경우 이는 매우 잘 작동합니다.
- 문서에 대한 질문 답변 -- "기업 계약에 대한 환불 정책은 무엇입니까?"
- 소스 기반 요약 -- 200페이지 분량의 보고서에서 올바른 단락을 추출합니다.
- 검색 스타일 작업 -- 구조화되지 않은 텍스트 모음에서 가장 관련성이 높은 정보를 찾습니다.
이 모든 경우에 답은 본문에 있습니다. 문제는 올바른 덩어리를 찾아 일관되게 제시하는 것입니다. RAG가 이를 처리합니다. 정보 검색 작업에 적합한 도구입니다.
RAG의 한계가 드러나는 지점
단일 텍스트 덩어리에 답변이 존재하지 않거나 답변에 여러 도메인, 관계 및 제약 조건에 대한 추론이 동시에 필요한 경우 RAG가 중단됩니다. 즉, 결정이 중단됩니다.
기업 결정은 단일 변수 조회가 거의 아닙니다. 여기에는 조직 경계 전반에 걸쳐 조건을 평가하고, 서로 상호 작용하는 임계값을 적용하고, 문서가 완전히 포착하지 못하는 상황에 따라 균형을 맞추는 작업이 포함됩니다.
RAG는 기록된 내용을 검색합니다. 기업의 결정은 결코 기록되지 않은 것, 즉 숙련된 운영자가 머릿속에 갖고 있는 관계, 임계값 및 예외 논리에 따라 달라집니다.
RAG가 검색하는 텍스트 청크는 단순합니다. 인과관계나 논리적 관계가 아닌 의미론적 유사성에 따라 정렬됩니다. LLM이 할인 정책에 대한 5개 청크, 고객 세분화에 대한 2개, 마진 임계값에 대한 1개 청크를 수신할 때 이러한 조각이 어떻게 연결되는지 이해할 수 있는 구조적 방법이 없습니다. 언어 패턴을 기반으로만 추측할 수 있습니다.
AI 에이전트를 위한 실용적인 지식 그래프
지식 그래프의 학문적 정의에는 온톨로지, RDF 트리플 및 SPARQL 쿼리가 포함됩니다. 해당 버전은 수십 년 동안 존재했지만 엔터프라이즈 AI 문제를 해결하지 못했습니다. 실제 버전은 다르게 보입니다.
AI 에이전트를 위한 지식 그래프는 다음 세 가지를 인코딩해야 합니다.
- 사물이란 무엇입니까(온톨로지) - 엔터티, 해당 속성 및 서로 어떻게 관련되어 있는지. 노드로서의 "고객"뿐만 아니라 세그먼트, 계정 내역, 계약 조건 및 지역 규칙에 연결된 고객입니다.
- 측정 방법(측정항목) - 결정을 내리는 데 사용되는 계산된 값입니다. 평생 가치. 이탈 확률. 마진 기여. 이는 정적 데이터가 아닙니다. 그것들은 순회 관계에서 파생됩니다.
- 결정 방법(결정) - 실제 논리입니다. 이탈 위험이 임계값을 초과하고 평생 가치가 특정 등급보다 높으며 할인 요청이 지역 당국에 속하는 경우 결정 경로는 특정 방식으로 분기됩니다.
이것이 데이터 그래프가 아닌 지능 그래프가 되는 이유입니다. 단순히 관계만 저장하는 것이 아닙니다. 숙련된 운영자가 결정을 내리는 데 사용하는 추론 패턴을 인코딩합니다.
할인 승인 사례: RAG와 구조화된 맥락의 비교
AI 에이전트가 주요 계정에 대해 15% 할인을 승인할지 여부를 결정해야 한다고 가정해 보겠습니다. 이것은 가설이 아닙니다. 이와 같은 가격 결정은 기업 영업 조직에서 하루에 수천 번 발생합니다.
RAG 접근 방식
에이전트는 할인 정책, 고객 내역 및 가격 책정 지침에 대한 청크를 검색합니다. "10%를 초과하는 할인에는 VP 승인이 필요합니다"라는 텍스트와 "특혜 가격을 받을 수 있는 주요 계정"에 대한 또 다른 내용이 있습니다. 이는 이 고객이 거주하는 지역의 마진 하한이 22%이고, 제품 라인의 1분기 프로모션 한도가 이미 도달했으며, 계정의 결제 내역으로 인해 지난 달 신용 보류가 발생했다는 사실을 간과하는 그럴듯해 보이는 답변을 생성합니다.
결과: 할인을 승인합니다. 세 가지 정책 위반.
구조화된 컨텍스트 접근 방식
에이전트는 그래프를 탐색합니다. resolve_entity는 고객 노드와 해당 연결을 식별합니다. compute_metric은 실시간 마진 영향을 계산합니다. evaluate_rule은 지역 마진 하한선, 프로모션 한도 및 신용 상태에 대한 할인을 확인합니다. traverse_path는 결제 내역 노드가 우대 가격을 실격시키는 신용 보류에 연결되어 있음을 발견합니다.
결과: 세 가지 제약 조건을 근거로 8%를 권장합니다.
검색 품질에는 차이가 없습니다. 차이점은 구조적입니다. RAG가 관련 텍스트를 찾았습니다. 구조화된 접근 방식은 연결된 논리를 횡단했습니다. 그래프 순회는 단일 팀이 단독으로 볼 수 없는 다변량 결정을 발견합니다. 신용 보류는 재무에서 설정하고 마진 최저치는 지역 운영에서, 프로모션 한도는 마케팅에서 설정했습니다. 단일 문서에는 세 가지 제약 조건이 모두 포함되어 있지 않습니다.
맥락 아키텍처의 여러 방식
이는 RAG와 지식 그래프 사이의 이진 선택이 아닙니다. 스펙트럼이 있으며 다양한 접근 방식이 어디에 있는지 이해하면 실제로 필요한 것이 무엇인지 명확히 하는 데 도움이 됩니다.
| 접근 | 검색하는 내용 | 의사결정 능력 | 엔터프라이즈 정확성 |
|---|---|---|---|
| 벡터 검색 | 유사성을 내장하여 가장 가까운 텍스트 덩어리 | 없음. 논리가 아닌 정보를 반환합니다. | 50-65% |
| RAG | 재순위 및 컨텍스트 주입이 포함된 텍스트 청크 | 언어에서 추론됩니다. 구조적 보장은 없습니다. | 70-80% |
| GraphRAG | 텍스트에서 추출한 후 검색한 엔터티 및 관계 | 관계 인식 검색. 아직 인코딩된 결정 규칙이 없습니다. | 80-88% |
| 구조화된 인텔리전스 | 탐색 가능한 온톨로지, 계산된 측정항목, 인코딩된 의사결정 로직 | 그래프 순회를 통한 전체 다변량 결정 평가. | 93-97% |
벡터 검색과 RAG는 왼쪽을 차지합니다. 이들은 검색 도구입니다. GraphRAG(Microsoft 및 기타 업체에서 설명)는 텍스트에서 엔터티와 관계를 추출하여 구조를 지향하지만 여전히 그래프를 검색 색인으로 처리합니다. 추출된 관계는 규정적 관계가 아니라 설명적 관계입니다. 그들은 결정하는 방법이 아니라 무엇이 관련되어 있는지 알려줍니다.
구조적 지능(Structured Intelligence)은 맨 오른쪽에 있습니다. 그래프는 사실 이후의 텍스트에서 추출되지 않습니다. 도메인 전문가가 실제로 생각하는 방식(온톨로지, 측정항목, 결정 규칙)을 인코딩하여 의도적으로 구축됩니다. AI 에이전트는 컨텍스트를 검색하지 않으며 LLM이 올바르게 추론하기를 바랍니다. 이는 의사결정 논리를 거쳐 구조적으로 건전한 답변에 도달합니다.
에이전트 아키텍처에서 중요한 이유
검색에서 구조화된 컨텍스트로의 전환은 AI 에이전트가 근본적으로 무엇인지를 변화시킵니다. RAG에서는 에이전트가 대화가 가능한 검색 엔진입니다. 구조화된 지능을 통해 에이전트는 설명할 수 있는 의사결정 시스템입니다.
에이전트 메모리 도구(Mem0, Zep, Cognee)는 에이전트 대화에 지속성을 추가합니다. 그들은 무슨 일이 일어났는지 기억합니다. 결정하는 방법을 인코딩하지 않습니다.
벡터 데이터베이스(Pinecone, Weaviate)는 임베딩을 저장하고 검색합니다. RAG의 인프라입니다. 동일한 검색 한도가 적용됩니다.
그래프 데이터베이스(Neo4j)는 관계를 저장합니다. 그들은 스토리지 엔진입니다. 사물의 의미, 측정 방법, 결정 방법에 대한 온톨로지가 제공되지 않습니다.
조정 프레임워크(LangChain, LlamaIndex)는 LLM을 도구 및 데이터 소스에 연결합니다. 쿼리를 라우팅합니다. 쿼리가 실행되는 지식을 구조화하지 않습니다.
이러한 구조 결정 논리는 없습니다. 각각은 메모리, 저장, 검색, 오케스트레이션 등 실제 문제를 해결하지만 비즈니스가 어떻게 생각하는지에 대한 모델을 에이전트에 제공하는 것은 없습니다.
이것이 바로 이러한 모든 도구를 함께 사용해도 여전히 정체 상태에 있을 수 있는 이유입니다. 누락된 레이어는 더 나은 검색, 더 나은 메모리 또는 더 나은 오케스트레이션이 아닙니다. 이는 도메인을 관리하는 엔터티, 지표 및 결정 규칙의 탐색 가능한 모델인 구조화된 컨텍스트입니다.
상황별 방식 선택
모든 AI 사용 사례에 구조화된 인텔리전스가 필요한 것은 아닙니다. 실용적인 프레임워크는 다음과 같습니다.
RAG가 적합한 경우:
- 대답은 텍스트에 존재하며 작업은 그것을 찾는 것입니다.
- 결정은 단일 변수이거나 위험도가 낮습니다(FAQ 봇, 문서 Q&A, 요약).
- 빠르게 작동하는 프로토타입이 필요하며 75% 이상의 정확도가 허용됩니다.
GraphRAG가 적합한 경우:
- 엔터티 간의 관계는 답변 품질에 중요합니다.
- 여러 문서나 데이터 소스에 걸쳐 추론해야 합니다.
- 귀하의 도메인에는 명확한 엔터티 유형이 있으며 의사결정 자동화가 아닌 더 나은 검색을 원합니다.
구조화된 인텔리전스가 적합한 경우:
- 에이전트는 정보를 검색하는 것뿐만 아니라 결정을 내리거나 권장해야 합니다.
- 결정에는 다양한 조직 영역(재무, 운영, 규정 준수)의 여러 변수가 포함됩니다.
- 90% 이상의 정확도는 요구 사항이지 열망이 아닙니다.
- 의사결정 논리는 문서화된 적이 없는 부족 지식으로 존재합니다.
- 감사 가능성, 즉 결정이 내려진 이유를 정확히 추적할 수 있는 능력이 필요합니다.
처음 두 가지는 검색 문제입니다. 세 번째는 지식 아키텍처 문제이다. 에이전트가 수익, 운영 또는 규정 준수에 영향을 미치는 결정을 내리는 경우 세 번째 결정을 처리하게 됩니다.
앞으로 나아갈 방향
더 많은 매개변수, 더 나은 임베딩, 더 긴 컨텍스트 창 등 업계의 현재 궤도는 계속해서 RAG를 점진적으로 개선할 것입니다. 그러나 검색과 추론 사이의 간격을 좁힐 수는 없습니다. 그 격차는 건축적입니다.
이를 마무리하려면 구조화된 컨텍스트 계층, 즉 사물이 무엇인지, 측정 방법 및 결정이 내려지는 방법을 인코딩하는 인텔리전스 그래프를 구축해야 합니다. 해당 그래프는 모든 에이전트, 모든 모델, 모든 업무 흐름 쿼리의 기초가 됩니다. 한 번 구축하면 이후의 모든 사용 사례는 이미 인코딩된 지식을 바탕으로 구성됩니다.
문제는 RAG를 사용할지 지식 그래프를 사용할지 여부가 아닙니다. AI 에이전트가 텍스트를 검색하는지 아니면 인텔리전스를 탐색하는지 여부입니다. 기업 결정의 경우 이 두 가지 접근 방식의 차이점은 데모 시스템과 프로덕션 시스템의 차이입니다.
