컨텍스트 엔지니어링 실전: AI 에이전트가 production에서 실패하는 진짜 이유

2025년 12월 Dave Ebbelaar(Data Lumina 창업자)가 한 영상에서 한 문장을 던졌습니다. "Most of the time the problem is not the model itself. It's also not the tools. It's not even the agent loop itself. It's generally that we are all just very bad at context engineering at scale." 같은 시기 Anthropic은 "Effective Context Engineering for AI Agents"(2025-09-29)라는 공식 블로그로 같은 진단을 정식화했습니다. 두 자료는 한 줄로 모입니다 — 2024년이 prompt engineering의 해였다면, 2025년부터는 context engineering의 시대입니다. ChatGPT·Claude·Cursor가 데모 영상에서는 멀쩡하지만 production에서 자꾸 무너지는 진짜 이유는 모델도, 도구도, 에이전트 루프도 아닌 그 안에 흘러들어 가는 컨텍스트가 잘못 설계되어 있기 때문입니다.

1장은 진단입니다. Dave의 "It's not the model" 한 줄, Anthropic 공식 정의("the set of strategies for curating and maintaining the optimal set of tokens during LLM inference"), Microsoft Copilot 일부 기능 철회·Apple Intelligence 출시 지연·Amazon Rufus 한정 출시 같은 production 실패가 모두 같은 원인이라는 사실을 짚습니다. 한국 기업의 POC는 성공·production은 실패라는 패턴도 같은 5축의 어느 한 축이 빠진 결과입니다. 2장은 그 5축 — System Prompt(너무 막연/너무 구체의 함정), Documents(RAG 4단계 파이프라인), Tools(30개 넘으면 sub-agent 분리), Memory(turn 10에서 터지는 버그), State Machine(데이터베이스 기반 동적 주입) — 을 각 절마다 의사코드와 한국 사례로 풀어냅니다.

3장은 디버깅입니다. Langfuse·Helicone·LangSmith 세 도구 비교, LLM이 negative examples("하지 마세요")를 못 다루는 인지적 이유와 positive few-shot으로 교정하는 방법, Liu et al. 2023 "Lost in the Middle" 논문이 보여주는 needle-in-a-haystack 성능 저하, 그리고 한국어 system prompt가 영어 대비 1.5~2배 토큰을 먹는 현실까지. 4장은 Anthropic "Building Effective Agents"(Erik Schluntz·Barry Zhang, 2024-12-19) 블로그의 workflow vs agent 정의를 본격 분석합니다. "workflows are systems where LLMs and tools are orchestrated through predefined code paths" vs "agents dynamically direct their own processes" — 이 차이를 결정 트리 4문항으로 압축하고, 한국 e커머스 CS·금융 챗봇·HR onboarding 가상 사례 3개로 workflow로 풀어야 할 문제를 agent로 풀어서 무너진 패턴을 보여줍니다.

5장은 7가지 실전 패턴과 6주 학습 로드맵입니다. Router pattern으로 700줄 system prompt를 라우터 + 5개 sub-prompt로 분할, state machine + Postgres·Redis로 onboarding 단계별 동적 컨텍스트, RAG + reranker(Cohere rerank-v3.5·Voyage rerank-2·BGE-reranker-large) + hybrid search(dense + BM25), 그리고 tools 30개 넘으면 sub-agent로 분리하는 두 가지 방법까지. 마지막 5-5는 한국 비전공자가 첫 production AI 시스템을 띄우기까지의 6주 학습 로드맵으로 마무리합니다 — Python·LLM basics → prompt eng → RAG → agents·tools → tracing·eval → production deploy 6주차.