ProductServiceAinewtPRTech Blog
MO·DU
D·A
HA·DA
ZENIS
MISO
ALBATROS
Data
Qdrant
AI Agent
HAI
Contact
ainewt_logo_color

AX 시대의 프로젝트 오케스트레이션

07.22.2026.곽한승
#비정형데이터
#AX
#PixelRAG
#orchestration
#AI
#Agentic AI
Report

안녕하세요. 제품실에서 기획 및 PM(Product Manager - 제품 관리자) 파트를 담당하고 있는 곽한승 주임입니다.

최근 시장의 생성형 AI 기반 도구들은 실무자들의 생산성을 눈부시게 개선하고 있습니다. 기획자는 AI로 PRD(Product Requirements Document - 제품 요구사항 정의서) 초안을 몇 초 만에 작성하고, 개발자는 코파일럿(Copilot) 같은 도구로 반복적인 보일러플레이트(Boilerplate - 표준화된 기초 코드 구조) 코드를 순식간에 빌드합니다.

하지만 현업에서의 현실은 여전히 냉혹합니다.

개인의 작업 속도는 빨라졌지만, 정작 전체 제품의 출시 주기나 품질은 크게 나아지지 않는 모순이 벌어집니다. 이를 우리는 'AX(AI Transformation - AI 전환) 생산성 패러독스'라고 부릅니다.

기획자는 더 정교해진 요구사항을 끊임없이 쏟아내고, 개발자는 AI가 만든 코드를 디버깅하느라 더 많은 시간을 소모합니다. 결과적으로 부서 간에 오가는 정보의 양만 늘어났을 뿐, 맥락을 맞추기 위한 소통 오버헤드(Communication Overhead - 합의와 조율을 위해 허비하는 소통 비용)는 오히려 심화되었습니다. 효율성과 더 좋은 성과를 위한 AI로의 전환이 오히려 불필요한 업무와 과정을 늘리고, 정보 오류의 원인이 될 수 있는 것입니다.

AX의 핵심은 개별 작업자의 단순한 '바이브 코딩'이나 '기획서 초안 생성' 수준에 머물러서는 안되며, 기획자가 일상적으로 쏟아내는 회의록, 슬랙 대화 등의 비정형 데이터 속에 숨겨진 의사결정과 의존성을 인공지능이 스스로 파악하여, 관리자가 판단하고 승인할 수 있는 정형 데이터(칸반 백로그, Epic/Story/Task)로 자율 전환해 주는 시스템 구축이 필수적이라고 생각합니다.

이번 콘텐츠에서는 AI 시대로의 전환 과정에서 개개인의 생산성 향상이 왜 조직 전체의 소통 병목으로 변질되는지 분석하고, 이를 프로젝트 관리 관점에서 조율하기 위한 방법과 관련된 기술 방향성에 대해 공유하고자 합니다. AX 시대의 프로젝트 오케스트레이션을 위해서는 소통 장벽과 인지 과부하, 비정형 데이터의 유실 차단, 자율형 에이전트와 자원 최적화에 대한 고민과 논의가 필요합니다. 이를 통해 기획자와 개발자 모두가 단순하고 반복적인 관리 행정에서 벗어나, 명령에 따라 자율적으로 작동하는 AI Agent들을 지휘하는 진정한 '마에스트로(Orchestrator)'로 거듭나는 길에 대해 화두를 던지고자 합니다.

  • 소통의 장벽과 인지 과부하: 개발자 중심의 이슈 티켓 시스템이 만드는 정보 고립(Information/Data Silo) 현상과 맥락 전환이 유발하는 업무 비효율을 정의하고 문제점을 논의합니다.
  • 비정형 데이터의 유실 차단: 회의나 슬랙 메시지처럼 정해진 규격이 없는 비정형 데이터에서 레이아웃과 도표까지 온전히 보존하는 'PixelRAG(시각 보존형 검색)' 및 '지식 그래프' 연동 메커니즘을 실제 글로벌 상용 적용 사례와 함께 소개합니다.
  • 자율형 에이전트와 자원 최적화: 답변만 하는 챗봇을 넘어 스스로 행동하는 '에이전틱 AI(Agentic AI)'의 구동 원리를 파헤칩니다. 나아가 에이전트가 대기하는 유휴 시간 동안 서버 전력 낭비를 완전히 차단하는 '서버리스 에이전트 하이버네이션(휴면)' 아키텍처와 인간의 최종 통제 게이트인 HITL(Human-in-the-Loop - 인간 참여 설계) 의 융합 방안을 공유합니다.

01.png

왜 IT 조직은 여전히 소통에 실패하는가?

현대 제품 개발 생태계는 협업 도구의 홍수 속에 놓여 있으나, 역설적으로 소통 부재와 정보 파편화는 더욱 심화되고 있습니다. Jira나 GitHub Issues 등 업계를 지배하는 시스템들은 본질적으로 개발 편의를 위한 '결정론적 코드 관리 화면(UI)'을 기반으로 설계되었는데, 이는 데이터의 엄격한 추적에는 유리할지 모르지만, 기획자나 PM, 경영진 등 비개발 직군에게는 불친절하고 높은 인지적 장벽이 되고 맙니다. 이는 결국 프로젝트를 수행하는데 있어 각자 다른 직군들이 자기만의 도구 뒤 성벽 안으로 숨어버리는 상황을 초래하고, 이로 인한 소통의 부재로 인해 매일 같이 정보가 고립되는 사일로(Silo) 현상이 심화되는 것입니다. 게다가 이를 해결하기 위한 소통을 위한 도구가 늘어나면 늘어날수록 프로젝트 관계자들은 관련 사항을 놓치지 않기 위한 싱크를 맞추기 위한 수동적인 행정 비용이 기하급수적으로 폭증합니다.

  • 제품 스펙은 Confluence에, 실시간 대화는 Slack에, 구현 작업은 Jira와 GitHub에 각각 파편화되어 흩어집니다. (소통 채널의 다변화로 인한 정보의 과부하와 혼재의 문제)
  • 여러 조사에서는 정보 사일로와 불명확한 목표 설정이 개발자의 번아웃과 협업 비용을 증가시키는 주요 원인으로 지적되고 있습니다. (업무 혼란의 가중)

여기서 우리가 주목해야 할 지점은 시스템의 복잡함과 도구 파편화로 인해 발생하는 '정신적 맥락 전환 비용(Context Switching Cost)'입니다.

캘리포니아 어바인 대학교(UC Irvine)의 Gloria Mark 교수 연구에 따르면, 지식 노동자는 이메일이나 메신저 알림, 동료와의 대화 등으로 업무가 중단된 후 원래 수행하던 작업으로 복귀하는 과정에서 상당한 시간을 소비하는 것으로 보고되었습니다. 또한 소프트웨어 공학 분야에서도 개발자의 잦은 업무 전환(Context Switching)은 작업 기억(Working Memory)에 추가적인 인지 부하를 유발하여 집중도와 생산성을 저하시킬 수 있는 요인으로 분석됩니다.

특히 현대 개발 환경에서는 Jira, GitHub, Slack, Confluence 등 여러 시스템에 업무 정보가 분산되어 있어, 업무 전환 과정에서 필요한 정보를 다시 탐색하고 맥락을 복원하는 재맥락화(Re-contextualization) 비용이 증가합니다. 결과적으로 개발자는 코드 작성 자체뿐 아니라 정보 탐색과 팀 간 조율에 많은 시간을 사용하게 되며, 깊은 몰입(Deep Work)을 지속하기 어려워집니다.

이 보이지 않는 조율 비용은 개발자 번아웃을 넘어, 제품 출시 속도를 평가하는 핵심 표준 지표인 DORA(DevOps Research and Assessment) 지표 모두에 심각한 악영향을 미치게 됩니다.

이러한 문제는 단순히 협업 도구를 더 도입하거나 기존 시스템을 통합하는 것만으로는 해결되지 않습니다. 필요한 것은 데이터를 한곳에 모으는 것이 아니라, 업무의 맥락(Context)을 이해하고 연결하는 방식의 전환입니다. 맥락 오케스트레이션은 여러 시스템에 분산된 정보와 의사결정을 AI 에이전트가 실시간으로 해석하고 조율하여, 사용자는 도구를 오가는 대신 자연어 기반의 대화만으로 업무를 수행할 수 있도록 지원합니다. 즉, 사람이 시스템을 따라가는 구조에서 벗어나, 시스템이 사람의 업무 흐름과 맥락을 이해하는 협업 환경을 만드는 것. AX의 핵심은 이러한 협업 환경을 만드는 데 있다고 봅니다. 기존의 도구 중심 업무 방식과 AI 전환(AX) 이후의 업무 방식의 차이는 다음과 같습니다.

02.png

비교 영역 기존의 도구 파편화 상태 (Tool Sprawl) 맥락 오케스트레이션 상태
소통 방식 이메일, 슬랙, 노션 등 파편화된 도구 수동 동기화 대화형 인터페이스를 통한 실시간 동적 맥락 바인딩
업무 집중도 반복적인 정보 탐색과 수동 조율로 인해 깊은 몰입이 자주 단절됨 에이전트의 자동 백로그 분석으로 조율 행정 업무 최소화
정신적 피로 잦은 알림과 맥락 전환으로 인한 몰입 파괴 (복귀에 23분 소요) 자연어 미팅 한 번으로 일감 생성 완료, 뇌의 인지 낭비 제로화

회의는 끝나도 맥락은 남아야 한다

제품실에서 이루어지는 가장 가치 있는 의사결정과 제품의 맥락은 구두 회의록, 슬랙의 대화 스레드 같은 비정형 데이터 속에 잠들어 있습니다. 하지만 이 가치 있는 정보들은 미팅이 끝나자마자 빠르게 휘발되거나, 아무도 다시 열어보지 않는 텍스트 문서 속에 묻혀 점진적으로 소멸합니다. 단편적으로 텍스트를 요약해 주는 기존 AI 도구들은 업무 간의 긴밀한 선후 관계나 작업 구조를 유기적으로 파악하지 못해 실무와의 정렬에 실패해 왔습니다.

특히 기획 단계의 와이어프레임(화면 설계 배치도), 마일스톤 차트, 아키텍처 다이어그램 등 '시각적 정보'가 담긴 문서는 일반적인 텍스트 파싱을 거칠 경우 데이터 레이아웃이 완전히 깨지고 데이터가 누락되는 치명적인 결함이 발생합니다. 이러한 문제를 해결할 수 있는 접근 방식 중 하나로 '시각적 보존형 RAG(PixelRAG)' 계열 기술에 대한 관심이 필요하다고 보여집니다.

시각적 보존형 RAG와 관련된 대표적인 기술들을 간략히 소개하면 다음과 같습니다.

  1. 시각 보존형 RAG (PixelRAG) 기술
    텍스트 쪼개기 방식을 완전히 탈피하여, pixelshot 렌더러를 통해 문서의 원천 레이아웃을 이미지 타일로 온전히 보존합니다. 이후 멀티모달 임베딩 모델(Qwen3-VL-Embedding)로 이미지 레이아웃과 도표를 3차원 벡터 스페이스 상에 직접 매핑하여 사람이 눈으로 이해하는 것처럼 검색 및 분석할 수 있게 만듭니다.

  2. 적응형 맥락 청킹 (Adaptive Chunking) 기술
    문장 수나 글자 수 단위로 무조건 자르는 방식 대신, 인공지능이 맥락의 전환점(Semantic Transition)을 지능적으로 감지해 가변 길이로 단락을 분할합니다. 분할된 모든 단락은 Jira_ID 등 고유한 앵커(Anchor - 식별값)에 동적으로 결합되어 원형 그대로 지식베이스에 적재됩니다.

  3. Constrained Decoding 기술
    대규모 언어모델은 동일한 입력에도 출력 형식이 달라질 수 있어, 기업 시스템과 직접 연동할 경우 데이터 구조의 일관성이 중요한 과제가 됩니다. Constrained Decoding은 LLM의 출력을 미리 정의된 JSON Schema나 Pydantic 모델에 강제하여 Jira, GitHub, ERP 등 다양한 업무 시스템이 요구하는 형식과 정확하게 일치하는 데이터를 생성합니다. 이를 통해 잘못된 필드 생성이나 형식 오류를 방지하고, AI가 생성한 결과를 별도의 후처리 없이 업무 프로세스에 즉시 연계할 수 있습니다.

  4. Graph Database Mapping 기술
    구조화된 업무 정보는 단순한 문서 저장을 넘어 사람, 프로젝트, Task, 일정, 의사결정 간의 관계를 함께 관리해야 합니다. Graph Database Mapping은 추출된 엔티티와 관계를 그래프 데이터베이스에 저장하여 '누가 어떤 의사결정을 했고, 어떤 작업과 연결되는가'를 하나의 지식 그래프로 표현합니다. 이를 통해 단순 키워드 검색을 넘어 영향도 분석, 의존성 추적, 관련 업무 추천과 같은 맥락 기반 질의를 수행할 수 있으며, 조직의 업무 지식을 지속적으로 연결·확장하는 기반이 됩니다.

맥락 보존형 RAG와 관련된 추가적인 사례들은 다음과 같습니다.
(필자가 참고한 업계 사례로 회사의 실제 구현 현황을 의미하지 않습니다.)

  • Echother (상용 SaaS): 회의 녹음본을 Jira 티켓으로 자동 변환하는 서비스로, 1,000개 이상의 기업 고객이 실제 도입했습니다. AI가 미팅 대화 속에서 담당자와 우선순위를 정확히 식별하고, "다음 주 화요일까지" 같은 상대적 기한 표현을 정밀 분석해 절대적 날짜 포맷(YYYY-MM-DD)으로 자동 변환해 Jira API 규격에 완벽히 정합하는 정형 일감을 생성합니다.
  • Atlassian Rovo (상용 서비스): 아틀라시안이 가동 중인 'Rovo'는 Confluence, Jira, Bitbucket을 실시간으로 엮어 조직의 상호 의존성을 연결하는 'Teamwork Graph' 아키텍처를 토대로 동작합니다. 회의록 내의 할 일 목록에서 AI가 담당자(@mention)와 일정을 자율 추출한 뒤, 인간의 간단한 확인(HITL)만 거쳐 Jira 태스크로 자동 연동·동기화합니다.
  • ZBrain의 Meeting-to-Action Agent (상용 플랫폼): 미팅 전사본에서 비즈니스 의사결정과 액션 아이템을 자율 도출하는 전문 에이전트입니다. 대화 속에 담긴 약속을 기반으로 태스크 ID(예: MKT-1023), 구체적 업무 정의, 우선순위, 담당자 매핑을 포함한 완성형 일감을 추출해 실무 칸반에 실시간 바인딩합니다.
  • CocoIndex 기반 Neo4j 지식 그래프 연동 (오픈소스): 마크다운 포맷의 비정형 회의록을 실시간 변경 감지하여 Neo4j 지식 그래프 데이터베이스로 적재해 주는 실제 검증된 오픈소스 아키처입니다. 1% 수준의 파일 변경만을 감지하여 처리하는 증분 처리 기술을 활용해, 전체 데이터를 매번 다시 연산하지 않아 실제 LLM API 호출 비용을 99% 이상 극적으로 절감해 냅니다.
  • PixelRAG 기반 Claude Code 연동 (UC 버클리 및 실적용): 텍스트 파싱 과정에서 시각 정보가 소실되는 한계를 극복하기 위해 UC 버클리 연구진이 오픈소스로 배포한 실제 기술입니다. AI가 HTML 코드를 무작정 텍스트로 읽는 대신, pixelshot Headless Chromium을 활용해 문서를 화면 스크린샷 이미지 타일로 캡처하고 Qwen3-VL-Embedding을 통해 인코딩함으로써 인간 개발자가 설계 도표를 직접 판독하는 것과 동일한 인식을 3차원 벡터 공간에서 고스란히 정밀 구현합니다.
고려해볼 수 있는 기술 스택 처리 목적 및 세부 활동 핵심 적용 기술 및 유효성 확보 방안
PixelRAG 기반 Ingestion 레이아웃이 중요한 문서, 웹페이지, Gantt 차트의 시각 메타데이터 유실 방지 Playwright 기반 pixelshot 렌더링, Qwen3-VL-Embedding (2B LoRA) 기반의 비주얼 임베딩
Adaptive Chunking 무분별한 텍스트 쪼개기를 방지하고 의미적 무결성을 지닌 적응형 크기의 청킹 보장 LLM-driven Chunking, Anchor(Jira_ID, Sprint_ID) 기반 동적 맥락 그룹화
Constrained Decoding API 응답 시 정형화된 JSON 데이터 구조 규격 준수 강제 Pydantic BaseModel, OpenAI Strict Mode, Instructor 인터페이스 탑재
Graph Database Mapping 지식 그래프 구조화를 통해 작업 간 선후 연관 관계 매핑 Neo4j 데이터베이스, Cypher 쿼리 엔진, Entity Extraction 모듈

이처럼 구조화된 데이터는 향후 에이전트 기반 협업 환경을 구현하는 데 중요한 기반이 될 수 있다고 생각합니다.

답변 생성 AI에서 업무 실행 AI로

기존의 인공지능 협업 도구는 사용자의 질문에 답변하는 일회성 챗봇 인터페이스에 머무르는 경우가 많았습니다. 이러한 방식은 개별 질문에는 대응할 수 있지만, 프로젝트 전반의 업무 맥락과 작업 간 의존성을 지속적으로 이해하고 조율하는 데에는 한계가 있습니다. 특히 여러 협업 도구에 분산된 정보를 연결하지 못하기 때문에, 실질적인 업무 자동화보다는 단순 정보 검색에 머무르는 경우가 대부분입니다.

이번 콘텐츠에서 이야기하는 AX 환경에서의 맥락 오케스트레이션(Context Orchestration) 은 이러한 한계를 극복하기 위해 AI를 단순한 답변 생성기가 아닌, 업무 맥락을 실시간으로 연결하고 조율하는 오케스트레이터(Orchestrator)로 활용하는 방식입니다. 회의록, Jira, GitHub, Slack, Confluence 등 서로 다른 시스템에서 발생하는 이벤트를 하나의 업무 맥락으로 통합하고, 필요한 작업을 자동으로 연결·생성·동기화하는 방향이 중요하다고 생각합니다. 사용자는 여러 도구를 직접 오가며 정보를 찾는 대신, 자연어 기반 인터페이스를 통해 업무를 지시하면 Context Orchestration 레이어가 필요한 시스템과 데이터를 자율적으로 연계합니다.

이러한 오케스트레이션을 구현하는 실행 단위가 에이전트(Agent) 입니다. 각 에이전트는 기획, 개발, QA, 프로젝트 관리 등 역할별 책임을 수행하며, 독립적으로 동작하는 것이 아니라 공통된 업무 맥락을 공유하면서 협력합니다. 즉, 중요한 것은 개별 에이전트의 성능이 아니라, 여러 에이전트와 업무 시스템을 하나의 흐름으로 연결하는 오케스트레이션 구조입니다.

이를 위해 오케스트레이션은 Perceive(맥락 수집) → Reason(상황 분석) → Plan(업무 계획) → Act(업무 실행) → Observe(결과 반영) 의 순환 구조를 기반으로 동작합니다. 또한 LLM을 중심으로 메모리(Memory), 계획(Planning), 도구 활용(Tool Use)을 결합하고, ReAct와 MCP(Model Context Protocol) 기반의 외부 시스템 연계를 통해 필요한 도구를 선택하고 작업을 수행합니다. 이를 통해 AI는 단순히 답변을 생성하는 수준을 넘어, 업무 맥락을 지속적으로 관리하고 조직의 협업 흐름을 자율적으로 조율하는 오케스트레이션 플랫폼으로 진화하게 됩니다.

03.jpg

이러한 다중 Agent 협업 구조를 구현하기 위해 다양한 프레임워크가 등장했으며, 그중 CrewAI와 LangGraph는 서로 다른 접근 방식을 가진 대표적인 오픈소스 프레임워크로 비교해 볼 수 있습니다.

CrewAI는 인간의 직관적인 협업 조직 구조를 모방하여, 풍부한 가상 페르소나 설정을 바탕으로 에이전트들이 고도로 자율적인 협상을 전개하도록 돕습니다. 그러나 무한 위임 루프(Infinite Delegation Loop)와 인지하기 까다로운 블랙박스 형태의 에러 추적 문제로 인해 규제와 예측 가능성이 생명인 정교한 비즈니스 파이프라인에서는 한계를 드러냅니다. 반면 LangGraph는 개발자가 전체 흐름을 완벽히 장악할 수 있는 유향 그래프(Directed Graph) 아키텍처를 도입하여, 특정 상태 천이에 따른 노드와 엣지의 흐름을 결정론적으로 통제할 수 있게 만듭니다. 특히 상태 저장과 체크포인팅 기능을 통해 장시간 실행되는 에이전트의 중단·재개와 Human-in-the-Loop 기반 제어를 지원하며, 운영 환경에서 필요한 예측 가능성을 확보하는 데 적합한 구조를 제공합니다.

비교 평가 영역 CrewAI 프레임워크 아키텍처 LangGraph 프레임워크 아키텍처
주요 조정 기법 역할 정의 중심의 유연한 에이전트 소통 상태 노드 및 조건부 엣지 정의 중심
메모리 보존 수준 SQLite, ChromaDB 기반 단기/장기 메모리 혼용 MemorySaver, PostgresSaver 기반 상태 체크포인팅
오작동 대처 능력 다중 에이전트 간 토론 및 자율 이임 보장 interrupt_before 기법 기반의 수동 통제 개입
운영 신뢰도 자율 조정에 따른 변동 폭 존재 (PoC에 유용) 완벽히 재현 가능한 결정론적 엣지 추적 (상용 가치 높음)

하지만 Agent 간 협업 구조를 구성하는 것만으로 AX 환경에서 요구되는 안정적인 업무 자동화가 완성되는 것은 아닙니다. 업무 환경에서 에이전트는 항상 실행되는 것이 아니라, 데이터 처리 후 결과 승인을 기다리거나 외부 시스템 이벤트를 대기하는 등 다양한 유휴 상태에 진입하게 됩니다. 이 과정에서는 Agent의 실행 상태를 안정적으로 관리하고, 사람의 승인이나 외부 시스템 이벤트 이후에도 동일한 업무 맥락에서 작업을 이어갈 수 있는 운영 구조가 필요합니다. 또한 장시간 실행되는 Agent 환경에서는 비용 효율적인 리소스 관리 역시 중요한 고려사항이 됩니다.

다중 Agent 기반 업무 자동화가 확대될수록 단순히 Agent를 생성하고 연결하는 것만으로는 안정적인 운영이 어렵습니다. 실제 서비스 환경에서는 Agent가 작업을 수행하는 시간보다 외부 시스템 응답을 기다리거나, 사람의 판단(HITL)을 대기하거나, 다음 이벤트를 기다리는 시간이 더 길어질 수 있습니다.

이 과정에서 중요한 과제는 Agent의 실행 상태를 유지하면서도 불필요한 컴퓨팅 자원 사용을 줄이고, 오류 발생 시 동일한 업무 상태에서 안전하게 재개할 수 있는 운영 구조를 만드는 것입니다. 특히 기업 환경에서는 AI의 성능뿐 아니라 비용 예측 가능성, 실행 제어, 감사 가능성이 중요한 운영 요구사항이 됩니다. 따라서 Agentic AI를 실제 업무 시스템에 적용하기 위해서는 Agent의 자율 실행을 지원하는 동시에, 실행 상태와 비용을 관리할 수 있는 신뢰성 제어 아키텍처에 대한 고민이 필요합니다.

Agent 기반 프로젝트 오케스트레이션의 운영 조건: 상태 관리와 비용 효율화

Agent 기반 프로젝트 오케스트레이션을 실제 업무 환경에 적용하기 위해서는 단순히 업무를 자동화하는 것뿐 아니라, 장시간 실행되는 작업의 상태 관리와 안정적인 운영 구조를 함께 고려해야 합니다. 특히 프로젝트 업무에서는 사람의 승인 대기, 외부 시스템 연동, 일정 이벤트 대기 등 Agent가 지속적으로 실행되지 않는 상황이 발생하기 때문에, 실행 상태 유지와 비용 효율적인 리소스 관리가 중요한 과제가 됩니다. 일부 사례에서는 단순 챗봇 모델 수준인 건당 0.04 달러에 불과하던 트랜잭션 처리 비용이, 에이전트의 다중 도구 탐색과 중간 추론이 엮이는 순간 순식간에 1.20 달러까지 30배 가량 치솟는 비용 역전 현상이 보고되고 있습니다. 만약 예기치 못한 에러나 버그로 인해 무한 실행 루프(Infinite Loop)가 기동하는 날에는 단 몇 분 만에 수백 달러의 예산이 공중으로 증발하는 재앙이 벌어질 수 있습니다.

특히 더 큰 비용 낭비는 에이전트가 대기하는 유휴(Idle) 상태에서 발생합니다. 에이전트가 작업 큐(Queue)에 적재되어 비동기 이벤트를 기다리거나, 기획자나 테크 리드의 최종 승인(HITL) 단계를 대기하느라 멈춰 있을 때가 바로 그 지점입니다. 기존의 VM이나 도커(Docker) 컨테이너 기반 아키텍처는 이 대기 시간 동안 프로세스 스레드를 상시 활성화한 상태로 유지(Active Polling)해야 하므로, 유휴 컴퓨팅 자원 요금이 초 단위로 계속 부과되는 고질적인 과금 병목이 존재했습니다.

또한, 오랫동안 대기하다가 재개할 때 전체 대화 이력을 LLM에 매번 처음부터 다시 주입하여 실행하는 고전적 방식은 심각한 문제를 야기합니다:

  • 토큰 비용의 가속 누적: 매번 과거의 긴 히스토리를 전부 다시 인식시켜 추론해야 하므로 불필요한 토큰 지출이 기하급수적으로 폭증합니다.
  • 컨텍스트 오염 및 환각: 대기 시간 사이에 누적된 불필요한 맥락 정보와 오래된 도구 출력값들이 결합하면서 에이전트가 현재 단계를 오인하고 환각(Hallucination) 현상을 유발합니다.

이러한 운영 문제를 해결하기 위한 접근 방식 중 하나가 '서버리스 에이전트 하이버네이션(Serverless Agent Hibernation)' 아키텍처입니다.

04.png

이 아키텍처 하에서 에이전트는 지속적으로 메모리를 점유하며 구동되는 컴퓨터 프로세스가 아닌, '데이터 레이어에 존재하는 지속성 데이터(Durable State)'로 모델링됩니다. 에이전트가 인간의 승인 게이트(interrupt_before)에 도달해 멈추거나 작업 큐에 대기하는 즉시, 활성 연산 스레드를 파괴하고 런타임 컴퓨팅 자원을 완벽하게 반환하여 과금 비용을 물리적인 제로(Scale to Zero) 상태로 만듭니다. 에이전트의 현재 추론 단계와 상태 정보는 데이터베이스에 정적인 바이트 형태로 완전히 하이버네이션(휴면) 처리됩니다. 이후 비동기 이벤트 트리거(승인 완료 등)가 수신되면, 시스템의 복원 핸들러(OnboardingResumeHandler)가 작동하여 기동 시간이 5ms 미만이고 메모리 오버헤드가 2MB에 불과한 가벼운 V8 Isolate Worker를 서버리스로 즉각 할당하고, 정적 데이터만을 메모리에 재수화(Hydration)하여 중단되었던 추론 지점부터 매끄럽게 재개합니다.

격리 기술 콜드 스타트 지연율 상주 메모리 유휴 과금 및 비용 효율성
전통 가상 머신 (VM) 수 초 단위 지연 256MB 이상 대기 중에도 인프라 가동 비용이 고정 누수되어 매우 비합리적
Docker 컨테이너 약 500ms 내외 약 50MB 선 상시 대기 스레드 구동으로 자원 유휴 비용이 지속 누수됨
Firecracker microVM 약 125ms 내외 약 128MB 선 고정형 비용 모델을 탈피하기 힘들어 마이크로 단위 통제에 부적절
V8 Isolate Worker 5ms 미만 극소 지연 2MB 이하 Scale to Zero가 원활하여 유휴 인프라 비용을 0원으로 완벽 수렴

차세대 B2B AX 인프라의 조건

AI에게 일을 맡겼는데, 오히려 AI에게 업무를 설명하느라 더 바빠진 경험이 있으신가요? 프로젝트의 배경을 다시 설명하고, 관련 Jira를 붙여 넣고, Slack 대화를 복사하고, 회의록을 첨부하는 과정이 반복되는 경우를 종종 볼 수 있습니다. 개인적인 인상으로는 현재 생성형 AI의 한계는 모델 자체의 성능보다도 조직의 업무 맥락(Context)을 충분히 이해하지 못한다는 점에 있는 경우가 많습니다. AI가 조직의 맥락을 모르기 때문에 사람은 같은 내용을 반복해서 설명해야 하고, AI를 활용할수록 새로운 '맥락 전달 비용'이 발생한다고 생각합니다.

흥미로운 점은 이러한 문제는 AI뿐 아니라 프로젝트를 함께 수행하는 팀원들과의 협업에서도 비슷하게 나타난다는 것입니다. 결국 AX(AI Transformation)가 해결해야 할 핵심 과제는 단순히 더 뛰어난 AI 모델을 도입하는 것이 아니라, 조직의 업무 맥락을 얼마나 효과적으로 연결하고 공유할 수 있는가에 있으며, AX의 궁극적인 방향이 조직 전체에 흩어진 업무 맥락을 하나의 흐름으로 연결하고, 이를 기반으로 AI가 업무를 지원하고 조율하는 '맥락 오케스트레이션(Context Orchestration)'을 구현하는 데 있다고 생각합니다.

이를 위해서는 먼저 Jira, GitHub, Slack, Confluence 등으로 분산된 정보 사일로를 줄이고, 사용자가 여러 도구를 직접 찾아다니기보다 AI가 업무 맥락을 실시간으로 연결해 주는 환경이 필요하다고 봅니다. 사람은 여러 시스템을 오가며 정보를 수집하기보다 자연어 기반 인터페이스를 통해 필요한 업무를 요청하고, AI는 관련 정보를 연결하여 제공하는 형태가 이상적인 협업 방식이라고 생각합니다. 또한 조직의 핵심 자산인 회의록, 메신저 대화, 기획 문서와 같은 비정형 데이터 역시 단순히 저장되는 수준을 넘어 지속적으로 활용될 수 있어야 합니다. 개인적으로는 PixelRAG, Adaptive Chunking, Constrained Decoding, Graph Database Mapping과 같은 기술을 활용해 텍스트와 시각 정보를 함께 보존하고, 이를 실행 가능한 백로그와 지식 그래프로 연결하는 구조가 하나의 현실적인 접근 방식이 될 수 있다고 생각합니다.

이렇게 축적된 업무 맥락은 AX 오케스트레이션의 실행 주체인 에이전트에게 전달됩니다. 에이전트는 회의 내용을 분석해 업무를 생성하고, 여러 시스템을 연계하며, 프로젝트의 진행 상황을 지속적으로 모니터링하는 역할을 수행할 수 있습니다. 다만 중요한 것은 개별 에이전트의 성능 경쟁이 아니라, 여러 에이전트와 업무 시스템이 동일한 맥락을 공유하며 협력할 수 있는 오케스트레이션 구조를 만드는 것입니다. 물론 자율성이 높아질수록 신뢰성과 비용 통제도 함께 고려되어야 하며, 이에 따른 LangGraph 기반의 결정론적 상태 관리와 HITL(Human-in-the-Loop)을 통해 중요한 의사결정에는 사람이 개입할 수 있도록 하고, Serverless Agent Hibernation과 Scale to Zero 아키텍처를 활용해 유휴 상태의 인프라 비용을 최소화하는 FinOps 관점의 운영 체계도 중요하다고 생각합니다.

결국 차세대 AX 인프라는 사람을 대체하는 AI가 아니라, 사람과 AI가 동일한 업무 맥락을 공유하며 협력하는 환경입니다. 사람은 반복적인 정보 탐색과 관리 업무에서 벗어나 의사결정과 전략에 집중하고, AI는 조직 전반의 맥락을 이해하여 데이터를 연결하고 업무를 조율하는 역할을 담당하는 형태가 바람직하다고 봅니다.

이번 콘텐츠를 통해 AX 시대의 프로젝트 오케스트레이션에 대해 간략하게 살펴보았습니다. 다양한 사례들을 살펴보면서 정의된 개인적인 결론으로는 향후 AX에서의 경쟁력은 더 뛰어난 챗봇 자체보다 조직 곳곳에 흩어진 맥락을 연결하고, 비정형 데이터를 실행 가능한 업무로 전환하며, 다중 에이전트를 안정적으로 조율하는 오케스트레이션 플랫폼을 구축하는 데 있다고 생각합니다. AX를 고민하는 다양한 분야의 프로젝트를 관리하고 수행하는 분들에게 도움이 되었기를 바라며, 향후 또 새로운 콘텐츠로 찾아뵙도록 하겠습니다.

참고자료

Academic References

  1. Mark, G., Gudith, D., & Klocke, U. (2008). The Cost of Interrupted Work: More Speed and Stress. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '08). ACM. https://doi.org/10.1145/1357054.1357072

  2. Abad, Z. S. H., Bavota, G., Linares-Vásquez, M., Marcus, A., Oliveto, R., Russo, B., & Lanza, M. (2018). Task Interruption in Software Development Projects: What Makes Some Interruptions More Disruptive than Others? arXiv. https://arxiv.org/abs/1805.05508

  3. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS 2020). https://arxiv.org/abs/2005.11401

  4. Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. International Conference on Learning Representations (ICLR 2023). https://arxiv.org/abs/2210.03629

  5. Forsgren, N., Humble, J., & Kim, G. (2018). Accelerate: The Science of Lean Software and DevOps. IT Revolution.

Industry References

목록으로 돌아가기
목록으로 돌아가기