에이전틱 데이터 스택: 확장 가능한 AI를 위한 속도와 단순성

세션 소개

AI 에이전트는 겉보기에는 정상적인 응답을 내놓으면서도 잘못된 답변을 생성할 수 있지만, 전통적인 옵저버빌리티만으로는 이러한 문제를 탐지하기 어렵습니다. 본 세션에서는 오픈소스 AI 옵저버빌리티 플랫폼 Langfuse를 활용해 관측 → 평가 → 개선으로 이어지는 운영 루프를 구축하는 방법을 소개합니다.

실무 관점에서 트레이싱과 비용 추적, LLM-as-a-judge 기반 온라인·오프라인 평가, CI/CD와 연계한 퇴행 차단, 그리고 에이전트가 스스로 개선 루프를 수행하는 자동화 방향까지 다룹니다. 또한 이러한 AI 옵저버빌리티 워크로드를 대규모 환경에서 안정적이고 효율적으로 지원하는 ClickHouse의 역할도 함께 살펴봅니다.

주요 내용

• 프로덕션 AI 에이전트에 전통적인 옵저버빌리티만으로는 부족한 이유
• Langfuse를 활용한 트레이싱, 비용 추적 및 평가 체계 구축
• LLM-as-a-judge 기반 온라인·오프라인 품질 평가 방법
• 배포 전 품질 저하를 방지하는 CI/CD 연계 퇴행 차단
• 자가 개선형 AI 에이전트로의 발전 방향과 이를 대규모로 지원하는 ClickHouse의 역할