실전 AI 플랫폼과 Observability 구축하기
Session Overview
AI 에이전트는 정상 응답 뒤에도 틀린 답을 내놓을 수 있지만, 전통적인 옵저버빌리티로는 이를 찾아내기 어렵다. 본 세션에서는 오픈소스 AI 옵저버빌리티 플랫폼 Langfuse로 관측·평가·개선의 운영 루프를 구축하는 방법을 소개한다.
트레이싱과 비용 추적, LLM-as-judge 기반 온라인·오프라인 평가, CI/CD 연계 회귀 검증, 에이전트가 스스로 개선 루프를 도는 자동화 방향까지 실무자의 관점에서 다룬다. 또한 대규모 환경에서 이를 지원하는 ClickHouse의 역할도 함께 살펴본다.
Key Takeaways
- AI 에이전트 운영에서 기존 옵저버빌리티가 놓치는 문제
- Langfuse 기반 Observe → Evaluate → Improve 운영 루프
- 트레이싱, 비용 추적, 온라인·오프라인 평가 구축 방법
- LLM-as-judge와 CI/CD 회귀 검증 연계
- 에이전트 자동 개선 루프와 ClickHouse의 확장성 지원
Speaker
이기훈 이사는 ClickHouse의 한국 첫 솔루션즈 아키텍트로, 국내 대형 이커머스·금융·게임사의 실시간 분석 플랫폼과 Langfuse·ClickHouse 기반 AI Observability Stack 도입을 지원하고 있다.
30편 이상의 기술 블로그와 커뮤니티 밋업을 통해 실시간 데이터 기술과 AI 플랫폼 운영 경험을 전파하고 있다.
Kihoon (Ken) Lee is ClickHouse's first Solutions Architect in Korea, helping major Korean e-commerce, financial services, and gaming companies adopt real-time analytics platforms and AI observability stacks built on Langfuse and ClickHouse. He shares real-time data engineering expertise through more than 30 technical blog posts and community meetups.