AI 트러블슈팅 및 성능·비용 최적화를 위한 Observability

Session Overview

AI 서비스 운영에서는 성능 저하, 비용 증가, 품질 관리와 같은 다양한 과제가 발생한다.

이번 세션에서는 Splunk를 통해 GPU 인프라부터 LLM 서비스까지 AI 전 과정을 가시화하고, 문제를 신속하게 진단하며, 운영 효율성을 극대화할 수 있는 방법을 다룰 예정이다.

주요 주제는 다음과 같다:

• AI 인프라(GPU) 모니터링
• AI 서비스(LLM) 성능 관리
• 품질 평가 및 개선
• Agentic AI 모니터링
• 비용 분석 및 최적화