AI 트러블슈팅 및 성능·비용 최적화

Session Info

AI 서비스 운영에서는 성능 저하, 비용 증가, 품질 관리와 같은 다양한 과제가 발생한다. 이번 세션에서는 Splunk를 통해 GPU 인프라부터 LLM 서비스까지 AI 전 과정을 가시화하고, 문제를 신속하게 진단하며, 운영 효율성을 극대화할 수 있는 방법을 다룬다.

주요 주제는 다음과 같다:
AI 인프라(GPU) 모니터링
AI 서비스(LLM) 성능 관리
품질 평가 및 개선
Agentic AI 모니터링
비용 분석 및 최적화

AI 운영의 안정성과 효율성을 동시에 확보할 수 있는 인사이트를 제공할 예정이다.

Speaker

인필교

상무

스플렁크

인필교 상무는 Cisco에서 Observability Advisor로 Observability 사업 개발을 담당하고 있다.