Track B - Session 9
생성형 AI 추론의 확장: 기술, 최적화, 그리고 실전 교훈
Session Overview
생성형 AI의 확산과 함께, Agentic AI 시스템은 새로운 형태의 추론 수요를 만들어내고 있습니다. 많은 기업들에서 프로토타입을 넘어 실제 프로덕션 환경에서 AI 추론을 안정적으로 스케일업해야 하는 상황이다. 이 과정에서 GPU 관련 비용, 지연 시간, 안정성, 빠른 출시 속도는 큰 도전 과제로 남아 있다.
이번 발표에서는 FriendliAI가 대규모 추론 서비스를 운영하며 얻은 스케일업에 대한 실전 교훈을 공유합니다. 기술적 최적화와 운영 경험을 통해, 높은 성능, 낮은 비용, 높은 안정성을 어떻게 달성할 수 있었는지를 살펴본다.
Speaker
전병곤
대표
프렌들리AI
전병곤 대표는 AI 추론(inference) 플랫폼 분야에서 기술 혁신을 이끌고 있으며, 연구 중심의 학계와 산업계 경험을 모두 갖춘 FriendliAI의 Founder & CEO로, AI 모델의 효율적 배포, 추론 최적화, 운영 자동화를 위한 플랫폼 아키텍처와 핵심 기술들을 총괄하고 있다.