프리미엄 AI 추론: 초고속 토큰에서 차세대 인프라까지

Session Overview

AI는 실험 단계를 넘어 실제 운영 환경으로 빠르게 이동하고 있으며, 추론(Inference)이 진짜 병목으로 부상하고 있다. 기업들이 코딩 어시스턴트, 멀티모달 AI, 에이전틱 워크플로우를 도입하면서, 성공의 열쇠는 모델 품질만이 아니라 빠르고 안정적이며 안전하고 비용 효율적인 AI 지능을 대규모로 제공하는 능력에 달려 있다.

이 강연에서 Reggie는 '프리미엄 추론'을 차세대 AI 인프라의 핵심 과제로 제시한다. 지연시간(Latency), 처리량(Throughput), 동시 처리 능력(Concurrency), 메모리 효율성, 유효 토큰당 비용이 왜 그 어느 때보다 중요해졌는지 설명한다. 또한 사전처리(Prefill), 디코딩(Decode), 오케스트레이션을 적절한 인프라 계층으로 분리하는 '분산 추론(Disaggregated Inference)'을 엔터프라이즈 AI 확장의 새로운 설계 방향으로 소개한다.

이 강연은 차세대 AI 인프라가 실제 운영 수준의 엔터프라이즈 AI를 어떻게 구동할 것인지 이해하고자 하는 모든 분을 위해 설계되었다.

• AI가 실험에서 운영으로 이동하면서 추론(Inference)이 핵심 병목이 되는 이유
• 프리미엄 추론의 정의 — 지연시간·처리량·동시 처리·메모리 효율·유효 토큰당 비용이 중요한 이유
• 분산 추론(Disaggregated Inference): 사전처리·디코딩·오케스트레이션을 분리해 엔터프라이즈 AI를 확장하는 새로운 설계도
• 실제 운영 수준의 엔터프라이즈 AI를 구동할 차세대 AI 인프라의 방향