LLM 서빙 프레임워크: Ollama, vLLM, SGLang (윤성열 대표 / 드림플로우) | 고우성의 잇(IT)터뷰

프라이빗 AI 구축을 위한 핵심 기술인 로컬 LLM을 실제 업무 환경에서 서빙하기 위한 오픈소스 프레임워크와 양자화 전략을 소개합니다. GGF, AWQ 등 다양한 양자화 방식과 함께, CPU 기반 서빙부터 최적화 클라우드 임대 등 배포 방식을 설명합니다.