[AI Frontier Div.] AI Inference Platform & Operations Lead (10년 이상)

• AI Frontier 본부는 크래프톤의 AI 기술을 실제 제품과 서비스로 연결하고, 새로운 사업 기회를 검증하고 확장하는 조직입니다. 여러 Squad가 서로 다른 고객과 시장을 대상으로 사업을 추진하며, 각 Squad는 제품 개발부터 서비스 운영과 사업 성과까지 책임집니다. 고객의 요구와 실제 사용 결과를 바탕으로 제품을 개선하고, 사업성이 확인된 서비스를 확장해 나갑니다.
• AI Inference Platform & Operations 팀은 이러한 제품들이 공통으로 사용하는 추론 기반을 만들고, 이를 바탕으로 외부 고객에게 제공하는 추론 서비스를 구축·운영합니다. 자체 모델과 오픈웨이트 모델을 빠르고 안정적으로 서비스에 연결하고, 트래픽이 성장해도 일관된 응답 속도와 가용성을 유지하며, GPU 자원과 추론 비용을 효율적으로 운영하는 것이 팀의 미션입니다.
• AI Frontier 본부 구성원들은 직급과 연차에 상관없이 의견을 내고, 결정하면 빠르게 실행합니다. 장애를 겪으면 숨기지 않고 포스트모템으로 시스템을 더 단단하게 만들고, 아키텍처와 실험 결과와 의사결정 과정을 문서로 남깁니다. AI 도구를 일상적인 개발·운영 도구로 쓰며, 새로운 모델과 서빙 기술이 나오면 바로 써보고 프로덕션에 적용할 방법을 찾는 문화를 지향합니다.

우리 팀과 함께할 미션을 소개합니다.

• Inference fleet과 control plane 소유
• 추론 플랫폼의 기술 방향과 주요 기술 의사결정을 책임지는 Lead 로서 자체 모델과 오픈웨이트 모델(음성 · 멀티모달 포함)을 위한 서빙 플랫폼을 설계하고, 구축 · 운영 체계를 수립하며 팀의 실행을 이끕니다.
• 서빙 엔진과 오케스트레이션 계층을 선택하고, 요청 라우팅, 용량·모델·캐시 배치, 오토스케일링, 멀티 모델·멀티 테넌트 운영 정책을 포함한 기술 로드맵과 운영 표준을 수립합니다.
• 팀을 직접 채용·육성하고, AI Research의 컴퓨팅 최적화 R&D 조직, 사내 추론 서비스를 운영하는 IT 조직, 각 사업 Squad 사이의 단일 접점 역할을 합니다.
• 프로덕션의 워크로드 프로파일과 병목을 R&D 요구사항으로 구체화하고, 연구 결과를 검증·인수·배포하는 루프를 만듭니다.
• 안전한 모델 온보딩과 플랫폼 경험 제공
• 새 모델의 성능 · 품질 회귀 테스트, 릴리즈 자동화, 카나리 · 롤백, API gateway 의 인증 · 쿼터 ·rate limit, 토큰 단위 관측성을 구축합니다.
• 사업 Squad 와 모델 개 발자가 모델을 빠르고 일관되게 온보딩할 수 있는 셀프서비스 도구와 가이드를 제공합니다.
• TTFT·TPOT·end-to-end latency의 p95·p99, 가용성, 에러율, 처리량 등 워크로드별 SLO와 error budget을 각 Squad와 함께 정합니다.
• 온콜, 장애 대응, 포스트모템, capacity event 대응, deploy safety를 포함한 운영 체계를 만듭니다.
• 포스트모템 기반의 아키텍처 개선을 주도합니다.
• GPU 스케줄링 · 할당, 테넌트 격리, 쿼터 · 우선순위 정책과 capacity planning 모델을 설계 · 수립합니다.
• 모델 · 워크로드별 GPU 활용률, 처리량, 요청 · 토큰 · 작업 단위 원 가를 측정하고, 각 Squad 가 수요와 원가를 계획할 수 있는 지표를 제공합니다.
• 서빙 기법의 적용·튜닝과 서빙 시스템 개선
• continuous batching, prefix caching, KV cache offloading· 계층화, Prefill-Decode 분리 토폴로지, 요청 스케줄링과 모델 라우팅의 적용 전략을 실 제트래픽에 맞게 수립하고 팀의 실행을 이끕니다.
• 서비스에 필요한 라우팅 · 스케줄링 · 캐시 로직과 모델 연동 코드는 팀이 직접 개선합니다.
• 양자화 체크포인트, speculative decoding 처럼 엔진이나 R&D 조직이 제공한 기능은 품질 회귀 · 성능 효과 · 장애 범위의 검증 기준을 수립하고 단계적 배포 를이끕니다.
• Agentic·실시간 음성 워크로드 효율화
• 긴 컨텍스트와 반복 툴 호출이 많은 에이전트에는 세션 기 반라우팅, 캐시 재사용, 구조화 출력, 소형 · 대형 모델 cascade 를 제공하고 Squad 와 함께 적용합니다.
• 음성 서비스에는 Squad 와 함께 정한 지연 · 품질 목표를 기준으로 STT–LLM–TTS 추론 구간 과공통 서빙 기능의 성능 · 안정성을 책임지고, turn-taking 을 포함한 end-to-end 지연의 관측 기 준을 세우고 개선을 이끕니다.

…