주식회사 카카오, AI Platform 추론 최적화 Engineer 경력직 채용
주식회사 카카오가 AI Platform 추론 최적화 Engineer 경력직 채용을 진행한다. 이번 채용은 카카오의 모든 AI 서비스가 안정적으로 동작하도록 기반을 설계하고 운영하는 AI플랫폼팀에서 함께할 인재를 찾는 것으로, 수천 장 규모의 GPU 클러스터 위에서 추론 서비스의 효율적이고 안정적인 서빙을 책임지는 Kakao AI Platform(KAP) 구축에 참여하게 된다.
이 직무에서는 LLM 추론 엔진 기반의 AI 서빙 플랫폼 설계 및 최적화를 담당하게 되며, vLLM·SGLang·TensorRT-LLM 등 오픈소스 추론 엔진의 도입, 적용 및 운영도 맡게 된다. LLM 추론 성능 향상을 위한 캐시, 배칭, 양자화, 커널 최적화 등 주요 기법을 적용하고, 분산 추론 전략 설계 및 구현(Tensor / Pipeline / Expert / Sequence Parallelism, MoE 라우팅)도 수행하게 된다. 아울러 추론 워크로드의 latency, throughput, TTFT, TPOT 등 성능 지표를 측정하고 개선하는 한편, Kubernetes 기반 LLM 서빙 인프라 구축·운영·자동화와 라우팅·오토스케일링·로드밸런싱·요청 스케줄링 등 서빙 시스템 기능 개발, 코드 리뷰·테스팅·CI/CD를 통한 고품질 서비스 제공까지 폭넓은 역할을 경험하게 된다.
지원 자격으로는 Python 또는 Go를 활용한 시스템·백엔드·ML 시스템 개발 경력이 5년 이상인 분, Transformer 아키텍처 및 LLM 동작 원리(어텐션, KV cache, 디코딩 전략 등)에 대한 깊은 이해가 있는 분, vLLM·SGLang·TensorRT-LLM·TGI 중 하나 이상을 실제 프로덕션 또는 대규모 실험 환경에서 운영해 본 경험이 있는 분, GPU 환경에서의 성능 프로파일링 및 최적화 경험이 있는 분, K8s에 대한 이해도가 높은 분, 클라우드 환경에서의 CI/CD 경험이 있는 분, 새로운 환경에 도전하는 오픈 마인드를 가진 분을 요구한다. 우대사항으로는 vLLM·SGLang·TensorRT-LLM·Hugging Face Transformers·PyTorch 등 LLM/ML 오픈소스 프로젝트에 의미 있는 컨트리뷰션 경험이 있는 분, CUDA / Triton 커널을 직접 작성하거나 튜닝해 본 경험이 있는 분, LLM 추론 가속 기법(Speculative Decoding, Mixture-of-Experts, FlashAttention, PagedAttention, RadixAttention 등)을 실무에 적용해 본 경험이 있는 분, 모델 양자화·압축(AWQ, GPTQ, FP8, INT4, SmoothQuant, Pruning, Distillation 등) 실무 경험이 있는 분, 대규모 분산 추론(Tensor / Pipeline / Expert Parallelism, Disaggregated Prefill-Decode 등)을 설계·운영해 본 경험이 있는 분, NVIDIA Triton Inference Server·KServe·Ray Serve·vLLM Production Stack·LLM-D 등 서빙 플랫폼 구축 경험이 있는 분, 대규모 GPU 클러스터(수십~수백 GPU 이상) 환경에서의 추론 워크로드 운영 경험이 있는 분, 고성능 네트워킹(RDMA, RoCE, InfiniBand, NCCL 튜닝) 또는 네트워크 트러블슈팅 경험이 있는 분, ML 또는 AI 동작에 대한 이해도가 높은 분, 다양한 프로그래밍 언어 사용에 거부감이 없는 분(Python / C++ / CUDA / Go / Rust 등), LLM 추론 성능 관련 논문을 읽고 구현·재현해 본 경험이 있는 분을 우대한다.
근무지는 판교이며, 자세한 내용은 '주식회사 카카오'의 홈페이지에서 확인할 수 있다.
주식회사 카카오가 AI Platform 추론 최적화 Engineer 경력직 채용을 진행한다. 이번 채용은 카카오의 모든 AI 서비스가 안정적으로 동작하도록 기반을 설계하고 운영하는 AI플랫폼팀에서 함께할 인재를 찾는 것으로, 수천 장 규모의 GPU 클러스터 위에서 추론 서비스의 효율적이고 안정적인 서빙을 책임지는 Kakao AI Platform(KAP) 구축에 참여하게 된다.
이 직무에서는 LLM 추론 엔진 기반의 AI 서빙 플랫폼 설계 및 최적화를 담당하게 되며, vLLM·SGLang·TensorRT-LLM 등 오픈소스 추론 엔진의 도입, 적용 및 운영도 맡게 된다. LLM 추론 성능 향상을 위한 캐시, 배칭, 양자화, 커널 최적화 등 주요 기법을 적용하고, 분산 추론 전략 설계 및 구현(Tensor / Pipeline / Expert / Sequence Parallelism, MoE 라우팅)도 수행하게 된다. 아울러 추론 워크로드의 latency, throughput, TTFT, TPOT 등 성능 지표를 측정하고 개선하는 한편, Kubernetes 기반 LLM 서빙 인프라 구축·운영·자동화와 라우팅·오토스케일링·로드밸런싱·요청 스케줄링 등 서빙 시스템 기능 개발, 코드 리뷰·테스팅·CI/CD를 통한 고품질 서비스 제공까지 폭넓은 역할을 경험하게 된다.
지원 자격으로는 Python 또는 Go를 활용한 시스템·백엔드·ML 시스템 개발 경력이 5년 이상인 분, Transformer 아키텍처 및 LLM 동작 원리(어텐션, KV cache, 디코딩 전략 등)에 대한 깊은 이해가 있는 분, vLLM·SGLang·TensorRT-LLM·TGI 중 하나 이상을 실제 프로덕션 또는 대규모 실험 환경에서 운영해 본 경험이 있는 분, GPU 환경에서의 성능 프로파일링 및 최적화 경험이 있는 분, K8s에 대한 이해도가 높은 분, 클라우드 환경에서의 CI/CD 경험이 있는 분, 새로운 환경에 도전하는 오픈 마인드를 가진 분을 요구한다. 우대사항으로는 vLLM·SGLang·TensorRT-LLM·Hugging Face Transformers·PyTorch 등 LLM/ML 오픈소스 프로젝트에 의미 있는 컨트리뷰션 경험이 있는 분, CUDA / Triton 커널을 직접 작성하거나 튜닝해 본 경험이 있는 분, LLM 추론 가속 기법(Speculative Decoding, Mixture-of-Experts, FlashAttention, PagedAttention, RadixAttention 등)을 실무에 적용해 본 경험이 있는 분, 모델 양자화·압축(AWQ, GPTQ, FP8, INT4, SmoothQuant, Pruning, Distillation 등) 실무 경험이 있는 분, 대규모 분산 추론(Tensor / Pipeline / Expert Parallelism, Disaggregated Prefill-Decode 등)을 설계·운영해 본 경험이 있는 분, NVIDIA Triton Inference Server·KServe·Ray Serve·vLLM Production Stack·LLM-D 등 서빙 플랫폼 구축 경험이 있는 분, 대규모 GPU 클러스터(수십~수백 GPU 이상) 환경에서의 추론 워크로드 운영 경험이 있는 분, 고성능 네트워킹(RDMA, RoCE, InfiniBand, NCCL 튜닝) 또는 네트워크 트러블슈팅 경험이 있는 분, ML 또는 AI 동작에 대한 이해도가 높은 분, 다양한 프로그래밍 언어 사용에 거부감이 없는 분(Python / C++ / CUDA / Go / Rust 등), LLM 추론 성능 관련 논문을 읽고 구현·재현해 본 경험이 있는 분을 우대한다.
근무지는 판교이며, 자세한 내용은 '주식회사 카카오'의 홈페이지에서 확인할 수 있다.
