Job Opportunities API

ABOUT THE TEAM & MISSION LLM Engineer (Optimization)는 대규모 언어 모델(LLM)의 추론 성능(Inference Performance)을 극대화하여 실제 서비스 환경에 최적화된 AI 시스템을 개발합니다. 서버(GPU Cluster)부터 Edge 및 On-device 환경까지 다양한 하드웨어에서 최고의 성능과 효율을 달성할 수 있도록 Inference Engine, Runtime, Compiler 및 Model Optimization 기술을 연구·개발합니다. 최신 LLM Serving 기술과 GPU/Accelerator 최적화를 활용하여 고성능·저지연·저비용 AI 서비스를 구현하는 핵심 역할을 수행합니다. RESPONSIBILITIES - LLM Inference Optimization - 대규모 언어 모델(LLM)의 추론 성능(Latency, Throughput, Memory Efficiency)을 최적화합니다. - 다양한 모델 구조 및 추론 환경에 맞는 최적화 기법을 연구하고 적용합니다. - Long Context, Multi-turn Conversation 등 실제 서비스 환경에서의 성능을 개선합니다. - Inference Engine 및 Runtime 개발 - GPU 및 Accelerator 기반 LLM Inference Engine을 개발하고 최적화합니다. - vLLM, TensorRT-LLM, SGLang, llama.cpp, ONNX Runtime, MLX 등 최신 Inference Framework를 활용하거나 개선합니다. - Speculative Decoding, Prefill-Decode Disaggregation 등 최신 Serving 기술을 적용합니다. - Model Compression 및 Compiler Optimization - Quantization(MXFP8, NVFP4, AWQ, GPTQ 등) Pruning, Distillation 등 모델 경량화 기법을 연구하고 적용합니다. - CUDA, Triton, TensorRT, TVM, MLIR 등 Compiler 및 Kernel Optimization을 활용하여 추론 성능을 향상합니다. - GPU Memory 및 Kernel 효율을 분석하고 최적화합니다. - Edge AI 및 On-device Optimization - Mobile, Embedded, Edge Device 환경에서 LLM을 효율적으로 실행하기 위한 최적화 기술을 개발합니다. - CPU, GPU, NPU 등 다양한 하드웨어 아키텍처에 맞는 최적화 전략을 수립합니다. - 제한된 리소스 환경에서도 높은 성능과 낮은 전력 소비를 달성할 수 있도록 최적화합니다. - Performance Analysis 및 Benchmark - 다양한 하드웨어 및 Inference Backend의 성능을 분석하고 Benchmark를 수행합니다. - NVIDIA Nsight Systems, Nsight Compute, py-spy 등의 Profiling Tool을 활용하여 GPU 및 Runtime 병목을 분석하고 지속적으로 추론 성능을 개선합니다. - 주어진 Prompt 및 서비스 요구사항에 맞춰 모델 품질, 추론 성능(Latency/Throughput), 비용 간의 Trade-off를 최적화하고, 이에 적합한 Serving Architecture를 설계합니다. QUALIFICATIONS - ILLM, Machine Learning Infrastructure 또는 Inference Optimization 관련 경력 3년 이상 - LLM Inference Engine 또는 AI Runtime 개발 경험 - GPU Architecture, CUDA Programming 또는 병렬 컴퓨팅에 대한 이해 - Quantization, Model Compression, Compiler Optimization 등 모델 최적화 기술에 대한 이해 - PyTorch, ONNX, TensorRT 등 딥러닝 프레임워크 활용 경험 - Python 및 C/C++ 중 하나 이상의 언어에 능숙하며, 소프트웨어 엔지니어링 역량을 보유하신 분 - 성능 분석 및 문제 해결 능력과 협업 역량을 갖추신 분 PREFERRED QUALIFICATIONS - vLLM, TensorRT-LLM, SGLang, llama.cpp, MLX, ONNX Runtime 등 LLM Serving Framework 활용 또는 개발 경험 - CUDA, Triton Kernel 또는 Custom Operator 개발 경험 - Speculative Decoding, Prefill-Decode Disaggregation, KV Cache Compression, Expert Parallelism(MoE) 등 최신 LLM Inference Optimization 및 Serving 기술 경험 - NVIDIA GPU(H100, B200 등), AMD GPU 또는 다양한 AI Accelerator 최적화 경험 - Edge AI 및 On-device LLM 최적화 경험(Orin, Thor, Qualcomm, Apple Silicon 등) - Kubernetes 기반 AI Serving 또는 대규모 GPU Cluster 운영 경험 - LLM Fine-