工作内容：
• 研发稳定高效的 LLM 推理系统，支持低延迟和高吞吐
• 设计和优化分离式推理框架，实现低延迟、高吞吐
• 开发和优化分布式 KV 缓存（KV Cache）框架
• 进行 CUDA 内核优化，提高计算效率和 GPU 资源利用率






岗位要求：
• 熟悉大语言模型（如 LLaMA、Qwen）推理流程
• 了解主流模型推理加速技术（模型量化、算子融合、P/D 分离、Prefix Caching、Speculative Decoding、KV Cache 压缩与调度）
• 掌握 vLLM、TensorRT-LLM 等主流推理加速框架，能分析并优化其加速技术
• 熟悉 Hugging Face Transformers 及常见深度学习库
• 具备 GPU 高性能计算优化能力，熟悉 CUDA 并行计算、访存优化、低比特计算
• 深入理解计算机体系结构，具有基于 CUDA 的 GPU 性能优化经验
• 熟悉深度学习算法、神经网络架构及算子计算






加分项：
• 了解至少一种深度学习训练框架（如 PyTorch、TensorFlow）及其模型文件解析方式
• 具备软硬件联合设计经验
• 有 P/D 分离系统、分布式 KV Cache 系统优化经验
• 熟悉底层性能优化（Cutlass、NCCL 等）