职位描述:
1.负责公司大模型推理平台建设,支持公司大模型推理业务落地,确保系统高效稳定
2.负责大模型推理引擎优化,参考业界先进经验开发及优化大模型推理框架
职位要求:
1.计算机基础扎实,熟悉Python/C++,具备系统软件开发架构能力。熟悉计算机体系结构以及并行计算基本技术
2.熟悉GPU硬件架构以及软件栈,有CUDA算子开发经验优先
3.熟悉LLM主流推理引擎、推理优化方法,有vLLM/TRT-LLM/SGLang相关经验优先
4.具备良好的团队协作能力,能够和团队成员有效沟通,推动项目顺利进行