职责描述:
1.负责大模型全栈性能优化,基于Megatron、PyTorch等框架优化分布式训练效率,提升模型收敛速度与资源利用率;
2.主导推理加速方案设计,深度优化vLLM、SGLang等推理引擎,实现高并发低延迟服务部署;
3.设计大模型Agent应用架构,推动多智能体系统、工具调用、RAG等技术方案在业务场景落地。
任职要求:
1. 对Al应用开发、agent有浓厚的兴趣,具备良好的问题解决能力;
2.精通vLLM、SGLang、Megatron、PyTorch等训推框架。
3.熟悉大模型Agent技术体系,应用开发经验,理解多轮对话与工具链集成机制。