职责描述:
1. 跟进前沿大模型性能优化方法,参与相关研究和开发工作,提升模型推理/训练性能;
2. 在Mentor的带领下,定义大模型性能优化领域创新性研究课题,并产出高质量论文。
任职要求:
1. 能够实习6个月以上;
2. 计算机、人工智能、数据科学等相关专业硕士及以上学历,具有扎实的工程能力和算法基础;
3. 精通C++,熟悉深度学习训练、推理框架,如PyTorch、vLLM等;
4. 深入理解Transformer架构和算子特征,理解模型性能指标与算力、内存、带宽之间的关系;
5. 熟悉主流LLM,了解FlashAttention、PageAttention等方法,以及各类模型并行计算方法;
加分项:
1. 在系统或算法领域发表过顶会/顶刊论文;
2. 有LLM加速优化经验,熟悉GPU计算架构和AI芯片架构。