岗位职责:
推理优化方向
1)跟进业界LLM推理优化工作的最新进展,不断提升LLM推理框架性能,并在搜推内部业务场景落地。进一步的,协助业务研发平台其他业务场景提升推理效率。
2)持续探索大模型轻量化推理相关工作(如低精度量化、稀疏性改造等),在保证精度可靠的前提下进一步降低模型推理成本。
训练优化方向
1)持续提升模型训练框架效率(如并行训练策略优化、编译器优化、kernel优化等),在搜推内部各业务场景进一步提升训练吞吐。
2)跟进业界文本大模型、多模态大模型、推荐大模型训练框架工作的最新进展,保持继续前瞻性。