岗位职责: 参与语言大模型、视觉大模型、语音大模型、多模态大模型的评测与研究工作，具体工作内容包括但不限于： 1、从大模型应用视角出发，建设科学、全面的大模型评测体系，制定并实施评测标准与评测方案。 2、开发算法对数据进行处理、理解，建设高质量数据pipeline，并基于科学、全面的评估体系构建数据集，系统评估模型能力，产出评测报告，指引大模型相应能力的提升。 3、开发算法，利用大模型辅助、替代人工标注，准确、高效的进行半自动化、自动化的模型评测，降低评测成本、提升评测效率。 4、对模型评测中发现的模型能力短板、模型能力变化、不符合认知的异常进行研究分析，产出研究分析结论，指引大模型相应能力的提升。具体研究项包括不限于数据、模型结构、训练方式对各类模型能力的影响，以数据相关研究为例，包括不限于研究不同数据类型、不同数据配比、不同数据加入时机、不同数据规模等变量对各类模型能力的影响。 5、紧密关注大模型方向的前沿技术进展，积极主动地学习和探索新数据分析、模型训练以及模型评测方法。 6、紧密关注大模型应用落地的行业最新进展，结合行业进展思考大模型评测、训练的发展趋势，对模型评测体系、机制进行迭代。 岗位要求: 1、计算机、数学、统计学或相关专业的在校研究生或博士生，每周能够在岗4天或以上，实习4个月以上。 2、熟悉Python等编程语言，具有良好的编码习惯和工程能力，熟悉PyTorch等主流框架，如果能熟练使用Hive、Spark等大数据处理工具更佳。 3、具有机器学习或深度学习算法的基础知识，熟悉大模型相关算法。 4、具有广阔的技术视野、良好的逻辑分析和表达能力，紧跟领域前沿，对解决具有挑战性问题能够充满热情，善于通过创造性的方法解决高模糊度、高复杂的实际问题。 5、具有快速学习能力，有责任感，能较好的跨团队协作并推进项目。 岗位亮点: 1、海量大模型应用场景下的真实数据：千亿token？这量级在这里真不算多。 2、丰富的GPU资源：新出了一个72B模型要做实验？全参照微调轻轻松松！ 3、一群相信AGI的top算法人才：名校博士、竞赛达人，你能想到的，这里可能都有。 4、视野全面：能接触到大模型数据准备、模型训练、模型评测全链路的各个环节，并进行算法与工程的双重实践。 具备以下优先: 1、具备大模型评测、训练、应用落地经验者。 2、有Kaggle等平台机器学习比赛获奖经验者。 3、在计算机领域顶会(如ACL、EMNLP、NeurIPS、AAAI、CVPR等）上以一作发表过论文者。 4、对各类大模型产品有深入了解或有丰富使用经验者。