职责描述:
1.岗位职责:
探索多模态大模型、自监督预训练、世界模型等前沿技术,并应用于自动驾驶场景的多模态感知、预测与规划任务。
2.研究方向:
候选人需了解并熟悉以下至少一个方向:
视觉预训练(Visual Pretraining):研究自监督学习、知识蒸馏、大规模数据预训练在视觉任务中的应用,熟悉相关工作如DINOv2等。
多模态学习(VLM/VLA)
Vision-Language-Model(VLM):研究视觉语言大模型,熟悉相关工作如 VARGPT、VPiT、Ross 等。
Vision-Language-Action(VLA):研究视觉语言动作大模型并探索在自动驾驶场景应用,熟悉相关工作如 EMMA等。
世界模型(World Model)
研究基于自监督学习与强化学习结合的端到端世界模型,应用于自动驾驶场景的状态建模、状态转移预测与规划决策。
熟悉相关工作,如 Dreamer 系列、Genie2、Doe-1、JEPA、Cosmos 等。
任职要求:
技术能力要求:
熟悉自监督和生成模型,了解大规模预训练,有经验者优先。
熟练掌握 PyTorch,具备模型开发与优化能力,能够提升训练效率。
在以下顶级会议发表过相关论文者优先:NeurIPS、CVPR、ICLR、ICML、ICCV、ECCV、CoRL 等。
加分项:
对自动驾驶领域有浓厚兴趣,熟悉相关任务(如感知、预测、规划)及其技术挑战。
具备多模态数据处理经验(如图像、文本等)。
有开源项目贡献或相关竞赛获奖经历。
我们提供:
接触大规模真实场景数据与计算资源。
开放的学术氛围,支持论文发表与技术分享。