工作职责: 1.分布式爬虫系统和数据采集的设计、开发以及任务调度; 2.爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3.参与NLP自然语言处理算法的开发 任职资格: 1. 计算机基础知识扎实,包括不限定于操作系统、计算机网络、数据结构和算法; 2. 理解常见并发模型和场景、对IO、多线程、集合基础框架等有扎实理解; 3. 熟悉Python/Scrapy/Redis等语言与框架,了解网页抓取原理及技术,熟悉正则表达式; 4. 有较强的分析和解决问题能力,学习能力强,善于沟通,有团队合作意识。