岗位职责：

1. 协助基于主题的网络爬虫开发；

2. 负责大规模文本数据的抽取，去重、分类，垃圾过滤，质量识别等数据清洗工作；

3. 协助进行数据分析、数据挖掘工作；

4. 协助进行网络爬虫功能扩展及优化。

岗位要求：

1、硕士及以上学历要求，计算机、软件、通信等相关专业；

2、熟悉网络爬虫开发原理；

3、熟悉基本的数据结构和算法，熟悉文本内容挖掘方法者优先；

4、良好的Java/python编程基础，熟悉scrapy框架，熟悉Xpath等标记语言，熟悉正则表达式优先；

5、具备信息检索、web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抽取经验优先。