工作职责：1.负责整个主题爬虫系统架构和数据存储设计，应对各种互联网反爬虫规则及抓取需要数据；

2.把握网络爬虫的核心技术研究方向，例如信息抽取、数据聚类、重组、搜索；

3.分析爬虫系统的技术，对策略架构做出合理地调整和改进

4. 熟悉常见的算法, 如PageRank等

任职资格：1. 有python和java开发经验

2. 熟悉html、js等web开发技术

3. 熟悉es、lucene、scrapy、bs、htmlparse、MySQL的使用

4. 熟悉搜索引擎排名算法、内容分词、文本挖掘算法

5. 有移动互联网、爬虫开发相关经验优先