岗位职责：

1. 参与核心爬虫系统架构设计、数据库设计；

2. 负责网络爬虫的核心技术研究和开发，参与各种核心搜索策略、算法、数据聚类、重组的设计与开发；

3. 设计策略和算法，提升网页抓取的效率和质量；

4. 分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进。

任职要求：

1.有Java或其它主流语言的开发经验，计算机相关专业本科或硕士学位；

2. 熟悉常用的信息抓取策略和数据重组算法；

3. 精通信息抓取和整合技术，从结构化的和非结构化的数据中获取信息，掌握正则表达式；

4. 精通大规模网页爬取，深度网页爬取，熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工作优先考虑；

5. 熟悉LAMP架构及原理，对系统整体性能的极致优化有经验者优先；

6. 熟悉网络爬虫相关技术，如有分词、spider、分类、聚类、索引、检索等相关开发经验者优先。