岗位职责：

1.设计和开发分布式网络爬虫程序。

2.分析抓取过程，提供技术实现方案。

3.分析静态网页结构，解析网页数据，对数据进行过滤，去重，结构化处理。

4.设计优化爬虫调度系统，优化调度策略。

任职要求：

1.熟悉java，python编程。

2。熟悉前端技术，html，javascript，ajax等。

3。熟悉网络编程，对TCP、IP。http有深入理解。

4。熟悉使用正则表达是，精通网页数据提取。

5。熟练使用mysql，熟悉nosql数据库如redis等。

6.有web项目开发经验优先。

7。具备web挖掘，搜索引擎相关知识，有从事网络爬虫，网页去重，网页信息抽取工作经验优先