岗位职责： 1、参与爬虫系统的架构设计与开发； 2、负责执行和开发分布式网络爬虫系统，进行多平台信息的抓取和分析； 3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 4、能独立解决实际开发过程碰到的各类问题。

任职要求 1、计算机相关专业； 2、熟悉信息抓取和整合技术，从结构化的和非结构化的数据中获取信息； 3、了解Mysql，redis，mongdb三者至少之一，有过数据库调优和海量数据存储项目经验优先； 4、具有搜索相关技术研发经验者优先；