工作职责： 1、负责数据的抓取、解析、清洗、入库;

2、研究设计爬虫模板提高扩展性加快开发效率；

3、分布式爬虫系统和数据采集的设计、开发；

4、根据数据产品需求，负责大规模文本数据抓取、清洗、存储等开发工作

岗位要求：

1、熟悉常用python库的使用，熟悉面向对象编程，且熟练使用scrapy框架优先考虑；

2、熟悉反爬技术，能处理各种反爬问题者优先； 

3、熟悉MYSQL、Redis、Mongodb等数据库操作能进行简单的数据库优化； 

4、有大数据开发经验优先；

5、对数据敏感，具备良好的逻辑思维能力以及的问题解决能力者优先

长期实习，表现的同学可转正。