【工作内容】

- 负责指定的网站进行页面抓取、数据清理提取；

- 参与已有爬虫系统中作业的检验，设计和优化爬虫策略，充分利用已有服务器和宽带资源进行优化；

- 针对网页数据进行抓包分析，爬取网页数据并整合存储；

- 对大规模数据进行处理和简单分析。

【职位要求】

- 本科及以上学历，计算机相关专业；

- 掌握Python等编程语言，了解多线程、多进程、网络通信等编程相关知识；

- 掌握网页抓取原理，了解TCP/HTTP协议、Html/Js/Css、Ajax等技术，熟悉一般的网站登陆原理；

- 具有实际爬虫开发工作经验，熟悉常见爬虫框架和工具，比如pyspider, scrapy和Selenium等；

- 了解爬虫框架原理、有过网页爬虫经验者优先；

- 具有数据挖掘相关经验者优先；

- 能够快速学习和掌握新技术，优秀的分析、解决问题能力，具备团队合作精神。