岗位职责：

1、负责设计和开发分布式网络采集系统，进行国内外著名电商平台信息的采集和分析； 

2、设计爬虫策略和防屏蔽规则，提升抓取的效率和质量； 

3、负责爬虫逻辑的开发，响应业务变动。

任职要求：

1、熟悉Python，以及爬虫相关的Python库(Requests, Scrapy等)；

2、熟悉至少一种常用数据库, 如MySQL, MongoDB, PostgreSQL等；

3、熟悉HTML，CSS，Javascript，熟悉HTML页面解析方法（BeautifulSoup， XPath等）；

4、熟悉基本的Linux命令，能熟练使用Git进行团队协同开发；

5、有爬虫项目经验，熟悉各类反爬虫机制及爬取手段优先。