工作职责:1、 协助进行设计、开发分布式网络爬虫应用。 2、 协助进行爬取数据的抽取,清洗等工作。 3、 协助主管设计研究爬取策略和防屏蔽规则,提升网页抓取的质量和效率。 4、 其他爬虫服务的维护工作。任职资格:1、 熟悉linux开发环境,熟悉nodejs,python等。 2、 熟悉web开发相关技术,熟悉http协议,html/DOM等。 3、 熟悉常用爬虫技术,包括但不限于Selenium, Phantomjs, Casperjs, Scrapy。 4、 熟悉常见的反爬技术,并有针对性解决经验。 5、 熟悉mysql,mongodb者优先。 6、 统招本科及以上学历,19年毕业,了解大数据开发技术者优先。