工作职责: 1)对公司各项目所需的网络数据源进行数据抓取; 2)按要求完成数据抓取前的配置等准备工作,确保所负责的网站按周期采集及时、全面; 3)完成团队安排的其他工作。 职位要求: 1)计算机、数学、统计、软件工程等相关专业本科及以上学历,熟悉Python编程语言; 2)熟悉scrapy, pyspider等爬虫框架,熟悉数据清洗方式以及正则; 3)熟悉主流反爬策略并能够突破反爬限制; 4)独立设计或开发过爬虫框架者加分,有分布式爬虫经验加分。
当前职位已下线
为你揭秘各职业的工作内容|薪资水平…
负责一个大数据平台的底层架构的搭建和开发的人员。