职位职责:
1、参与分布式爬虫和数据存储的设计和开发、进行各种平台信息的抓取和分析;
2、海量数据处理,算法设计、开发、优化。
职位要求:
1、可以保证1周工作不少于3天;
2、计算机相关专业,计算机基础知识扎实,包括但不限于操作系统、计算机网络、数据结构和算法;
3、善于沟通,乐于团队协作,逻辑思维缜密,考虑问题全面,有探索精神,热爱技术;
4、熟悉Python/Java/Shell、熟悉Linux、MySQL/MongoDB、JS、AJAX、HTTP、TCP;
5、熟悉网页抓取原理及技术,熟悉正则表达式,可以从结构化的和非结构化的数据中获取信息;
6.了解scrapy/pispder或其他同等爬虫框架实现原理,有爬取动态/延迟加载数据数据经验,会使用selenium/pyppeteer或其他浏览器驱动,会使用postman或其他同等工具分析模拟request请求优先。
7.有全站爬虫经历优先,有使用验证码、代理池等技术手段优化爬虫经验优先。
8.简历需要有js破解,app逆向等相关项目经验描述
9.优秀实习生可以转正
当前职位已下线
为你揭秘各职业的工作内容|薪资水平…
负责计算机产品的服务器端研发,通过代码、API 和数据库集成构建服务端架构,提高网站、应用程序或软件的运行效率,为前端提供支持的专业技术人员。