主要职责:
1、协助开发和维护网络爬虫系统,从各种网站和API中提取数据。
2、对数据进行清洗和预处理,确保数据质量和一致性。
3、参与爬虫系统的性能优化,提高数据采集分析效率和稳定性。
4、跟踪最新的爬虫技术和工具,探索新的数据采集方法。
5、与团队成员合作,参与项目的需求分析和设计讨论。
任职要求:
1. 熟悉Python基本语法, 掌握Python常用三方库,如flask、pandas,Requests,BeautifulSoup。
2. 熟悉MySQL、redis、git等常用中间件使用
3、熟悉 Windows、Android、Web 的逆向工程技术,了解逆向工程流程
4、了解HTML、CSS和JavaScript,能够解析网页结构。
5、具备良好的问题解决能力和学习能力,能够独立完成任务。
6、良好的沟通能力和团队合作精神,愿意接受新挑战。