(岗位急招,线上工作)
工作职责:
1.协助开发与维护网络爬虫程序,抓取结构化数据。
2.参与应对反爬虫机制(如验证码、IP限制等),保证爬虫的稳定运行。
3.对抓取的数据进行清洗、去重和处理,并存入数据库。
4.协助监控爬虫任务状态,编写相关技术文档。
任职要求:
1.计算机相关专业在校生,熟练掌握Python编程。
2.了解网络爬虫基本原理,熟悉HTTP协议、HTML、JSON。
3.有使用Requests,BeautifulSoup,Scrapy等任一爬虫库/框架的经验。
4.了解MySQL,MongoDB,Redis等至少一种数据库。
5.具备良好的学习能力和责任心,能积极解决问题。
*加分项:
1.有个人爬虫项目经验。
2.了解分布式爬虫或反爬虫应对策略