工作职责：

1.合法爬取热搜话题，设计并实现对爬下来数据的存储和高效访问；

2.对数据进行清洗，过滤，消重，以及格式化为图片和文本数据对；

3.优化整个抓取管线，可以跟下游任务无非对接。

任职要求：

1.统招本科及以上学历，计算机等相关专业；

2.有过爬虫项目经验；

3.熟悉python/java，熟悉Linux平台；

4.实习时间至少3个月及以上。