一、爬虫开发 岗位职责： 1、研究分析目标网站，进行数据抓取，解析，入库，存储； 2、研究优化算法，持续提升爬虫系统的性能 3、参与云爬平台的建设和维护。 任职要求： 1.熟悉linux系统，命令。 2.至少熟练运用一门语言，如Shell，Python，Java 3.至少熟悉一种数据库，如hive，oracle，postgresql，mysql，elasticsearch，redis等 4.逻辑思维，做事有条理，善于学习和总结。 5.乐于奉献，态度积极，责任感. 6.计算机相关专业。