岗位职责：

负责数据处理流程的优化，编码和数据清洗工作。 

任职资格：

1. 计算机或相关专业本科学历  

2. 熟悉Java/Scala/python程序开发(至少一种)，熟悉Linux/Unix开发环境

3. 熟悉json数据格式 

4. 熟悉常用开源分布式系统，Hadoop/Hive/Spark/Yarn  

5. 熟悉mongodb数据库查询  

6.熟悉基本的网页信息抽取工具 

7. 具有良好的沟通协作能，对大数据处理感兴趣