岗位职责：

1、参与大数据平台的设计与开发，解决海量数据服务面临的挑战；

2、管理、优化并维护Hadoop、Spark等集群，保证集群稳定、高可用；

3、负责HDFS、Spark等集群的功能、性能和扩展，解决并实现业务需求；

4、实现基于HDFS、Spark的分布式计算框架的海量数据的处理、分析、统计、挖掘工作。

任职资格：

1、统招硕士研究生学历，计算机、信息系统、软件工程、自动化、电子等相关专业；

2、具有Hadoop、Storm、Spark、ES等大数据技术的开发经验（跟着导师或者实习项目经验）；

3、具有Oracle、HBase、Hive、Redis等主流数据库的相关开发和调优实战经验；

4、精通Java、Scala、Python中的一种或多种语言，熟悉Linux环境下编程，熟悉常用的shell命令工具；

5、有R、Python、SAS、SPSS等数据分析和挖掘经验者优先；

6、深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术和实现方法，有架构和设计实践经验优先；

7、具有的沟通表达与协调能力、团队合作精神、保密意识。