【岗位职责】

1.负责构建Spark/HDFS大数据处理架构；

2.负责日均数十TB级海量数据的处理、入库以及快速查询的设计和研发工作；

3.负责基于Spark技术对的海量数据的自动化分析处理和统计工作；

4.基于Spark框架大数据架构的设计、开发和维护，并输出设计和维护相关文档；

5.根据相关需求使用SparkStreaming/Storm、SparkSQL进行数据处理、查询和统计等工作。

【岗位要求】

1.研究生及以上学历，计算机、数学等相关专业；

2.了解spark内核，掌握Java或者Scala语言；

3.了解Spark SQL, spark Streaming等；

4.对技术有强烈的兴趣，喜欢钻研，具有良好的学习能力；

5.责任心强，工作认真负责，能够承受一定的工作压力。