## Hadoop/Spark大数据开发工程师（实习生/毕业生）

### Keywords

Spark 源码 调优/优化 ACM 开源社区贡献者

### 职位描述

设计和实现对接用户数据相关的开发工作

负责各类数据的统计，关联和分析挖掘工作。

开源社区大数据平台相关组件的二次开发和增强，以支持各种数据计算任务的可靠性，高效性和灵活性。

### 岗位要求

985/211院校计算机或相关专业全日制硕士研究生。

熟练阅读英文技术文档，熟悉开源社区。

Java/Scala编程开发经验，熟悉常用的设计模式，对使用Java多线程，JVM运行机制和内存管理等有深入理解，了解常用的工具对Java应用程序进行诊断方式。熟悉常用的数据结构和算法。熟悉Spring MVC更佳。

熟练掌握SQL和Spark等数据分析工具和方法，具备一定的数据探索能力。

熟悉Linux系统管理工作；能够编写一些Shell脚本解决日常问题；

熟练使用Maven、Git 等项目管理、熟练使用常用的测试框架，重视单元测试，集成测试，保证代码质量，并定期对其不合理和可优化的地方进行重构。

良好的抗压能力和责任心, 工作细致，独立问题分析和推进解决的能力，优异的沟通协调能力和团队合作精神。

热爱技术，有激情，自我驱动力强，能不断跟踪学习新技术。

### 加分项

熟悉大数据平台相关技术栈，Hadoop/Spark生态圈实际生产环境开发经验；

熟悉Spark资源管理、调度和性能调优。熟悉Spark，Spark Streaming，Spark SQL，MLlib，Kafka，HDFS，Hive，Hbase，MapReduce，Yarn，Flume，Oozie，Azkaban，ZooKeeper，Kudu，Kylin中的2个以上组件。

熟悉分布式系统、分布式计算系统的工作机制，熟悉Hadoop生态圈相关核心技术的工作机理；

开源社区Commitor，Contributor等优先；