工作职责:

1、参与Hadoop大数据平台各类数据业务抽象及模型化

2、参与离线/实时数据仓库ETL设计、开发及自动化工作；

3、参与Spark、Flink的功能扩展和性能优化，使用海量数据解决并实现业务需求；

4、参与设计或配合算法工程师实现算法，解决实体识别、情感分析等相关问题；

5、使用Flink、Spark进行数据处理，协助建立数据模型；

6、参与大数据平台各类基础系统架构设计和引擎开发，集群优化，技术难点攻关；

7、参与集群数据安全相关体系建设，各种存储，查询方案构建；

8、协助管理、优化并维护Hadoop、Spark等集群，保证集群规模持续、稳定；

岗位要求： 1. 有计算机理论基础，熟悉常用的数据结构和算法，有较强的编程能力。 2. 熟悉k8s，spark，python。 3. 了解Redis、Elastic Search等开源大数据存储技术，并能结合不同的业务场景深入使用。 4. 熟悉 Linux 操作系统，理解网络和存储技术原理，有大数据开发经验优先。