岗位职责:
1、参与大数据平台的开发与维护,使用Hadoop/Spark/Flink等框架进行数据ETL处理
2、编写Spark SQL/Flink SQL进行数据清洗、转换和聚合
3、优化数据处理流程,提升数据计算和存储效率
4、基于Flink/Spark/Kafka构建实时数据流处理任务
5、协助业务方完成数据提取与分析需求
任职要求:
1、本科及以上学历在读,计算机、软件工程等相关专业
2、至少掌握Python/Java/Scala其中一种
3、熟悉SQL基础语法,了解数据库基本原理,了解Linux基础命令
4、了解大数据Hadoop/Spark/Flink/Hive/HBase/Kafka/Doris/ClickHouse等大数据组件
5、良好的沟通能力,能与业务方协作完成需求
6、具备团队合作精神,能适应快节奏工作
7、能快速掌握新技术工具,对大数据领域有持续学习热情