【岗位职责】
* 根据大数据项目需要,负责离线或实时数据存储和加工处理;
* 参与数据模型的构建与开发(指标字段搭建,并对数据准确性负责,达成数据口径一致);
* 结合项目或产品涉及的具体业务场景,对数据进行清洗(ETL)、计算与加工;
* 基于已有数据展示平台制作统计看板;
* 快速响应数据处理的需求,高效的提取数据;
* 能够与团队成员有效沟通,并完成数据处理结果的核对与对接;
* 保障数据平台和集群稳定运行和日常运维、性能优化;
* 完成日常工作记录及统计,做好相关数据整理及备份工作;
【能力要求】
* 专科及以上学历,统计学,计算机相关专业(优秀者忽略专业要求),实习期6月+,每周保障45小时;
* 熟练使用SQL(MySQL/HiveSQL/PrestoSQL/SparkSql);
* 有一定的ETL开发经验,了解日常作业的部署和调度;
* 理解数据仓库体系下,数据采集、元数据管理、数据质量管理、ETL等概念,具备良好的梳理能力
* 具备大型数据仓库架构设计、模型设计和处理性能调优等相关经验(数据仓库分层设计、宽表设计、星型模型设计等)
* 有帆软项目(FineReport、FineBI)经验的优先
* 熟悉hadoop、Hive、HDFS等常用大数据组件,能进行错误分析和维护调整优化;
* 具备较强的沟通能力和逻辑表达能力,良好的团队合作精神和主动沟通意识;