工作职责:
1. NewsBreak日志数据模型与架构设计,离线数仓和实时数据体系的建设和不断迭代;
2. 数据体系化建设与管理相关的系统研发(元数据管理、模型管理、配置化工具、数据治理等相关模块的研发);
3. 根据业务需求完成大数据分析,使用flink、spark、hive、mapreduce等进行开发;
4. online/offline机器学习pipeline的研发。
任职要求:
1. 2020届本科以上学历,计算机相关专业;
2. 掌握数据结构与算法,有java或scala研发经验;理解基本的设计模式,能将业务需求快速理解成技术需求;
3. 熟练使用至少一种RDBMS;至少熟悉使用一种脚本语言shell或python;
4. 熟悉Hadoop架构和工作原理,有MapReduce编程经验优先;
5. 熟悉flink,spark streaming等流式处理引擎,有实际研发经验优先;
6. 有其他数据研发相关工具经验优先,例如HBase、Kylin、ES、Kudu、Redis。