岗位职责：

1、参与公司大数据平台数据仓建设

2、从政府及公司相关业务系统抓取业务数据

3、根据业务数据聚合分析输出行业报告

任职要求：

1.熟悉linux平台，掌握Python/JAVA或某种编程语言；

2. 熟悉基于正则表达式网页信息抽取技术，应对反爬策略技术；

3.熟悉Hadoop分布式集群搭建，HDFS读写流程，MapReduce引擎分析过程，Yarn任务调度流程，Shuffle机制以及Hadoop优化。

4.熟悉Hive架构，熟练使用HQL语句，熟练使OVER,CURRENTROW,FOLLOWING,LAG等窗口函数，熟悉Hive相关调优方法。

5.熟练使用MySQL数据库，熟悉其索引机制，熟悉其增删改查各种语句结构，经常使用Explain关键字对查询语句进行分析调优。

6.熟悉Linux操作系统环境，了解Shell脚本语言命令，能够基本编写Shell脚本。