工作职责：

1、负责构建并完善大规模分布式抓取系统；

-2、负责特定网站范围内网页的抓取、解析、分类、去重   -3、负责数据的自动化分析处理工作，对海量数据进行挖掘和分析，产出数据分布规律、变化趋势

职位要求：

1、计算机、通信及相关专业本科以上学历  

2、熟练掌握C/C++/Python等编程语言 3、熟悉常见的算法和数据结构 

4、熟悉mysql，web开发优先 5、具备很强的分析和解决问题的能力，对于攻关疑难问题具有强烈的兴趣   6、注重团队协作，有良好的沟通能力