工作职责 1. 负责数据产品平台爬虫系统的设计、研发与维护； 2. 设计爬虫策略与算法，提升抓取效果； 3. 持续优化系统，提高系统的稳定性及性能。 任职资格 1. 熟悉 Python，有较丰富的爬虫系统开发经验及逆向破解经验优先； 2. 熟悉常用的数据结构和算法，熟悉常见设计模式； 3. 熟悉网络编程（TCP/HTTP 协议），具有 Linux 下编程经验和操作经验； 4. 能够解决反爬虫、网络异常等各种常见爬虫问题； 5. 了解分布式系统的设计与实现，有自动化测试经验； 6. 了解 Kafka/Storm/Hadoop/Spark/HBase 等大数据相关技术； 7. 的分析、解决问题能力，对处理未知的、挑战性问题充满激情； 8. 良好的沟通能力和团队合作精神。