岗位职责：

1、负责爬虫系统架构和数据存储设计；

2、建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善；

3、解决常见的反爬虫问题；

4、理解系统数据处理流程以及业务功能需求；

任职要求：

1、2年+爬虫经验，熟练掌握Python；

2、熟悉目前主流的一些爬虫框架, 例如scrapy、pyspider等；

3、掌握使用fiddler等, 熟练掌握正则表达式, 能够对接mysql/hadoop/hive/hbase/mangodb等数据库；

4、有解决复杂的反爬限制实践经验，能解决如图片验证码/滑块/账号限制/ip限制等问题；

5、善于独立分析并解决核心问题；

6、对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力；

7、有能力阅读英文技术文档的优先考虑；

8、对APP脱壳、加密解密技术有深入研究的优先考虑；