职位描述：
工作职责：
1. 参与分布式爬虫系统的设计与开发，核心模块研发工作，改进和提升爬虫效率
2. 攻破各种反爬策略，快速解决各类技术疑难问题，建设反爬对抗组件库
3. 负责WEB信息和APP数据抽取、清洗、消重等工作
4. 实时监控爬虫进度和预警处理
5. 与产品部门和上级沟通确保数据的准确性及时性

任职要求：
· 有航司、机票、旅游行业经验者优先
· 有WEB、APP爬取和分布式爬虫经验者优先
1. 计算机及相关专业
2. 2年及以上相关工作经验，有一定的研究和解决问题的能力
3. 精通至少一种开发语言，如Python、Java
4. 熟练掌握至少一种开源爬虫框架，熟练掌握mongo、redis、kafka、hadoop等相关技术
5. 对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力；
6. 熟悉常见的反爬策略，有JavaScript反爬、APP反爬、抓包分析、反爬策略探测、逆向等领域经验