数据爬虫工程师 15K---20K
板块：爬虫、开发

岗位职责：
1. 负责业务需求的数据采集与爬取、解析处理、入库及备份等数据工作；
2. 研究Web、APP反爬策略，攻克技术难点，破解反爬机制，优化爬虫路由调度策略，同时负责反爬策略的设计及优化；
3. 负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量，提升网页抓取的效率和质量；
4. 设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、JS加密等难点攻克；
5. 对抓取后的网页数据进行清洗、预处理，包括去除重复内容、填充缺失值、处理异常值等；
6. 建立与维护本地数据库，

任职条件:
1. 2年及以上的网络爬虫开发经验，有web端和app端数据抓取能力，熟悉两端的数据抓取方法，计算机相关专业背景；
2. 熟悉分布式网络爬虫开发；熟悉HTTP协议, xpath，css选择器等；
3. 熟悉网页抓取原理及技术，熟悉正则表达式，从结构化的和非结构化的数据中获取信息；熟悉javascript, 网站加密逆向；能处理各种javascript加密破解；
4. 有Scrapy redis spider分布式抓取系统的开发、架构经验，至少熟悉并使用过一种主流爬虫架构，熟练编写scrapy中间件；
5. 具有丰富的反反爬经验，包括图形验证码、滑块验证码、代理IP、JS加密、so签名等；
6. 熟悉mysql、redis、kafka等数据库缓存中间件；
7. 优秀的学习能力与工作规划能力；
8. 良好工作习惯与团队合作精神，能够在跨学科环境中有效沟通。