【工作职责】
1、负责网络爬虫系统平台的架构设计与开发，完善和重构现有采集系统及服务（如抓取调度，多样化抓取，页面解析和结构化抽取）、技术选型；
2、负责多平台信息的数据采集、抽取、去重、分类、过滤、质量识别等工作；
3、负责对指定页面数据的分析、抓取及破解，对技术预研难点进行攻关；
4、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点攻克，提升网页抓取的效率和质量；
【任职资格】
1、本科及以上学历，1年以上相关经验；
2、熟悉网页解析和网页信息抽取经验，有大型分布式采集框架的开发和部署经验；
3、熟练掌握Python语言，精通Scrapy框架及原理，熟悉爬虫技术的攻防策略和技术方案；
4、精通数据采集技术，熟悉HttpClient/jsoup/XPath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术，熟悉HTTP底层协议；
5、精通各种反爬技术，并能够通过多种应对策略（如代理池、模拟登录、验证码与滑块的处理、浏览器渲染等）来保证数据的持续交付；
6、熟悉网页数据采集原理及技术，熟悉基于Cookie的网站登录原理；
7、有大数据清洗、整合与储存经验的优先；
8、良好的编码能力，工作认真细致踏实，逻辑思维缜密，善于分析，以解决技术难题为乐趣，具备良好的沟通交流能力。
9、强烈的主动性与工作责任心，对所负责工作有owner意识，并能自我驱动不断成长；