岗位职责：
1、负责企业各类数据采集，进行多平台信息的采集和分析；
2、建立完整的数据获取、解析、入库和监控流程，优化系统瓶颈，不断迭代完善；
3、有验证码破解、反扒、分布式爬虫架构经验；
4、研究优化算法，提升爬虫系统的稳定性和可扩展性；
5、快速支撑业务所需数据落地；
岗位要求：
1、全日制本科以上学历，计算机或其他相关专业；
2、熟练掌握Python/Java语言，熟练掌握JS语言；
3、精通数据采集技术，熟悉HttpClient/jsoup/XPath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术，熟悉HTTP底层协议；
4、精通各种反爬技术，并能够通过多种应对策略（如代理池、模拟登录、验证码与滑块的处理、浏览器渲染等）来保证数据的持续交付；
5、熟悉网页数据采集原理及技术，熟悉基于Cookie的网站登录原理； 6、熟悉数据清洗、去重、入库等技术，具有数据挖掘、机器学习背景者优先；
7、良好的编码能力，工作认真细致踏实，逻辑思维缜密，善于分析，以解决技术难题为乐趣，具备良好的沟通交流能力；