岗位职责：
1、与业务团队沟通，明确爬虫项目的目标和需求，确定要抓取的数据范围、格式和用途，为产品业务提供数据支持。
2、编写高效、稳定的 Python 爬虫代码，挖掘并整合外部第三方数据，并对抓取到的数据进行的清洗和整理，增强数据分析的广度与深度；
3、优化爬虫程序的性能，提高抓取速度和效率；
4、建立和完善公司内部的知识图谱体系，提高数据的可访问性和价值。

任职资格：
1、**本科及以上，数学、统计学、计算机科学等相关专业优先，拥有5年以上金融或科技行业的相关工作经验。
2、精通python语言，具备扎实的编程功底，具有良好的程序设计能力；
3、精通爬虫原理，精通Scrapy、pyspider等主流爬虫框架框架；具有RPA项目经验；
4、精通常用的反扒技术，对互联网各种类型数据交互模式熟悉，知道如何处理需登录网站、动态网页等各种情况下的数据采集方法。
5、熟悉常见ip限制、滑块、UA限制、验证码反爬、登录限制、headers认证和cookie限制等反爬套路及破解方法，且有实际经验；
6、熟练使用MySQL、MongoDB，熟悉Hadoop、ElasticSearch等技术；
7、熟练使用Pandas, NumPy等进行数据清洗、处理，提供数据服务以及数据管理；
8、能独立完成爬虫系统的搭建和运维。