负责为海外音乐项目搜索采集数据，为团队的海外运营提供决策支持（自有项目，非乙方）。

岗位职责∣Responsibilities:
1、熟练掌握Python，熟悉Linux开发环境；
2、负责设计和开发爬虫，精通海外网页（Youtube、Spotify、Google...）抓取原理及技术，从各种web页面、APP中获取目标信息；
3、负责爬虫团队的日常工作安排及管理。
4、解决技术疑难问题，包括各种反爬、压力控制等，提升网页抓取的效率和质量。有能力解决封账号、封IP、验证码识别、图像识别等问题，有能力解决复杂的反爬限制；
5、大规模爬虫系统的设计、数据REST API的设计、开发、维护、调优，第三方数据源的对接、预处理、入库；
6、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗；不限于使用代码规则类进行数据清理；
7、开发代码的维护更新，Linux服务器的维护，文档维护；
8、支持部门数据需求，包括但不限于搜索数据来源、数据清洗、数据挖掘、为团队提供决策支持；

履职要求∣Requirements:
1、大学本科及以上学历，计算机相关专业；
2、耐心、细心，有较强的逻辑思考能力，和良好的工作习惯。
3、有5-10年的爬虫、数据处理、数据分析经验; 有团队管理经验；有音乐行业经验优先；
4、掌握HTML，JS，及熟悉JS反扒破解；熟悉常见的反爬虫技术如文本混淆反爬虫、验证码等；
5、熟练掌握Python数据结构与常用算法；熟悉scrapy等爬虫框架，有scrapy-redis分布式爬虫经验;熟悉正则、xpath等提取方法；
6、了解pandas、numpy掌握网络爬虫开发原理，熟悉互联网各种类型数据交互模式；
7、熟悉MySQL部署、开发与维护；
8、熟悉Linux环境，使用脚本开发维护Linux服务器；
9、具有良好的表达能力，团队合作能力;具有很强的责任心，乐于挑战，有较强的深入学习理解业务的意愿。