python爬虫工程师25k-35k

北京经验5-10年本科及以上爬虫工程师
岗位所属职位类型
全职

  • 爬虫
  • 音频|视频媒体
  • 社交媒体
  • Python
高维互娱
分享到微信
微信扫一扫,用小程序打开分享
职位诱惑:

管理自驱动岗位,上升期项目,国际化团队

职位描述:

负责为海外音乐项目搜索采集数据,为团队的海外运营提供决策支持(自有项目,非乙方)。

岗位职责∣Responsibilities:
1、熟练掌握Python,熟悉Linux开发环境;
2、负责设计和开发爬虫,精通海外网页(Youtube、Spotify、Google...)抓取原理及技术,从各种web页面、APP中获取目标信息;
3、负责爬虫团队的日常工作安排及管理。
4、解决技术疑难问题,包括各种反爬、压力控制等,提升网页抓取的效率和质量。有能力解决封账号、封IP、验证码识别、图像识别等问题,有能力解决复杂的反爬限制;
5、大规模爬虫系统的设计、数据REST API的设计、开发、维护、调优,第三方数据源的对接、预处理、入库;
6、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗;不限于使用代码规则类进行数据清理;
7、开发代码的维护更新,Linux服务器的维护,文档维护;
8、支持部门数据需求,包括但不限于搜索数据来源、数据清洗、数据挖掘、为团队提供决策支持;

履职要求∣Requirements:
1、大学本科及以上学历,计算机相关专业;
2、耐心、细心,有较强的逻辑思考能力,和良好的工作习惯。
3、有5-10年的爬虫、数据处理、数据分析经验; 有团队管理经验;有音乐行业经验优先;
4、掌握HTML,JS,及熟悉JS反扒破解;熟悉常见的反爬虫技术如文本混淆反爬虫、验证码等;
5、熟练掌握Python数据结构与常用算法;熟悉scrapy等爬虫框架,有scrapy-redis分布式爬虫经验;熟悉正则、xpath等提取方法;
6、了解pandas、numpy掌握网络爬虫开发原理,熟悉互联网各种类型数据交互模式;
7、熟悉MySQL部署、开发与维护;
8、熟悉Linux环境,使用脚本开发维护Linux服务器;
9、具有良好的表达能力,团队合作能力;具有很强的责任心,乐于挑战,有较强的深入学习理解业务的意愿。

附加信息:

  • 工作时间:周末双休
  • 上下班时间:10:00-19:00

面试信息:

  • 面试方式视频面试 | 到场面试
  • 面试轮数1-2轮
  • 时间安排分多次完成
  • 补充标签包含笔试

工作地址

北京 - 朝阳区- 国家会议中心写字楼查看地图

职位发布者:

拉勾安全提示
· 求职中如遇招聘方扣押证件、要求提供担保或收取财物、强迫入股或集资、收取不正当利益或其他违法情形,请立即举报
· 如遇岗位要求海外工作,请提高警惕,谨防诈骗
面试评价
【查看更多评价】
该职位尚未收到面试评价
高维互娱科技(北京)有限公司

高维互娱

相似职位