爬虫工程师10k-18k

广州经验1-3年本科及以上爬虫工程师
岗位所属职位类型
全职

  • IT技术服务|咨询
  • 数据服务|咨询
众成大数据数据部
分享到微信
微信扫一扫,用小程序打开分享
职位诱惑:

晋升空间、朝九晚六、周末双休

职位描述:

岗位职责:
1、解决各类反爬问题,如JS混淆逆向、APP逆向、字体加密、极验验证码、瑞数等以及采集其它疑难杂症;
2、负责相关爬虫相关技术调研与应用,包括但不限于web/app的数据采集;
3、维护采集平台中站点的稳定采集;
4、开发和维护爬虫脚本和数据处理接口,确保系统稳定运行;
5、协助团队解决爬虫相关技术问题,完成上级安排的其他任务;

任职要求:
1、本科及以上学历,计算机相关专业;
2、3年以上大规模网页爬虫项目经验,2年以上Python开发经验,熟练掌握爬虫底层框架,如scrapy、scrapy-redis、feapder,阅读过如Scrapy-redis等底层代码实现,能够进行改写;
3、精通HTTP/HTTPS协议,能熟练使用Charles、Fiddler等抓包工具分析请求;
4、能够解决封账号、封IP、JS加密、JS混淆逆向、极验验证码、瑞数等采集等问题,具备较强的反爬能力,具备较强的提升爬虫效率的意识;
5、熟练掌握Redis及MongoDB等非关系型数据库,MySQL等关系型数据库的使用;
6、熟悉多种数据提取方法,能灵活运用JsonPath、XPath、CSS选择器和正则表达式;了解ES,Kibana;
7、熟悉HTTP/HTTPS和TCP/UDP协议以及数据抓包和分析、熟悉Linux系统和shell多线程编程;
8、优秀的分析问题和解决问题的能力、思维清晰,对解决具有挑战性问题充满激情,有极强的责任心。

附加信息:

  • 工作时间:周末双休
  • 上下班时间:09:00-18:30

面试信息:

  • 面试方式到场面试 | 视频面试
  • 面试轮数1-2轮
  • 时间安排一天内完成

工作地址

广州 - 越秀区 - 东风东- 东风东路745号紫园商务大厦512-513房查看地图

职位发布者:

拉勾安全提示
· 求职中如遇招聘方扣押证件、要求提供担保或收取财物、强迫入股或集资、收取不正当利益或其他违法情形,请立即举报
· 如遇岗位要求海外工作,请提高警惕,谨防诈骗
面试评价
【查看更多评价】
  • 评价人头像匿名
    半年前
    • 描述相符
    • 面试官
    • 公司环境
    面试官很nice
    [面试过程]
    面试官人很好
    (0)
广州众成大数据科技有限公司

众成大数据

相似职位