爬虫工程师5k-9k

重庆经验1-3年大专及以上爬虫工程师
岗位所属职位类型
全职

  • 爬虫工程师
重庆云上航空票务股份有限公司
分享到微信
微信扫一扫,用小程序打开分享
职位诱惑:

周末双休,五险,免费午餐,节假日福利

职位描述:

1.负责垂直领域的定向爬虫引擎开发优化工作
2.负责HTTP、AJAX等各类网络请求分析
3.通过爬虫定向抓取数据和解析、抽取、去重、清洗和存储
4.根据应用场景封装服务接口给内部团队调用
5.负责反封禁的研究提升爬虫抓取效率和质量
任职要求
1、深入理解网络数据抓取的工作原理与工作流程;
2、熟悉HTML、DOM、XPATH,熟练使用正则表达式;
3、擅长分析HTTP协议,能够解析、模拟HTTP传输的报文
4、掌握HTTP相关调试、分析工具,能够对网页、APP数据抓包(有手机APP脱壳、反编译能力优先考虑)
5、精通Python/C#/Java等编程;
6、一年以上大规模网页爬虫开发经验,熟练使用关系数据库(如MySQL, MSSQLsql)或NoSql数据库(如Mongodb及Redis);
7、具备独立的破解各类网站封禁及各类验证码的能力,有多线程、分布式、网络数据抓取及处理经验优先;
8、熟练使用开源技术以及框架(Nutch、Scrapy、Heritrix等)者优先;
9、熟悉Unix/Linux操作系统者优先;
10、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力,抗压能力,目标执行力,对挑战性问题充满激情。
 

工作地址

重庆 - 渝中区- 长江一路69号4楼查看地图

职位发布者:

拉勾安全提示
· 求职中如遇招聘方扣押证件、要求提供担保或收取财物、强迫入股或集资、收取不正当利益或其他违法情形,请立即举报
· 如遇岗位要求海外工作,请提高警惕,谨防诈骗
面试评价
【查看更多评价】
该职位尚未收到面试评价
重庆云上航空票务股份有限公司

重庆云上航空票务股份有限公司

相似职位