数据爬虫工程师12k-14k

杭州经验1-3年学历不限爬虫工程师
岗位所属职位类型
全职

  • 极验
  • 瑞数
  • scrapy
  • 数据服务|咨询
  • Python
企研数据
分享到微信
微信扫一扫,用小程序打开分享
职位诱惑:

五险一金

职位描述:

岗位职责:
1. 负责爬虫产品的开发与维护;
2. 参与爬虫系统架构的设计和开发;
3. 优化爬虫系统代码、算法,提高爬虫系统的稳定性和扩展性;
4. 研究网站的反爬策略,并给出反爬措施;
5. 对抓取的数据进行清洗、预处理、入库,包括去除重复数据、处理缺失值、规范化数据格式等;
6. 维护爬虫项目代码仓库;

测试网站:
1.http://cx.cnca.cn/CertECloud/resultSn/skipResultSnFull?currentPosition=%E9%A3%9F%E5%93%81%E5%86%9C%E4%BA%A7%E5%93%81%E8%AE%A4%E8%AF%81

2.https://www.nmpa.gov.cn/datasearch/home-index.html?3jfdxVGGVXFo=*************#category=yp

岗位要求:
1. 要求至少2-3年工作经验,千万级数据采集经验
2. 熟练使用 Pyhton,熟练使用常用的爬虫框架( 比如 scrapy 等 ),了解反爬套路及破解方法
3. 熟悉 web 前端技术,对 cookie 管理、登录等流程有深入理解,熟练使用 bs4、xpath 等文本解析工具
4. 熟悉各种网络协议,熟悉 web 前端,熟悉 js、html 等
5. 熟悉 Linux 开发环境,熟悉 git 工具
6. 熟悉 Oracle、Mysql 数据库,对 Mongodb、Redis 有一定的使用经验
7. 有了解过瑞数,有验证码破解经验者优先

附加信息:

  • 工作时间:周末双休
  • 上下班时间:09:00-18:00

工作地址

职位发布者:

拉勾安全提示
· 求职中如遇招聘方扣押证件、要求提供担保或收取财物、强迫入股或集资、收取不正当利益或其他违法情形,请立即举报
· 如遇岗位要求海外工作,请提高警惕,谨防诈骗
面试评价
【查看更多评价】
该职位尚未收到面试评价
企研数据科技(杭州)有限公司

企研数据

  • 数据服务|咨询,IT技术服务|咨询

    领域
  • 未融资

    发展阶段
  • 少于15人

    规模
  • www.qiyandata.com

    公司主页

相似职位