• 30k-60k·15薪 经验1-3年 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位描述 1. 遵循robots协议,采集互联网公开的信息,满足各类业务数据需求; 2. 负责分布式爬虫系统的建设,优化数据调度、抓取、解析、存储全栈流程; 3. 帮助团队攻克各种爬虫技术难关,提升海量数据系统的抓取效果与性能。 职位要求 1. 本科及以上学历,2年以上爬虫抓取采集相关工作经验; 2. 熟悉主流爬取技术及爬虫框架工具,如Selenium/Puppeteer/Scrapy/PhantomJS等; 3. 熟悉Python/Java/Go/C++其中一种语言,具备扎实的编码能力; 4. 熟悉常见反爬封禁策略,并具备相关的实战经验; 5. 加分项:逆向、混淆、脱壳、分布式、数据分析、数据挖掘。
  • 25k-50k 经验不限 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息,参与爬虫系统的建设与优化,满足各类业务数据需求; 2、负责分布式爬虫系统的建设,优化数据调度、抓取、解析、存储全栈流程; 3、帮助团队攻克各种爬虫技术难关,提升海量数据系统的抓取效果与性能。 职位要求: 1、 本科及以上学历,2年以上爬虫抓取采集相关工作经验; 2、熟悉主流爬取技术及爬虫框架工具,如Selenium/Puppeteer/Scrapy/PhantomJS等; 3、熟悉Python/Java/Go/C++其中一种语言,具备扎实的编码能力; 4、熟悉常见反爬封禁策略,并具备相关的实战经验; 5、加分项:逆向、混淆、脱壳、分布式、数据分析、数据挖掘。 注:该职位可base上海或者杭州。
  • 15k-30k·13薪 经验3-5年 / 本科
    数据服务 / D轮及以上 / 150-500人
    任职要求: 1、 本科或以上学历,具有实际爬虫开发、内容提取工作经验3年以上,熟练掌握Python语言,对数据敏感,具有良好的逻辑分析能力; 2、 熟悉Linux系统,精通Python编程语言,熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理,掌握requests,selenium,scrapy,pandas等模块的用法, 3、 熟悉常见的数据库,如redis、mongodb和mysql等其中一种或几种,有数据清洗分析的工作经验,了解大数据平台的基本原理; 4、 熟悉html,css,JavaScript等前端知识,掌握Web界面的的分析方法,熟练掌握bs4,xpath,正则等其中一种或几种常用的信息抽取技术; 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题; 6、 掌握App数据采集的常用技术,能够爬取App的数据; 7、 热爱技术,喜欢钻研,有分享精神,注重代码质量,工作认真细致,主动性强,执行力强,抗压能力强,有良好的协作意识; 8、 有以下经验者优先: a) 有过垂直媒体,如汽车之家、易车网、太平洋汽车或今日头条等的爬虫经验; b) 有爬取过APP的评论或者短视频的弹幕,如:抖音、小红书、哔哩哔哩、微博; c) 参与过开源爬虫项目并贡献代码; d) 主导过分布式爬虫系统设计和开发; 工作职能: 能独立解决实际开发过程中碰到的各类问题,了解和破解常见的反爬虫技术。 主要工作范围: 1. 负责scrapy爬虫项目的运维工作,以及数据的清洗提取工作; 2. 根据需求,开发App或网站的数据爬取工作;
  • 25k-50k 经验不限 / 本科
    人工智能服务 / B轮 / 150-500人
    可远程办公,中高级均招工作职责:1. 负责数据采集爬虫项目的开发维护、性能优化等,2. 以架构思维,确保数据采集架构的扩展性、稳定性3. 规划数据采集爬虫的技术路线,研究和破解相关平台的反爬措施,保证数据获取的速度和稳定性。任职条件:1. 熟练掌握各种爬虫技能,丰富的Java/Python数据采集开发经验,编程基础扎实;2. 熟悉常见分布式系统架构和设计,熟悉分布式、缓存、消息等机制;能对分布式常用技术进行合理应用,解决问题;3. 熟悉反爬机制,有安卓逆向 / ios逆向经验的优先
  • 25k-40k 经验3-5年 / 大专
    人工智能服务 / B轮 / 150-500人
    可远程办公,中高级均招聘 工作职责: 1. 负责数据采集爬虫项目的开发维护、性能优化等, 2. 以架构思维,确保数据采集架构的扩展性、稳定性 3. 规划数据采集爬虫的技术路线,研究和破解相关平台的反爬措施,保证数据获取的速度和稳定性。 任职条件: 1. 熟练掌握各种爬虫技能,丰富的Java/Python数据采集开发经验,编程基础扎实; 2. 熟悉常见分布式系统架构和设计,熟悉分布式、缓存、消息等机制;能对分布式常用技术进行合理应用,解决问题; 3. 熟悉反爬机制,有安卓逆向 / ios逆向经验的优先
  • 15k-20k·13薪 经验3-5年 / 本科
    电商,文娱丨内容 / A轮 / 15-50人
    工作职责: 1.负责电商,娱乐,社交类平台,资讯类平台爬虫项目的开发维护 2.研究常见的app,web端反爬措施,保证数据爬取的速度和稳定性 3.提取,清洗,转换和存储数据 4.团队沟通和部门间协作 任职要求: 1.熟悉python/java语言任意一种,1年以上爬虫经验 2.熟悉常用的爬虫框架,如scrapy 3.有一定的后端经验 4.熟悉xpath等网页提取工具 5.有微博、微信、知乎、小红书等平台爬虫经验优先,有appium使用经验优先
  • 25k-45k·16薪 经验3-5年 / 本科
    居住服务 / 上市公司 / 2000人以上
    【职位描述】 1、从web和APP端获取包括图片、文本等相关数据。 2、熟悉分布式爬虫、APP爬虫相关架构,设计爬虫策略和反爬规则。 3、参与业务功能需求探讨,理解系统数据处理流程,提升数据完整度。 【任职要求】 1、熟悉web、app抓取原理及技术,熟悉正则表达式,熟悉常用的爬虫网络框架及重要组件。 2、熟悉Linux开发环境和数据库、熟悉Java、Python、PHP中的一种、熟悉Http协议和REST。 3、有垂直领域数据爬取经验者优先、有反爬虫经验者优先。 4、两年以上的爬虫项目经验。
  • 12k-22k·13薪 经验3-5年 / 不限
    文娱|内容,企业服务,工具 / 天使轮 / 15-50人
    岗位职责: 1:负责直播电商相关公开数据的爬取,譬如淘宝直播、抖音、快手等等; 2:负责爬虫框架设计,支持多进程、分布式、可扩展,支撑每日百万级数据的爬取; 3:负责将采集的原始数据处理为结构化数据; 4:保障采集的数据按时、准确、稳定的输出; 5:与数据仓库团队做好采集数据流转的对接。 任职要求: 1:2年以上爬虫工作经验,能独立完成全部爬虫的设计和开发; 2:熟练掌握网页抓取方法,精通正则表达式、xpath等常用的页面解析技术; 3:熟悉常见的反爬策略与应对机制,尤其熟悉淘宝直播、抖音、快手等平台的反爬策略与应对方法; 4:熟悉多进程、分布式数据爬取,有每日百万级数据爬取的经验; 5:熟悉消息中间件譬如kafka者优先; 6:责任心强、细心、做事积极主动,团队沟通顺畅。 播鹰科技是聚焦于将大数据&人工智能应用于直播电商赛道且拥有核心领先技术的数据科技公司,这里没有996、没有PUA,不用甩锅,沟通简单、直接,老板Nice,期待有雄心的你加入!
  • 12k-20k 经验1-3年 / 大专
    移动互联网,数据服务 / 上市公司 / 50-150人
    岗位职责: 1.参加开发与优化分布式爬虫技术 2.负责持续跟踪分析当前爬虫系统的技术缺陷,对系统进行合理的调整和更新。 3.优化整体的爬虫资源配置。 任职要求: 1、熟练掌握python、golang任意一种,熟悉分布式网络爬虫开发; 2、掌握基本的数据结构以及算法; 3、了解各种加密算法,在破解验证码方面有丰富经验,能够独立解决Js反爬问题; 4、有app逆向开发经验,熟练掌握反编译技巧; 5、有短视频相关爬取经验优先; 6、具备强烈的探索欲和责任感,良好的学习能力、沟通能力及团队协作能力
  • 15k-30k·13薪 经验5-10年 / 大专
    电商平台 / A轮 / 50-150人
    互联网公司,app store社交前50产品,竞争力薪资,高速发展 岗位职责: 1. 能独立负责跨境电商项目爬虫系统的开发维护、性能优化等。 2. 根据产品需求,完成爬虫系统后台数据分析和显示。 3. 研究爬虫核心算法和策略优化,快速解决实际开发过程碰到的各类问题。 岗位要求: 1、5年以上Python开发经验,熟悉主流Web、APP爬虫技术框架,有多站点深入爬取经验; 2、熟悉Mysql,熟练使用redis、kafka等常用第三方组件;熟悉ElasticSearch; 3、熟练掌握HTTP,TCP/IP,网络编程,爬虫技术;熟悉移动设备App的网络请求抓包和分析; 4、至少用过一款网络嗅探工具(Wireshark、Charles、Fiddler 等); 5、熟悉分布式系统,对网络和并发编程有丰富的经验,熟悉Linux/Unix平台; 6、了解常见的反爬虫策略,善于分析解决遇到的问题,有JS、Java经验优先;
  • 12k-24k·14薪 经验1-3年 / 本科
    数据服务|咨询 / 不需要融资 / 150-500人
    岗位职责: 1、建设完善分布式爬虫系统; 2、建立通用的爬虫框架,能够快速适应新的爬虫需求; 3、快速完成对目标资源的数据抓取、处理; 4、针对不同网站的反爬虫技术提出有效的应对策略。 岗位要求: 1、2年以上爬虫相关工作经验; 2、有APPA安全、安卓逆向等领域的经验; 3、对爬虫编程有强烈爱好,熟练掌握至少1种语言java、python,在需要的情况下能快速上手新语言切换; 4、深入理解tpc/ip、http、以及web登陆认证的机制,有成功破解复杂验证码的经验; 5、有通用分布式爬虫系统架构和开发经验,能快速部署新的爬虫应用; 6、已有2年以上网络爬虫或搜索引擎工作经验,参与过大规模数据爬虫项目者优先; 7、具有良好的沟通、团队协作、计划能力。
  • 15k-25k 经验3-5年 / 本科
    信息安全,数据服务 / 未融资 / 50-150人
    岗位要求:1. 熟练解决recaptcha、funcaptcha、极验、阿里网盾、腾讯防水墙等国内外主流验证码2. 有大型网站风控对抗经验3. 精通至少一种自动化工具(含web和app两端),及其工作原理,并有集群搭建经验4. 有大规模采集架构经验5. 有决策引擎相关开发经验6. 熟练使用Docker及其编排工具7. 精通python,熟练使用js
  • 20k-40k·15薪 经验3-5年 / 本科
    移动互联网,文娱丨内容 / 上市公司 / 2000人以上
    工作职责: 1. 负责爬虫相关系统的开发维护等工作 2. 建设数据平台、自动化体系以及相关的爬虫基础设施开发 3. 以结果和价值为导向,利用科学的方法进行成果的指标衡量 职位要求: 1. 熟练使用Python或JavaScript进行开发;熟悉至少一种前端框架(Vue/React),熟悉Nodejs 2. 熟悉Linux系统与开发环境,熟悉多线程模型编程、网络编程,熟悉HTTP、TCP/UDP协议 3. 熟练掌握正则表达式,熟悉信息抓取和整合技术,从结构化和非结构化数据中获取信息 4. 自我管理能力强良好,崇尚团队合作,快速的学习能力,乐于分享与沟通 5. 熟悉Mysql、MongoDB、Redis、消息队列等常用服务组件优先 6. 有分布式爬虫经验优先
  • 20k-40k·14薪 经验3-5年 / 本科
    电商 / D轮及以上 / 500-2000人
    职位职责:1、参与爬虫系统的设计与开发,进行多平台信息的抓取和分析,改进和提升爬虫效率。2、研究各种反爬策略,快速解决各类技术疑难问题,实时监控爬虫进度和预警处理。3、协同大数据团队治理、解析、分析、应用结果。岗位要求:1、Python基础扎实,熟悉多进程、多线程编程。2、熟悉常见的爬虫框架Scrapy,Selenium等,对新的知识和技术有强烈热情。3、深入理解HTTP、以及各类登录认证的机制,能解决如图片验证码/滑块/账号限制/ip限制等问题。4、熟悉常见的反爬策略,有JS反爬、APP反爬、抓包分析、反爬策略探测、逆向等领域经验的优先。5、有强烈的责任心和团队合作精神,思路清晰、较好的沟通能力与技术学习能力。
  • 18k-35k 经验1-3年 / 本科
    旅游 / 上市公司 / 2000人以上
    工作职责: 1.负责分布式网络爬虫系统的设计与开发工作; 2.对多平台数据源(WEB/APP/H5/小程序等)进行数据采集及分析; 3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破; 4.设计数据采集策略,提升数据采集效率及质量。 任职资格: 1.计算机相关专业,本科及以上学历,有2年以上爬虫相关经验; 2.掌握至少一种开发语言Java/Python,具备良好的编码能力、扎实的数据结构知识 ; 3.熟悉TCP/IP,HTTP及相关网络协议; 4.了解各种Web前端技术,包括XHTML/XML/CSS/JavaScript/AJAX等; 5.有反爬相关问题处理经验,熟悉常用的爬虫技术及架构设计; 6.对分布式、多线程、缓存、消息队列等常用互联网技术有一定了解; 7.热爱技术开发,善于学习,善于团队协作,能积极主动地参与公司产品研发等相关工作; 8.熟悉移动端APP安全及逆向技术、图像识别技术、WebKit或其他浏览器引擎、JavaScript逆向技术,有相关经验者优先考虑。