• 15k-30k·14薪 经验不限 / 不限
    新零售 / 不需要融资 / 500-2000人
    岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
  • 30k-55k 经验3-5年 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责,解决业务痛点问题; 2、提升业务风险感知能力,结合具体场景,数据指标,主动发现问题并提出解决方案,对业务风控效果负责; 3、推动智能化产品落地,不断提升平台化能力,提高风控效率; 4、研究新的产品动向和前瞻探索,借鉴业界的新思路持续优化产品策略,使反爬处于行业领先水平。 职位要求: 1、本科及以上学历,责任心强,思维逻辑严谨,对数据敏感; 2、有大型互联网公司风控策略制定经验,从事过反爬虫、流量反作弊方向工作; 3、有互联网行业安全策略管理经验,包括但不限于风险发现、制定模型或策略、推动方案落地; 4、1年以上策略产品或数据分析工作经验;熟练掌握大数据分析工具使用,不限于sql/pyspark/flink等(加分项); 5、具备攻防思维,熟练掌握常见的反爬虫技术和数据安全风险(加分项)。
  • 7k-12k 经验不限 / 本科
    物联网 / 未融资 / 15-50人
    1、负责爬取HTML页面所需数据,并对数据进行清洗、解析、归档、输出等; 2、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等; 3、负责实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取,反爬虫策略研究,验证码识别等采集支撑服务建设;  5、参与公司业务平台的数据的挖掘和分析,协助进行产品改进。 任职资格 1. 本科以上,计算机或相关专业毕业,扎实的Python基础,熟悉多线程编程环境,熟悉常见开源框架; 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术; 3、熟悉Scrapy、feapder等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验; 4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究,如协议破解、模拟点击等;  5、熟悉代理IP池、Headers认证和Cookie等;
  • 8k-10k 经验3-5年 / 本科
    消费生活,医疗|健康 / 天使轮 / 500-2000人
    工作内容: 1.APP、网站数据爬取 2.数据分析 3.数学模型 4.建立数据清洗流程 任职要求: 1.技术扎实,必须本科计算机系或相关以上 2.擅长Python,了解分布式,多线程,正则表达式(regex) 3.自主学习能力,对各种新技术有热情,领导潜力 4.有独立完成完整APP项目的经验者会优先考虑
  • 8k-10k 经验3-5年 / 本科
    医疗丨健康 / 上市公司 / 150-500人
    工作内容: 1.APP、网站数据爬取 2.数据分析 3.数学模型 4.建立数据清洗流程 任职要求: 1.技术扎实,必须本科计算机系或相关以上 2.擅长Python,了解分布式,多线程,正则表达式(regex) 3.自主学习能力,对各种新技术有热情,领导潜力 4.有独立完成完整APP项目的经验者会优先考虑
  • 30k-60k 经验3-5年 / 本科
    企业服务 / 不需要融资 / 15-50人
    职位描述 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息,参与爬虫系统的建设与优化,满足各类业务数据需求; 2、负责分布式爬虫系统的建设,优化数据调度、抓取、解析、存储全栈流程; 3、帮助团队攻克各种爬虫技术难关,提升海量数据系统的抓取效果与性能。 职位要求 1、 本科及以上学历,2年以上爬虫抓取采集相关工作经验; 2、熟悉主流爬取技术及爬虫框架工具,如Selenium/Puppeteer/Scrapy/PhantomJS等; 3、熟悉Python/Java/Go/C++其中一种语言,具备扎实的编码能力; 4、熟悉常见反爬封禁策略,并具备相关的实战经验; 5、加分项:逆向、混淆、脱壳、分布式、数据分析、数据挖掘。
  • 15k-28k·14薪 经验5-10年 / 本科
    数据服务|咨询,人工智能服务,营销服务|咨询 / B轮 / 500-2000人
    岗位职责: 1.发挥创造性思维,用专业技术攻坚数据采集与应用难题; 2.用技术赋能数据采集,帮助数据产品经理稳靠把握数据情况,确保数据更新快、准、全; 3.设计搭建大规模分布式爬虫系统、大规模APP采集系统,以及其他相关服务系统; 4.分析开发效率瓶颈,利用devops手段,实现爬虫采集工具化、自动化、平台化,提高爬虫团队生产效率; 5.使用容器化技术,解决系统自动化部署及爬虫资源分配问题; 任职要求: 1.本科以上学历,计算机相关专业; 2.5年以上Linux 环境下常用语言(C/C++/JAVA/Python)开发经验; 3.熟悉操作系统(多线程、多进程)、计算机网络编程、数据结构与算法等基础知识,熟练使用常用 Linux 命令; 4.5年以上大规模网页爬虫开发经验,熟悉浏览器原理、前端 JS、AJAX; 5.深入了解前端JS反爬,能解决前端动态 JS 混淆问题; 6.深入了解非逆向、非侵入式手机APP采集方法; 7.熟悉了解容器化编排技术(swarm/k8s/mesos); 8.熟练使用一门以上脚本语言(Python/Javascript); 9.熟练使用一种以上的数据库(Mongodb/HBase/MySQL); 10.有前后端或大数据项目开发经验优先; 11.有分布式系统设计开发落地经验优先。
  • 25k-30k·13薪 经验3-5年 / 本科
    电商,医疗丨健康 / 上市公司 / 2000人以上
    岗位职责: 1、设计和搭建大规模分布式爬虫系统、大规模APP采集系统、以及其他相关服务系统; 2、协助数据产品经理全面掌握数据情况,确保数据及时、准确、全面更新; 3、分析开发效率瓶颈,应用devops手段,实现爬虫采集工具化、自动化、平台化,提高团队生产效率; 4、利用容器化技术,解决系统自动化部署及爬虫资源分配问题。 任职资格: 1、本科及以上学历,计算机或相关领域专业,熟练掌握操作系统(多线程、多进程)、计算机网络编程、数据结构与算法等基础知识; 2、4年以上的Linux环境下常用语言(C/C++/JAVA/Python)的开发经验,能够熟练使用常用的Linux命令; 3、3-5年以上的大规模网页爬虫开发经验,熟悉浏览器原理、前端JS、AJAX; 4、深入了解前端JS反爬的机制,并能够解决前端动态JS混淆问题; 深入了解非逆向、非侵入式手机APP采集方法; 5、熟悉并了解容器化编排技术(如swarm、k8s、mesos); 6、熟练使用一门或多门脚本语言(如Python、JavaScript); 7、熟练使用一种或多种数据库(如MongoDB、HBase、MySQL); 8、具有前后端或大数据项目开发经验者优先考虑; 9、具备分布式系统设计开发落地经验者优先。
  • 15k-25k 经验3-5年 / 不限
    工具,电商 / 不需要融资 / 15-50人
    岗位职责: 1、负责抖音/淘宝/拼多多/1688等热门电商平台的爬取工作,包括数据抓取和爬取链路优化,提升抓取能力; 2、负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设; 3、负责大规模文本、图像数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作; 任职要求: 1、三年以上大规模爬虫/反爬经验,熟悉HTTP协议/浏览器原理/前端JS/APP抓取; 2、有解决复杂的反爬限制实践经验, 能解决如图片验证码/滑块/账号限制/ip限制等问题,熟悉反爬虫、签名破解、验证码识别技术者优先; 3、熟悉app端数据抓取(有逆向、脱壳等经验),掌握Apktool、dex2jar、JD-GUI、frida、ida等工具,能独立完成主流电商平台和主流app软件大量级的数据抓取优先; 4、有电商数据爬虫经验优先;
  • 18k-35k·13薪 经验3-5年 / 本科
    旅游|出行 / D轮及以上 / 500-2000人
    岗位职责 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息; 2、研发爬虫系统,对自动爬取、数据提取的核心算法和性能效果调优; 3、负责爬虫可视化系统的后台监控、报警模块的开发; 4、优化爬虫算法,增加爬虫成功率,突破各种爬虫难点; 5、确保爬虫系统稳定性,降低系统成本; 岗位要求 1、本科及以上学历,计算机相关专业,3年以上爬虫开发经验; 2、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架; 3、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等; 4、熟练掌握 Python/Java/JavaScript 任意语言,Python 优先; 5、熟悉代理池、Cookie池搭建和使用以及账号登录认证。 加分项 实践过大型爬虫项目; 有知名项目贡献Commit经历; 有高质量的个人技术博客; 具备前端(App、Web)或后端开发能力;
  • 15k-25k 经验不限 / 本科
    居住服务 / A轮 / 50-150人
    岗位职责: 1、负责相关网站、App的爬虫设计和开发,定制实现批量采集,增量采集以及采集策略持续优化; 2、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗; 3、解决反爬疑难问题; 任职要求: 1、能够熟练使用Python或者Go等开发语言,了解网络爬虫开发原理,了解相关爬虫框架; 2、掌握HTML,JS,熟悉JS逆向;了解常见的反爬虫技术如文本混淆反爬虫、验证码等; 3、了解App逆向,反编译,抓包等。对于抖音、微信、小红书App、YouTube、Facebook至少有两种每天大数据量爬取的经验; 4、具备良好的沟通能力和团队协作能力。
  • 13k-25k 经验不限 / 大专
    移动互联网,企业服务 / 不需要融资 / 50-150人
    工作职责: 1.配合公司业务,负责设计和开发分布式网络爬虫系统; 2.负责多平台信息的数据采集、抽取、去重、分类、垃圾过滤、质量识别等工作; 3.关注数据质量,建立完整的数据获取、解析、入库和监控流程。 职位要求 1.大专及以上学历,3年及以上Python相关岗位工作经验; 2.熟悉Linux系统,熟悉Python语言,熟悉常用爬虫框架,如Scrapy等,并有实际项目经验; 3.熟悉JavaScript/xpath/Ajax等web知识, 熟悉WebDriver,phantomjs等工具; 4.掌握网页抓取原理及技术,了解基于Cookie的登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术; 5.熟悉mysql,redis,mongodb,ES等数据库,以及对应数据的抽取入库等; 6.熟悉整个爬虫的设计及实现流程,有从事网络爬虫、网页信息抽取开发经验,熟悉反爬虫技术,有分布式爬虫架构经验。
  • 15k-30k 经验3-5年 / 本科
    人工智能服务,数据服务|咨询 / 未融资 / 50-150人
    岗位职责: 1、负责多平台信息爬取和页面内容的提取分析,负责解决各类反爬机制; 2、编写抓取互联网爬虫代码,负责数据采集,参与需求分析和梳理,爬虫采集策略制定和实现; 3、负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提取抓取能力; 4、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量。 岗位要求: 1、3年及以上python爬虫经验,本科及以上学历,计算机相关专业; 2、熟悉掌握至少一种开源爬虫框架(scrapy、appium、selenium等); 3、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术,熟悉使用fiddler或其他抓包工具; 4、具有js逆向,app逆向实际解决经验。熟悉js hook原理,熟悉各种反爬风控常见手段; 5、具有团队合作精神,有责任感,对工作认真负责,有较强的协调和沟通能力。
  • 12k-20k 经验3-5年 / 大专
    IT技术服务|咨询 / 不需要融资 / 15-50人
    岗位描述: 1、分布式网络爬虫系统的设计及开发 2、互联网站、网页、链接的特征挖掘,进行网页抓取、数据提取、清洗、入库 3、负责爬虫核心算法的策略优化研究,充分利用资源,避免限制 4、优化搜索、匹配、抓取等关键程序的性能及效率 任职要求: 1、3年以上爬虫独立开发经验,熟练应用多线程技术 2、熟练使用正则表达式、css path、xpath等,能够从结构化的和非结构化的数据中获取信息 3、熟练使用MongoDB,Mysql,Redis数据库 4、精通一种开源爬虫框架,如scrapy、scrapy-redis、requests、selenium、puppeteer等 5、熟练使用docker,会部署容器化爬虫 6、熟悉至少一种消息队列
  • 11k-20k 经验3-5年 / 本科
    移动互联网,数据服务 / A轮 / 50-150人
    【工作职责】 1. 负责设计和开发爬虫系统,提取分析各种千形万态的平台页面内容; 2. 研究各种网站、链接的形态,发现它们的特点和规律; 3. 解决技术疑难问题,包括反爬**、反爬风控; 4. 搭建通用爬虫监控、消息推送分布式系统。 【任职要求】 1. 精通python、计算机网络,熟练使用多线程,熟悉常用爬虫框架; 2. 熟悉常用代理软件部署,底层实现逻辑; 3. 熟悉Linux操作、正则表达式,MySQL、MongoDB等常用数据库,了解各种Web前端技术; 4. 熟悉js逆向,混淆原理,js AST语法树,客户端常用签名算法等。熟悉移动端逆向或者PC端逆向更优(IOS Android Windows 二进制逆向; 5. 能够解决网络链路分析、流量识别、验证码识别、图像识别等问题; 6. 熟悉wireshark tcpdump等进行流量分析。 【盯链福利】 我们是90后年轻化团队,一线大厂背景管理团队,扁平化管理,团队氛围融洽。在盯潮,我们为您提供: 1.完善的薪资构成:固定月薪+年终奖金的收入结构,全年累计12-16个月月薪。 2.广阔的发展空间:科学的晋升发展通道,年度两次晋升机会, 3.文化建设:各类荣誉激励奖项、盯潮联盟日、盯潮图书角、入职周年礼; 4.年度旅行:面向全员的旅游基金; 5.节假日和贴心福利:带薪年假、半薪病假,免费饮料零食、年度体检、节日礼品红包、生日礼包、季度团建、节日活动。