• 15k-30k·14薪 经验不限 / 不限
    新零售 / 不需要融资 / 500-2000人
    岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
  • 8k-10k 经验3-5年 / 本科
    消费生活,医疗|健康 / 天使轮 / 500-2000人
    工作内容:  1.APP、网站数据爬取  2.数据分析  3.数学模型  4.建立数据清洗流程  任职要求:  1.技术扎实,必须本科计算机系或相关以上  2.擅长Python,了解分布式,多线程,正则表达式(regex)  3.自主学习能力,对各种新技术有热情,领导潜力  4.有独立完成完整APP项目的经验者会优先考虑
  • 30k-55k 经验3-5年 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责,解决业务痛点问题; 2、提升业务风险感知能力,结合具体场景,数据指标,主动发现问题并提出解决方案,对业务风控效果负责; 3、推动智能化产品落地,不断提升平台化能力,提高风控效率; 4、研究新的产品动向和前瞻探索,借鉴业界的新思路持续优化产品策略,使反爬处于行业领先水平。 职位要求: 1、本科及以上学历,责任心强,思维逻辑严谨,对数据敏感; 2、有大型互联网公司风控策略制定经验,从事过反爬虫、流量反作弊方向工作; 3、有互联网行业安全策略管理经验,包括但不限于风险发现、制定模型或策略、推动方案落地; 4、1年以上策略产品或数据分析工作经验;熟练掌握大数据分析工具使用,不限于sql/pyspark/flink等(加分项); 5、具备攻防思维,熟练掌握常见的反爬虫技术和数据安全风险(加分项)。
  • 7k-12k 经验不限 / 本科
    物联网 / 未融资 / 15-50人
    1、负责爬取HTML页面所需数据,并对数据进行清洗、解析、归档、输出等; 2、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等; 3、负责实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取,反爬虫策略研究,验证码识别等采集支撑服务建设;  5、参与公司业务平台的数据的挖掘和分析,协助进行产品改进。 任职资格 1. 本科以上,计算机或相关专业毕业,扎实的Python基础,熟悉多线程编程环境,熟悉常见开源框架; 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术; 3、熟悉Scrapy、feapder等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验; 4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究,如协议破解、模拟点击等;  5、熟悉代理IP池、Headers认证和Cookie等;
  • 8k-10k 经验3-5年 / 本科
    医疗丨健康 / 上市公司 / 150-500人
    工作内容: 1.APP、网站数据爬取 2.数据分析 3.数学模型 4.建立数据清洗流程 任职要求: 1.技术扎实,必须本科计算机系或相关以上 2.擅长Python,了解分布式,多线程,正则表达式(regex) 3.自主学习能力,对各种新技术有热情,领导潜力 4.有独立完成完整APP项目的经验者会优先考虑
  • 13k-18k·13薪 经验3-5年 / 大专
    移动互联网 / 未融资 / 50-150人
    任职要求: 1. 大专及以上学历,计算机相关专业,3年以上相关工作经验; 2. 熟悉使用Python语言,精通常见开源爬虫框架; 3.熟悉使用Java语言,熟悉springmvc,springcloud,能够开发微服务化接口; 4. 熟悉常用Linux命令,能够在Linux环境下开发部署测试; 5. 熟练使用MySQL,Redis,Kafka等数据库工具; 6. 熟练使用正则,xpath等解析技术,写出高覆盖率正则属加分项; 7. 熟悉JS逆向,有成功破解较复杂JS混淆或点选验证码经验者优先,熟悉APP逆向、渲染、拦截等属加分项; 8. 精通 selenium、drissionPage 网页自动化抓取技术; 9. 熟悉Charles、fiddler等抓包工具,精通网页抓取原理及技术; 10. 有耐心有责任心,具备良好的学习能力、沟通能力以及团队意识。
  • 5k-10k 经验在校/应届 / 本科
    IT技术服务|咨询 / 不需要融资 / 50-150人
    工作职责: 1.负责规划、设计和开发爬虫相关系统,进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线,完成实时数据与离线数据的爬取与对接。 任职要求: 1.精通Python语言\MYSQL,熟练使用常用模块,使用过Flask web框架; 2.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理,深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理,有具体工程经验,如 scrapy / pyspider等 5.了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath等 6.对常见各类反爬方式(如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等)有一定解决经验
  • 18k-25k 经验不限 / 大专
    工具,电商 / 不需要融资 / 15-50人
    岗位职责: 1、负责抖音/淘宝/拼多多/1688等热门电商平台的爬取工作,包括数据抓取和爬取链路优化,提升抓取能力; 2、负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设; 3、负责大规模文本、图像数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作。 任职要求: 1、三年以上大规模爬虫/反爬经验,熟悉HTTP协议/浏览器原理/前端JS/APP抓取; 2、有解决复杂的反爬限制实践经验, 能解决如图片验证码/滑块/账号限制/ip限制等问题,熟悉反爬虫、签名破解、验证码识别技术者优先; 3、熟悉app端数据抓取(有逆向、脱壳等经验),掌握Apktool、dex2jar、JD-GUI、frida、ida等工具,能独立完成主流电商平台和主流app软件大量级的数据抓取优先; 4、有电商数据爬虫经验优先。
  • 18k-22k·13薪 经验5-10年 / 本科
    数据服务 / 不需要融资 / 50-150人
    岗位名称:爬虫工程师 岗位职责: 1、负责爬虫、逆向相关技术的研究和实现工作,比如APP逆向破解、小程序破解、分布式爬虫、验证码破解、反爬机制的研究等等。 2、设计爬虫策略和防屏蔽规则,提升抓取的效率和质量。 3、负责公司爬虫的核心算法以及策略优化,熟悉采集系统的调度策略。 4、负责现有部分爬虫的完善、维护工作,实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。 5、能独立解决实际开发过程碰到的各类问题。 任职要求: 1、本科及以上学历,计算机相关专业; 2、至少3年及以上爬虫逆向经验; 3、精通Python/Java语言至少一种,具有扎实的计算机基础和编程能力,熟悉常见的算法与数据结构,具有优秀的逻辑思维能力; 4、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 5、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究; 6、熟悉Mysql,redis,有过数据库调优和海量数据存储经验优先; 7、熟悉常用网络协议、数据存储和数据处理技术; 8、熟悉linux系统环境、命令,shell、python脚本编写; 9、有电商网站、电商APP采集经验优先; 10、对爬虫技术有专研精神;
  • 60k-90k 经验5-10年 / 本科
    企业服务 / 不需要融资 / 150-500人
    职位描述: • 负责分布式网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)、技术选型 • 研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点攻克,提升网页抓取的效率和质量 • 把握网络爬虫核心技术研究方向,研究优化策略,提升爬虫系统的稳定性、可扩展性 • 管理并带领爬虫团队完成社交媒体数据(文本、视频、音频和图像)开发工作 职位要求: • 深度参与过至少一个分布式网络爬虫系统的架构设计; • 良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验 • 精通爬虫和反爬技术,精通底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术 • 熟悉分布式系统、多线程,精通scrapy框架以及原理,有开发爬虫框架经验 • 对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验 • 有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力,善于跨团队合作 • 良好的逻辑能力,善于把复杂问题梳理清晰,责任安排到人,完成情况监督到位
  • 18k-35k 经验3-5年 / 本科
    移动互联网,数据服务 / C轮 / 50-150人
    岗位薪资open,欢迎沟通~ 职位描述: 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息,参与爬虫系统的建设与优化,满足各类业务数据需求; 2、负责分布式爬虫系统的建设,优化数据调度、抓取、解析、存储全栈流程; 3、帮助团队攻克各种爬虫技术难关,提升海量数据系统的抓取效果与性能。 职位要求: 1、本科及以上学历,3年以上爬虫抓取采集相关工作经验; 2、熟悉主流爬取技术及爬虫框架工具; 3、具备扎实的编码能力; 4、熟悉常见反爬封禁策略,并具备相关的实战经验; 5、加分项:逆向、混淆、脱壳、分布式、数据分析、数据挖掘。
  • 7k-13k 经验1-3年 / 大专
    科技金融,人工智能服务,数据服务|咨询 / 不需要融资 / 15-50人
    (一)岗位描述: 1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析 2、负责信息抽取、数据清洗等研发和优化工作 3、负责抓取数据的深度提取和挖掘 4、参与爬虫核心算法的策略优化研究,提升网页抓取的效率和质量。 (二)任职要求: 1、熟悉linux平台开发,精通Python 2、精通网页、APP抓取原理及技术,精通正则表达式,从结构化的和非结构化的数据中获取信息 3、有分布式网络爬虫开发经验,熟悉Scrapy\PySpider等采集框架,掌握验证码识别技术、Ajax网页采集技术以及爬虫高并发技术,流式处理经验者优先; 4、熟悉Mysql,有过数据库调优和海量数据存储经验优先 5、学习能力强,有较好的沟通能力,能迅速融入团队
  • 7k-13k 经验不限 / 本科
    专业服务|咨询,数据服务|咨询,软件服务|咨询 / 未融资 / 少于15人
    公司简介: 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干,工程师远程办公,自由承接项目,薪资范围约为时薪200元,日薪600元,周薪4000元,月薪10000-20000元,具体与承接的项目有关。 招聘需求: 爬虫工程师 岗位职责:采集客户指定的网页/app/小程序/公众号等公开可见数据,编写客户指定的采集程序、源代码。 岗位要求:熟悉常见反爬封禁策略,并具备相关的实战经验,具有js逆向、app逆向、混淆、脱壳等应对能力。
  • 8k-13k·14薪 经验1-3年 / 本科
    IT技术服务|咨询,数据服务|咨询 / A轮 / 50-150人
    职位描述: 1、负责网络爬虫系统的设计与开发; 2、负责和业务沟通抓取需求,满足业务的发展需要; 3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作; 任职要求: 1、计算机相关专业本科及以上学历; 2、精通网页抓取原理及技术、正则表达式、动态数据抓取、防屏蔽等关键技术; 3、Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis 4、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于分析问题/解决问题。
  • 15k-25k 经验1-3年 / 本科
    软件服务|咨询,IT技术服务|咨询,营销服务|咨询 / D轮及以上 / 150-500人
    大模型数据采集与使用工程师(3名,初级,11月底前入职) 职责: 1、负责设计和实施数据爬取方案,包括各种攻关如爬虫验证码破解、模拟登录、数据签名解签、请求包解析等; 2、负责数据存储、管理,包括mysql、pgsql、ES、hadoop/spark、arangodb等; 3、负责使用大模型为业务场景赋能,挖掘大模型的潜能,使用场景知识+大模型为业务提效; 职位要求: 1、具有爬虫工作经验,熟悉http请求、加密解密签名基础理论、用户授权等技术,有使用深度学习算法模型经验优先; 2、熟练掌握Python、SQL语言,掌握JAVA或GO是加分项; 3、有使用过大模型并对大模型的prompt有调优经验者优先; 4、具备良好的逻辑思维和问题分析解决能力; 5、具备良好的沟通和团队合作能力,能够与其他团队合作完成项目。