• 30k-50k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产品研发团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉Web安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
  • 30k-50k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产品研发团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉Web安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
  • 9k-15k 经验1-3年 / 本科
    硬件 / 不需要融资 / 15-50人
    1.***本科级以上学历,计算机相关专业; 2.具备1年及以上软件开发相关经验; 3.精通winform、WEB后端及开发.NET开发架构;精通多线程开发;熟悉网络编程,精通TCP/IP、RTSP、SIP、HTTP、FTP一种以上; 4.有嵌入式Linux平台开发经验,熟悉C或QT跨平台开发技术; 5.熟悉关系数据库系统Oracle、MySQL、SQL SERVER,精通标准SQL语言; 6.熟悉面向对象设计、软件开发流程、设计模式、体系结构; 7.具备编写需求、设计、使用说明等常见软件工程文档能力; 8.具备良好的沟通表达能力、责任心和团队协作能力; 9.有MES、WMS开发经验或熟悉电子制造业生产工艺流程者优先; 10.薪资范围,根据面试情况来确定。
  • 12k-16k 经验3-5年 / 本科
    数据服务|咨询 / A轮 / 50-150人
    工作职责:  负责设计、开发和维护高效、稳定的数据爬虫系统;  根据业务需求,制定数据抓取策略,处理反爬机制、验证码识别、IP代理等问题;  建立数据清洗、结构化处理及存储流程,保证数据质量;  持续优化爬虫性能,提升抓取速度与稳定性;  与数据分析、产品等团队紧密协作,理解数据需求,快速响应数据抓取任务;  关注行业动态,研究新的爬取技术和反爬手段,持续提升系统能力。 任职要求:  熟练掌握至少一种编程语言(Python优先,如:Scrapy、Selenium、Playwright、Requests 等常用库);  熟悉常见网站结构、前端技术(HTML、CSS、JavaScript),能够快速分析网页数据;  熟悉常用的反爬技术及应对手段(如IP代理池、UA池、验证码识别、动态渲染处理等);  熟悉异步爬虫、分布式爬虫开发,有 Scrapy-Redis / Playwright + 分布式实践经验者优先;  熟悉常用数据库(如MySQL、MongoDB)及缓存系统(如Redis);  有大型数据采集、数据清洗、数据处理项目经验优先;  具备良好的编码习惯和文档意识,责任心强,乐于学习新技术。 加分项:  有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验;  有云原生(如 Kubernetes、Docker)、大数据(如Spark、Kafka)相关技术栈经验;  有参与过爬虫平台化、数据中台建设项目经验;  有算法基础,了解简单的图像识别(如验证码OCR识别)优先。
  • 5k-9k 经验1-3年 / 大专
    电商,旅游 / 未融资 / 150-500人
    1.负责垂直领域的定向爬虫引擎开发优化工作 2.负责HTTP、AJAX等各类网络请求分析 3.通过爬虫定向抓取数据和解析、抽取、去重、清洗和存储 4.根据应用场景封装服务接口给内部团队调用 5.负责反封禁的研究提升爬虫抓取效率和质量 任职要求 1、深入理解网络数据抓取的工作原理与工作流程; 2、熟悉HTML、DOM、XPATH,熟练使用正则表达式; 3、擅长分析HTTP协议,能够解析、模拟HTTP传输的报文 4、掌握HTTP相关调试、分析工具,能够对网页、APP数据抓包(有手机APP脱壳、反编译能力优先考虑) 5、精通Python/C#/Java等编程; 6、一年以上大规模网页爬虫开发经验,熟练使用关系数据库(如MySQL, MSSQLsql)或NoSql数据库(如Mongodb及Redis); 7、具备独立的破解各类网站封禁及各类验证码的能力,有多线程、分布式、网络数据抓取及处理经验优先; 8、熟练使用开源技术以及框架(Nutch、Scrapy、Heritrix等)者优先; 9、熟悉Unix/Linux操作系统者优先; 10、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力,抗压能力,目标执行力,对挑战性问题充满激情。  
  • 2k-3k 经验在校/应届 / 本科
    移动互联网 / 不需要融资 / 150-500人
    岗位职责 使用C#语言,开发爬虫客户端,实现分布式爬虫。 任职要求 1,有C#培训经历,自己独立完成练习项目 2 ,最好有ce fs ha rp,chrom e 开发经验 3,学习能力强,工作严谨 4 ,有2 ~3个月稳定的实习时间
  • 11k-14k 经验5-10年 / 本科
    数据服务|咨询 / 未融资 / 150-500人
    岗位职责: 1.负责企业信息爬取和页面内容的提取分析,负责各类反爬机制; 2.研究爬虫策略和防频率规则; 3.负责协助项目经理进行技术评测,bug处理,代码开发; 4.负责网站数据库、栏目、程序模块的设计与开发; 5.负责根据公司要求进行crm系统迭代开发; 6.熟悉工商信息网、企查查、爱企查其中之一平台的API接口开发与维护; 任职资格: 1、本科及以上学历,有5年以上python爬虫工作经验 2、良好的代码习惯,结构清晰、命名规范、逻辑性强、代码冗余率低; 3、熟悉Mysql,有较为熟练地掌握mysql语言及编写存储过程、触发器等数据库开发的能力; 福利待遇: 带薪年假 每年调薪 五险一金 福利体检 节日福利 年终绩效 团建旅游 文体协会 季度之星 内推奖励 园区食堂 周年礼品 学历补贴:在职研补贴5万学费 工作时间:8:30-18:00,午休12:00-14:00
  • 12k-16k 经验1-3年 / 本科
    移动互联网,电商 / 不需要融资 / 15-50人
    岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
  • 12k-16k 经验1-3年 / 本科
    移动互联网,电商 / 不需要融资 / 15-50人
    岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
  • 8k-12k 经验1-3年 / 本科
    金融,数据服务 / A轮 / 500-2000人
    工作职责: 1、数据源管理:负责公司数据源的发现、评估、接入、分类和维护工作,建立数据源档案。进行市场数据源的调研、收集和测试,拓展获取渠道。 2、爬虫开发配置:在采集系统中使用Groovy等脚本语言编写网络爬虫脚本,实现数据源采集。 3、任务运维:负责爬虫任务的日常监控、维护和故障排查,确保数据采集的及时性和准确性。 4、文档编写:撰写数据采集流程、配置模板文档和运维手册。 任职要求: 1、熟悉网页前端技术(HTML/CSS/JavaScript),能使用开发者工具进行元素定位和数据提取。 2、具备Groovy等脚本语言的编写能力,熟悉WebMagic爬虫框架,能够进行任务配置和自动化。 3、了解HTTP/HTTPS协议的基本原理。 4、积极好学,有自驱力,对数据和技术有好奇心,主动学习并解决问题。 5、责任心强,对源数据质量和任务稳定性负责。 6、具备良好的沟通能力,能与其他团队有效协作。 加分项: 1、有数据中心、大数据或数据中台相关业务经验,理解数据采集在业务中的价值。 2、接触过常用的数据采集平台或调度系统,有实际的网络爬虫项目经验。 3、熟练掌握正则表达式、XPath、JSON等数据解析方法。
  • 18k-30k 经验3-5年 / 大专
    / 不需要融资 / 150-500人
    【职位描述】 1. 负责设计开发针对主流海外电商平台的大规模数据采集系统,支持商品信息、价格监控、竞品分析等业务需求。 2. 构建和维护分布式浏览器集群,实现千级并发的稳定数据抓取,处理复杂的SPA应用和动态内容渲染。 3. 研究海外电商平台的反爬机制(如Cloudflare、PerimeterX、DataDome),制定针对性的反反爬策略,包括设备指纹伪造、TLS指纹处理、行为模拟等。 4. 确保数据采集符合GDPR、CCPA等国际数据保**规,处理多语言、多货币、多时区的复杂数据场景。 5. 优化浏览器资源使用,实现成本可控的大规模部署,包括资源池管理、任务调度优化、异常恢复机制等。 【任职要求】 1. 3年以上海外电商爬虫经验,具备至少5个主流海外电商平台的数据采集项目经验,深度了解各平台的技术架构和反爬策略。 2. 大规模浏览器自动化经验:有管理500+浏览器实例的实战经验,熟练掌握Playwright、Puppeteer、Selenium Grid等工具的集群化部署。 3. 精通现代反爬对抗技术:浏览器指纹伪造(Canvas、WebGL、Audio等)、TLS/JA3指纹处理和规避、验证码自动化处理(reCAPTCHA、hCaptcha、Funcaptcha)、WAF绕过策略(Cloudflare 5s盾、BotFight Mode)。 4. 编程语言:精通Python,熟悉JavaScript/TypeScript(用于浏览器脚本开发)。 5. 框架和工具:熟练使用浏览器自动化框架(Playwright、Puppeteer、Selenium 4.0+)、代理管理(住宅代理、数据中心代理轮换策略)、容器化部署(Docker、Kubernetes环境下的浏览器集群管理)。 6. 分布式系统经验:熟悉Redis、RabbitMQ、Kafka等中间件,有构建分布式任务调度系统经验。 7. 独立完成过至少3个海外电商大型项目,单项目日均数据量100万+条,涉及多平台、多地区的复杂数据采集需求。 8. 成本控制能力:有控制单条数据采集成本的实战经验,熟悉云服务器成本优化策略。 【加分项】 1. 移动端数据采集:Android/iOS App数据采集经验,熟悉Frida、Xposed等Hook技术。 2. 协议层面突破:GraphQL API逆向分析、gRPC/protobuf协议解析、WebSocket实时数据采集。 3. AI辅助技术:机器学习模型应用于验证码识别、异常检测和自动化问题诊断、智能化反爬策略调整。 4. 海外电商业务理解:熟悉跨境电商运营模式、了解各平台的商业规则和数据价值点。
  • 35k-70k·15薪 经验3-5年 / 本科
    金融,移动互联网 / B轮 / 150-500人
    工作职责 负责 X / Twitter等平台相关数据的采集与处理,包括用户数据、推文、互动数据等; 搭建高效、稳定的爬虫系统,解决登录、接口调用、反爬机制等难点; 优化数据采集流程,保障采集结果的完整性与实时性; 对采集数据进行清洗、存储和结构化处理,建立高可用数据接口; 与数据分析、产品团队合作,提供高质量的海外社交数据支持。 任职要求 本科及以上学历,计算机相关专业优先(qs前200的本科毕业); 3 年以上 Web 爬虫 / 数据采集 相关经验; 精通 Python,熟悉 Scrapy / Requests / Selenium / Playwright 等爬虫框架; 熟悉 代理池、分布式爬虫、反爬机制应对; 熟悉 MySQL / Redis / Kafka / Elasticsearch 等常见数据库与中间件; 有 海外社交平台(X / Twitter、Reddit、Telegram 等)爬虫经验 者优先; 注重代码规范,能独立解决复杂采集与反爬问题。 工作地: 上海/香港(可沟通)
  • 18k-25k 经验3-5年 / 本科
    企业服务 / 不需要融资 / 15-50人
    1.负责公司旗下大数据平台数据采集,入库 2.攻破各种反爬策略,快速解决各类技术疑难问题,建设反爬对抗组件库 3.实时监控爬虫的进度和警报反馈
  • 10k-15k 经验3-5年 / 大专
    信息安全,数据服务 / 未融资 / 50-150人
    岗位职责:  1. 基于现有框架平台进行功能开发、升级,迭代;  2. 对已经运作的产品或项目运作情况的跟踪; 3. 整理用户或客户对项目的需求,制定调整方案;  4. 确保项目目标的实现,领导项目团队准时、优质地完成全部工作(项目&产品研发);  5. 完成技术总监安排的开发任务;  6. 完成项目的实施培训运维。  任职资格:  1.中级3-5年,高级5-10年.Net开发经验,熟悉B/S,具备制造行业软件开发背景(MOM/MES/WMS/SCADA)优先;  2. 计算机相关专业;  3. 精通.Net Core开发,C#语言,熟悉面向对象编程和设计模式;  4. 精通PL/SQL开发,了解分布式事务和Mssql性能优化;  5. 精通EntityFramework Core,了解主流ORM原理和EF性能优化;  6. 精通分层架构、领域模型、多线程和并发,具有较强的学习能力;  7. 熟练掌握HTML、CSS、JavaScript、Vue或React或Angular(任意一种)、等WEB技术;  8. 具有良好的编程风格,有多层结构的开发经验;  9. 诚实、正直、客观,善于沟通,具有敬业精神,有团队意识
  • 8k-13k·13薪 经验3-5年 / 大专
    硬件,工具 / D轮及以上 / 500-2000人
    岗位职责: 1、负责项目中各个模块或功能的后端代码实现; 2、根据开发规范与流程独立完成模块的设计、编码、测试以及相关文档; 3、参与开发过程中的需求分析和系统设计工作; 4、参与产品的维护和升级工作,以及新产品的开发; 5、负责.NET服务器(dotnet core),IIS,RabbitMQ等的部署和维护。 任职要求: 1、精通 C# 语言和dotnet Core;精通MVC和WebAPI,熟悉常用ORM框架优先; 2、熟悉MySql、SQL SERVER数据库,并掌握数据库设计优化与常用 设计技巧; 3、熟悉常用消息队列RabbitMQ,缓存服务,或有Socket开发经验等;或者熟悉Windows操作系统的配置,尤其精通IIS的配置与部署优先; 4、三年以上互联网公司工作经验,参与过公司核心产品研发; 5、思维清晰,善于推理和学习,对新技术、新业务有强烈的好奇心和持续钻研的热情; 6、具有较强的责任感,诚实、守信、客观,具有良好的团队合作精神。
展开