职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产品研发团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉Web安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产品研发团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉Web安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

Android/iOS逆向工程师（爬虫资深工程师） 职责描述： 1.负责主流APP(Android或iOS) 应用的逆向工作； 2.负责 APP 的数据获取链路策略制定与优化，包括 Android/iOS APP 反编译、脱壳、关键算法移植等； 3.负责手机群控采集数据; 4.负责解决各类APP端采集技术疑难问题，形成良好的研发氛围，提升团队整体技术水平； 5.负责APP采集新应用及新技术的研究，提升开发及采集效率、降低人力成本； 6.参与设计和开发APP数据的爬取、调度、监控、自动化运行等； 任职要求： 1.计算机相关专业本科及以上学历，3年及以上研发经验，代码风格良好。 2.精通APP逆向分析（android或者iOS任一平台），脱壳、反编译及参数加密破解，反调试；精通任一编程语言。 3.具备丰富的逆向工程经验，有成功逆向案例如头条、抖音、知乎、微信等；  4.熟悉抓包工具，加解密算法，反编译工具（xposed，frida，ida，jeb）等，掌握ARM汇编，smali字节码; 5.具有强烈的责任心，良好的沟通、学习能力，有较强的团队合作意识。 6.加分项：参与过大规模数据采集项目, 数据清洗，了解机器学习流程。

负责爬虫策略与方案制定，爬虫系统架构设计与开发； 负责网站、APP等大规模文本、图片数据抓取，爬虫核心算法优化，提升爬虫效率和质量； 进行多平台信息分析，参与企业数据建设。 任职要求： ***本科以上学历，3年以上开发经验（爬虫），计算机相关专业优先； 有过爬虫平台化建设经验（0-1） 优先； 至少熟悉并使用过一种主流爬虫架构，如Scrapy、Gocolly、Webmagic等；有分布式爬虫或熟悉app逆向、反编译经验者优先； 熟练掌握Python/Go/JavaScript等至少一种语言；熟练使用Go语言者优先； 熟悉HTTP、TCP等网络协议，精通httpClientjSoup/xpath/正则表达式/验证码加密处理/代理池等爬虫相关技术；掌握fiddler、charles等抓包工具； 熟悉Mysql、Nosal数据库设计，熟悉Redis技术和ElasticSearch;了解Hadoop、HBase、HDFS、Kafka等大数据相关知识。

福利方面: 一日三餐，无限饮料零食，OKR 主导，朝 10 晚 8，不卷不舔，15 薪； 1.公司 1.5 公里内租房每个月 1000 房补 2.免费 3 餐，贴心，不限量零食，咖啡，饮料；定期奶茶、水果捞、果切三选一 3.10 天年假起步，之后每年增长一天，入职立刻放出 5 天！每年 5 天带薪病假，带薪病假不需要开证明； 4.全额五险一金，年度体检，补充医疗，意外险，关心你的健康； 5.年底 13 薪，2.5 个月年终奖起步，上限不限 工作职责： 岗位职责 1. 遵循robots协议，爬取互联网上允许搜索爬虫采集的公开信息，参与爬虫系统的建设与优化 2. 负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程 任职资格： 岗位要求 1. 熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等 2. 熟悉常见反爬封禁策略，并具备相关的实战经验 3. 熟悉逆向、混淆、脱壳、分布式、数据分析、数据挖掘等相关技术 4. 具备大规模全网内容分布式爬取的实战经验

工作职责：  负责设计、开发和维护高效、稳定的数据爬虫系统；  根据业务需求，制定数据抓取策略，处理反爬机制、验证码识别、IP代理等问题；  建立数据清洗、结构化处理及存储流程，保证数据质量；  持续优化爬虫性能，提升抓取速度与稳定性；  与数据分析、产品等团队紧密协作，理解数据需求，快速响应数据抓取任务；  关注行业动态，研究新的爬取技术和反爬手段，持续提升系统能力。 任职要求：  熟练掌握至少一种编程语言（Python优先，如：Scrapy、Selenium、Playwright、Requests 等常用库）；  熟悉常见网站结构、前端技术（HTML、CSS、JavaScript），能够快速分析网页数据；  熟悉常用的反爬技术及应对手段（如IP代理池、UA池、验证码识别、动态渲染处理等）；  熟悉异步爬虫、分布式爬虫开发，有 Scrapy-Redis / Playwright + 分布式实践经验者优先；  熟悉常用数据库（如MySQL、MongoDB）及缓存系统（如Redis）；  有大型数据采集、数据清洗、数据处理项目经验优先；  具备良好的编码习惯和文档意识，责任心强，乐于学习新技术。 加分项：  有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验；  有云原生（如 Kubernetes、Docker）、大数据（如Spark、Kafka）相关技术栈经验；  有参与过爬虫平台化、数据中台建设项目经验；  有算法基础，了解简单的图像识别（如验证码OCR识别）优先。

岗位职责： 1.负责企业信息爬取和页面内容的提取分析，负责各类反爬机制； 2.研究爬虫策略和防频率规则； 3.负责协助项目经理进行技术评测，bug处理，代码开发； 4.负责网站数据库、栏目、程序模块的设计与开发； 5.负责根据公司要求进行crm系统迭代开发； 6.熟悉工商信息网、企查查、爱企查其中之一平台的API接口开发与维护； 任职资格： 1、本科及以上学历，有5年以上python爬虫工作经验 2、良好的代码习惯，结构清晰、命名规范、逻辑性强、代码冗余率低； 3、熟悉Mysql，有较为熟练地掌握mysql语言及编写存储过程、触发器等数据库开发的能力； 福利待遇： 带薪年假 每年调薪 五险一金 福利体检 节日福利 年终绩效 团建旅游 文体协会 季度之星 内推奖励 园区食堂 周年礼品 学历补贴：在职研补贴5万学费 工作时间:8:30-18:00，午休12:00-14:00

岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP，具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型，能使用抓包工具（如 Charles、Fiddler）分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发，掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架，了解分布式爬虫框架（如 Scrapy-Redis） 2. 经验要求 ● 1 年以上爬虫开发经验，有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术（HTML/CSS/JavaScript），能逆向分析动态渲染页面 ● 熟悉常见反爬措施（如 JS 混淆、验证码识别、IP 限频），具备实战对抗经验

岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP，具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型，能使用抓包工具（如 Charles、Fiddler）分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发，掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架，了解分布式爬虫框架（如 Scrapy-Redis） 2. 经验要求 ● 1 年以上爬虫开发经验，有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术（HTML/CSS/JavaScript），能逆向分析动态渲染页面 ● 熟悉常见反爬措施（如 JS 混淆、验证码识别、IP 限频），具备实战对抗经验

工作职责： 1、数据源管理：负责公司数据源的发现、评估、接入、分类和维护工作，建立数据源档案。进行市场数据源的调研、收集和测试，拓展获取渠道。 2、爬虫开发配置：在采集系统中使用Groovy等脚本语言编写网络爬虫脚本，实现数据源采集。 3、任务运维：负责爬虫任务的日常监控、维护和故障排查，确保数据采集的及时性和准确性。 4、文档编写：撰写数据采集流程、配置模板文档和运维手册。 任职要求： 1、熟悉网页前端技术（HTML/CSS/JavaScript），能使用开发者工具进行元素定位和数据提取。 2、具备Groovy等脚本语言的编写能力，熟悉WebMagic爬虫框架，能够进行任务配置和自动化。 3、了解HTTP/HTTPS协议的基本原理。 4、积极好学，有自驱力，对数据和技术有好奇心，主动学习并解决问题。 5、责任心强，对源数据质量和任务稳定性负责。 6、具备良好的沟通能力，能与其他团队有效协作。 加分项： 1、有数据中心、大数据或数据中台相关业务经验，理解数据采集在业务中的价值。 2、接触过常用的数据采集平台或调度系统，有实际的网络爬虫项目经验。 3、熟练掌握正则表达式、XPath、JSON等数据解析方法。

【职位描述】 1. 负责设计开发针对主流海外电商平台的大规模数据采集系统，支持商品信息、价格监控、竞品分析等业务需求。 2. 构建和维护分布式浏览器集群，实现千级并发的稳定数据抓取，处理复杂的SPA应用和动态内容渲染。 3. 研究海外电商平台的反爬机制（如Cloudflare、PerimeterX、DataDome），制定针对性的反反爬策略，包括设备指纹伪造、TLS指纹处理、行为模拟等。 4. 确保数据采集符合GDPR、CCPA等国际数据保**规，处理多语言、多货币、多时区的复杂数据场景。 5. 优化浏览器资源使用，实现成本可控的大规模部署，包括资源池管理、任务调度优化、异常恢复机制等。 【任职要求】 1. 3年以上海外电商爬虫经验，具备至少5个主流海外电商平台的数据采集项目经验，深度了解各平台的技术架构和反爬策略。 2. 大规模浏览器自动化经验：有管理500+浏览器实例的实战经验，熟练掌握Playwright、Puppeteer、Selenium Grid等工具的集群化部署。 3. 精通现代反爬对抗技术：浏览器指纹伪造（Canvas、WebGL、Audio等）、TLS/JA3指纹处理和规避、验证码自动化处理（reCAPTCHA、hCaptcha、Funcaptcha）、WAF绕过策略（Cloudflare 5s盾、BotFight Mode）。 4. 编程语言：精通Python，熟悉JavaScript/TypeScript（用于浏览器脚本开发）。 5. 框架和工具：熟练使用浏览器自动化框架（Playwright、Puppeteer、Selenium 4.0+）、代理管理（住宅代理、数据中心代理轮换策略）、容器化部署（Docker、Kubernetes环境下的浏览器集群管理）。 6. 分布式系统经验：熟悉Redis、RabbitMQ、Kafka等中间件，有构建分布式任务调度系统经验。 7. 独立完成过至少3个海外电商大型项目，单项目日均数据量100万+条，涉及多平台、多地区的复杂数据采集需求。 8. 成本控制能力：有控制单条数据采集成本的实战经验，熟悉云服务器成本优化策略。 【加分项】 1. 移动端数据采集：Android/iOS App数据采集经验，熟悉Frida、Xposed等Hook技术。 2. 协议层面突破：GraphQL API逆向分析、gRPC/protobuf协议解析、WebSocket实时数据采集。 3. AI辅助技术：机器学习模型应用于验证码识别、异常检测和自动化问题诊断、智能化反爬策略调整。 4. 海外电商业务理解：熟悉跨境电商运营模式、了解各平台的商业规则和数据价值点。

1.负责垂直领域的定向爬虫引擎开发优化工作 2.负责HTTP、AJAX等各类网络请求分析 3.通过爬虫定向抓取数据和解析、抽取、去重、清洗和存储 4.根据应用场景封装服务接口给内部团队调用 5.负责反封禁的研究提升爬虫抓取效率和质量 任职要求 1、深入理解网络数据抓取的工作原理与工作流程； 2、熟悉HTML、DOM、XPATH，熟练使用正则表达式； 3、擅长分析HTTP协议，能够解析、模拟HTTP传输的报文 4、掌握HTTP相关调试、分析工具，能够对网页、APP数据抓包（有手机APP脱壳、反编译能力优先考虑） 5、精通Python/C#/Java等编程； 6、一年以上大规模网页爬虫开发经验，熟练使用关系数据库(如MySQL, MSSQLsql)或NoSql数据库(如Mongodb及Redis)； 7、具备独立的破解各类网站封禁及各类验证码的能力，有多线程、分布式、网络数据抓取及处理经验优先； 8、熟练使用开源技术以及框架（Nutch、Scrapy、Heritrix等）者优先； 9、熟悉Unix/Linux操作系统者优先； 10、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力，抗压能力，目标执行力，对挑战性问题充满激情。  

工作职责 负责 X / Twitter等平台相关数据的采集与处理，包括用户数据、推文、互动数据等； 搭建高效、稳定的爬虫系统，解决登录、接口调用、反爬机制等难点； 优化数据采集流程，保障采集结果的完整性与实时性； 对采集数据进行清洗、存储和结构化处理，建立高可用数据接口； 与数据分析、产品团队合作，提供高质量的海外社交数据支持。 任职要求 本科及以上学历，计算机相关专业优先（qs前200的本科毕业）； 3 年以上 Web 爬虫 / 数据采集 相关经验； 精通 Python，熟悉 Scrapy / Requests / Selenium / Playwright 等爬虫框架； 熟悉 代理池、分布式爬虫、反爬机制应对； 熟悉 MySQL / Redis / Kafka / Elasticsearch 等常见数据库与中间件； 有 海外社交平台（X / Twitter、Reddit、Telegram 等）爬虫经验 者优先； 注重代码规范，能独立解决复杂采集与反爬问题。 工作地： 上海/香港（可沟通）

1.负责公司旗下大数据平台数据采集，入库 2.攻破各种反爬策略，快速解决各类技术疑难问题，建设反爬对抗组件库 3.实时监控爬虫的进度和警报反馈

岗位职责： 1、负责数据的采集与爬取、解析处理、入库等数据日常工作； 2、参与爬虫系统的数据抓取架构设计与开发 3、设计爬取、调度和抽取算法，优化系统 岗位要求: 1、熟练掌握python语言，有使用python写过爬虫经验者更佳； 2、了解scrapy或其他爬虫框架，熟悉网页抓取原理； 3、熟悉正则表达式、xpath（或Beautiful Soup4），能够从结构化和非结构化的数据中获取信息； 4、熟悉Linux，熟悉至少一种主流数据库，如Mysql、MongoDB、redis等； 5、良好的沟通和团队合作能力，主动的学习意愿和良好的学习习惯，认真负责的工作态度； 6、有强大的抗压能力及独立快速解决问题的能力。