【职位描述】 1. 负责设计开发针对主流海外电商平台的大规模数据采集系统，支持商品信息、价格监控、竞品分析等业务需求。 2. 构建和维护分布式浏览器集群，实现千级并发的稳定数据抓取，处理复杂的SPA应用和动态内容渲染。 3. 研究海外电商平台的反爬机制（如Cloudflare、PerimeterX、DataDome），制定针对性的反反爬策略，包括设备指纹伪造、TLS指纹处理、行为模拟等。 4. 确保数据采集符合GDPR、CCPA等国际数据保**规，处理多语言、多货币、多时区的复杂数据场景。 5. 优化浏览器资源使用，实现成本可控的大规模部署，包括资源池管理、任务调度优化、异常恢复机制等。 【任职要求】 1. 3年以上海外电商爬虫经验，具备至少5个主流海外电商平台的数据采集项目经验，深度了解各平台的技术架构和反爬策略。 2. 大规模浏览器自动化经验：有管理500+浏览器实例的实战经验，熟练掌握Playwright、Puppeteer、Selenium Grid等工具的集群化部署。 3. 精通现代反爬对抗技术：浏览器指纹伪造（Canvas、WebGL、Audio等）、TLS/JA3指纹处理和规避、验证码自动化处理（reCAPTCHA、hCaptcha、Funcaptcha）、WAF绕过策略（Cloudflare 5s盾、BotFight Mode）。 4. 编程语言：精通Python，熟悉JavaScript/TypeScript（用于浏览器脚本开发）。 5. 框架和工具：熟练使用浏览器自动化框架（Playwright、Puppeteer、Selenium 4.0+）、代理管理（住宅代理、数据中心代理轮换策略）、容器化部署（Docker、Kubernetes环境下的浏览器集群管理）。 6. 分布式系统经验：熟悉Redis、RabbitMQ、Kafka等中间件，有构建分布式任务调度系统经验。 7. 独立完成过至少3个海外电商大型项目，单项目日均数据量100万+条，涉及多平台、多地区的复杂数据采集需求。 8. 成本控制能力：有控制单条数据采集成本的实战经验，熟悉云服务器成本优化策略。 【加分项】 1. 移动端数据采集：Android/iOS App数据采集经验，熟悉Frida、Xposed等Hook技术。 2. 协议层面突破：GraphQL API逆向分析、gRPC/protobuf协议解析、WebSocket实时数据采集。 3. AI辅助技术：机器学习模型应用于验证码识别、异常检测和自动化问题诊断、智能化反爬策略调整。 4. 海外电商业务理解：熟悉跨境电商运营模式、了解各平台的商业规则和数据价值点。

岗位职责： 1. 负责采集系统的架构设计,系统搭建 2. 负责各类数据源（API、数据库、网页）的数据采集、清洗、转换与入库； 3. 搭建与维护稳定高效的数据采集系统，确保数据采集的准确性、完整性与时效性； 4. 分析数据源结构与变化，制定字段映射、清洗规则和更新策略； 5. 针对目标站点的反爬策略设计并实现有效的绕过方案； 6. 编写数据采集文档与接口说明，支持数据管理与审计合规需求。 7. 及时解决爬取过程中出现的问题并不断优化程序 任职资格： 1. 计算机相关专业毕业，3年以上数据开发经验； 2. 熟练掌握 Python，具备丰富的 HTTP 请求模拟、抓包调试、异步编程、数据解析能力； 3. 熟悉常见数据采集方式（如 RESTful API 调用、网页爬虫、日志采集）与数据清洗与转换技术； 4. 熟悉数据采集相关框架或工具（如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink）； 5. 熟悉 JavaScript 语言，具备 JS 加解密逆向能力，可独立实现复杂参数构造、签名还原、AES/MD5/RSA算法实现等； 6. 熟悉常见反爬机制及绕过方式，如验证码识别（图形/滑动/点选）、UA/IP切换、请求混淆、Headless Browser 等； 7. 具备小程序抓包与接口还原能力，了解小程序数据通信机制； 8. 有 App 采集经验，熟悉抓包工具（如 Charles、Fiddler、Wireshark、mitmproxy）、Hook 工具（如 Frida、Xposed）； 9. 了解数据质量、数据安全与合规相关知识。

公司位于佛山乐从新城世纪莲地铁广佛线，交通便利。请确定考虑到佛山发展再聊，谢谢！ 兼职也可以 1爬虫框架与工具 熟练掌握 Scrapy、Pyspider 等主流框架，能够搭建分布式爬虫系统 熟悉 Selenium、PhantomJS 等自动化工具，应对动态渲染页面和反爬机制 2反爬对抗与逆向技术 具备验证码破解、JS逆向、APP逆向（如 Frida、Xposed）APP脱壳等实战经验 熟悉抓包工具（Charles、Fiddler）和协议分析（HTTP/HTTPS、WebSocket） 3数据处理与存储 精通数据清洗、结构化提取技术（如 XPath、BeautifulSoup），熟练使用 Pandas、NumPy 处理海量数据 掌握 MySQL、MongoDB、Redis 等数据库，具备调优及高并发存储经验 4系统架构与性能优化 熟悉分布式架构（如 Kubernetes、Docker Swarm），能够设计高可用、高性能的爬虫系统 具备实时监控、预警处理及日志分析能力，保障爬虫稳定性 通用技术要求 1‌编程基础‌ 扎实的 Python 开发能力，熟悉多线程、异步编程及设计模式 了解其他语言（如 Java、JavaScript）及前端框架（Vue、React）为加分项 2‌运维与工程化‌ 熟练使用 Linux 环境，掌握 Docker、Kubernetes 容器化技术 熟悉云服务（AWS、阿里云）及 DevOps 工具链（CI/CD） 交通便利，公司楼下就是地铁广佛线世纪莲地铁站

岗位职责 1. **逆向分析与数据采集** - 负责Web端及移动端应用的逆向工程，包括网页结构解析、动态数据抓取、API接口分析及协议破解。 - 突破复杂反爬机制，例如验证码（图形、滑块、语音）、IP封禁、加密参数、设备指纹等。 2. **通信协议模拟与自动化** - 分析目标网站或APP的通信协议（HTTP/HTTPS、WebSocket、gRPC等），实现登录流程模拟、加密算法逆向及自动化数据采集。 - 开发高效稳定的自动化脚本，支持大规模数据抓取与功能控制。 3. **反爬技术研究与对抗** - 深入研究主流平台（如电商、社交媒体、短视频）的反爬策略，包括行为检测、浏览器指纹、WASM混淆等。 - 设计创新对抗方案，优化爬虫稳定性与成功率，应对高频更新场景。 4. **工具开发与系统集成** - 开发逆向分析工具、爬虫框架或桌面应用，支持数据清洗、接口封装及系统集成。 - 优化工具性能，确保高并发与大规模数据处理能力。 5. **跨部门协作与文档输出** - 与前后端开发、数据分析团队紧密协作，完成数据对接与功能实现。 - 撰写高质量技术文档、逆向分析报告及操作手册，确保知识传承与项目可维护性。 --- ## 技术栈要求 ### 核心技能 - **逆向工具**：熟练掌握IDA Pro、Ghidra、OllyDbg、Charles、Fiddler、Wireshark、mitmproxy等调试与抓包工具。 - **编程语言**： - 精通Python，熟悉Scrapy、Requests、Selenium、Puppeteer等，用于爬虫开发与自动化脚本编写。 - 精通JavaScript，具备JS逆向、AST分析、Hook技术及WebAssembly调试能力。 - 熟悉C++或C#，用于桌面工具开发或性能优化。 - **前端逆向**： - 深入理解浏览器渲染原理、DOM操作、动态JS解析及WebSocket通信。 - 熟悉Vue、React、Angular等前端框架的逆向调试，掌握Headless浏览器应用。 - **移动端逆向（加分项）**： - 熟悉Android/iOS应用的脱壳、反编译技术（Smali、ARM/Thumb汇编）。 - 熟练使用Frida、Xposed、Magisk等框架进行动态Hook与行为分析。 ### 扩展能力 - **加密算法**：掌握RSA、AES、DES、MD5、SHA等常见加密算法，具备私有协议逆向及自定义加密算法分析能力。 - **爬虫框架**：熟练使用Scrapy、Selenium、Puppeteer、Playwright，结合Headless浏览器解决动态渲染与复杂交互问题。 - **网络协议**：深入理解HTTP/2、HTTPS、TCP/IP协议栈，熟悉WebSocket、gRPC、QUIC等新型协议的分析与模拟。 - **系统架构**：了解分布式爬虫架构设计，熟悉Redis、Kafka、Elasticsearch等工具在数据处理中的应用。 --- ## 任职要求 ### 学历与经验 - **本科及以上学历，计算机科学、软件工程、信息安全等相关专业优先。 - 2年以上Web逆向工程、爬虫开发或相关领域经验。 - 有大型互联网平台（如电商、社交、短视频、金融）逆向分析或数据采集项目经验者优先。 ### 技术能力 - 能够独立完成从目标分析、协议逆向、反编译到代码还原的全流程工作。 - 熟悉代码混淆、反调试、虚拟机保护等对抗技术，具备复杂场景下的攻防实践经验。 - 掌握多线程、高并发爬虫开发技术，能够优化爬虫性能与稳定性。 ### 软性素质 - **逻辑思维**：具备缜密的逻辑分析能力，善于拆解复杂问题。 - **技术钻研**：对逆向工程与反爬技术有浓厚兴趣，持续跟踪技术前沿动态。 - **团队协作**：良好的沟通能力与团队意识，能够适应高强度、快速迭代的开发节奏。 - **责任心**：对项目质量与数据安全有高度责任感，严格遵守相关法律法规与职业道德。 --- ## 加分项 - 有开源逆向工具、爬虫框架或相关技术博客的贡献经验（如GitHub项目、CNBlogs、知乎专栏）。 - 熟悉AI验证码识别技术（如CNN、RNN模型训练）或OCR技术在逆向中的集成应用。 - 具备网络安全或渗透测试背景，参与过CTF竞赛、漏洞挖掘或红蓝对抗项目。 - 熟悉云平台（如AWS、阿里云）或容器化技术（Docker、Kubernetes）在爬虫部署中的应用。 - 了解机器学习或大数据分析技术，能够将逆向数据用于商业洞察或模型训练。 --- ## 福利待遇 - **薪资与奖金**：35K-60K/月，优秀者可面议更高薪资，另提供年终奖、项目奖金。 - **职业发展**：提供技术深造与晋升机会，参与前沿技术项目，与行业精英共事。 - **工作环境**：弹性工作时间，现代化办公环境，定期团队建设活动。 - **员工福利**：五险一金、带薪年假、年度体检、节日礼品、学习补贴等。

**岗位名称：Android 工程师** **职位概述**： 我们的公司正在寻找一位经验丰富的Android工程师，负责设计和开发移动应用程序和软件解决方案。这个角色需要有能力创建高效、用户友好的用户体验，并与跨部门的团队成员合作，以满足产品目标。 **主要职责**： 1. 设计、开发、测试和维护高质量的Android应用程序。 2. 与产品经理、设计师和其它开发团队成员紧密合作，以确保项目的按时交付和质量达标。 3. 跟踪行业趋势和技术发展，以保持对最新Android开发工具和技术的了解。 4. 负责编写和维护技术文档。 **基本要求**： 1. 计算机科学或相关领域的学士学位。 2. 至少三年的Android开发经验。 3. 精通Java和Kotlin编程语言。 4. 了解Android平台上的性能优化和最佳实践。 5. 熟练掌握Android开发工具，包括Android Studio和Gradle。 6. 良好的沟通技巧和团队协作能力。 7. 强烈的自我驱动力和解决问题的能力。 **优先条件**： 1. 有无障碍辅助、自动化测试开发经验者优先； 2.懂hook、xposed优先。 3. 熟悉Flutter或React Native等其他移动开发框架的候选人。

一、岗位职责 1.对航司类APP（如官方客户端、OTA平台）进行逆向分析，研究核心业务逻辑（如机票查询、订单生成）。 2.挖掘潜在安全风险（如数据泄露、接口未授权访问、加密算法缺陷）。 3.逆向APP通信协议（HTTP/HTTPS），分析关键接口的加密逻辑（如签名算法、Token生成机制）。 4.破解或模拟加密参数，支持业务风控策略优化。 5.研究航司APP的加固方案，提出绕过或防护建议。 6.能将逆向的数据独立提供接口给业务系统后端调用能力。 二、技术要求 1.熟练使用逆向工具（如JADX、IDA Pro、Frida、Charles），能独立完成APP逆向分析。 2.熟悉Android应用架构（如DEX/ELF文件格式、Objective-C/Swift逆向）。 3.掌握常见加密算法（AES、RSA、HMAC）及逆向技巧（如动态Hook、Xposed模块开发）。 4.能分析HTTPS流量（绕过SSL Pinning），解析JSON/Protobuf等数据格式。 5.有模拟请求、伪造参数等实战经验（如爬虫对抗场景）。 6.熟练使用Python/Java编写自动化脚本（如脱壳、协议模拟）。 7.了解C/C++（分析Native层代码）或ARM汇编（逆向SO库）。 三、优先考虑 1.有航司、OTA（在线旅游）、支付类APP逆向经验者优先。 2.熟悉黑灰产攻击手段（如虚假账号注册、自动化刷票）。 3.具备企业级加固方案（如腾讯御安全）对抗经验。

工作内容： 1,负责App协议的逆向分析、脱机实现及功能开发，确保协议功能的高效复现与优化。 2,对目标App进行逆向工程，分析其功能逻辑、网络通信协议及风控机制，提供技术支持与解决方案。 3,开发和维护逆向工具或脚本，提升逆向分析与功能实现的效率。 4,与团队协作，完成App功能的自动化测试与调试，确保开发成果的稳定性和可靠性。 5,跟踪行业技术动态，研究新型风控与防护策略，持续优化逆向开发流程。 职位要求： 1,大专及以上学历，具备3年以上Android/iOS逆向研发经验，有海外即时通讯类App（如Ws/Tg/Line/Tk等）逆向经验者优先，特别是有对抗风控系统经验者更佳。 2,熟练掌握多种逆向工具及框架，包括但不限于：Unicorn、Unidbg、GDB、Frida（能编写脚本）、IDA（能编写IDC或IPython脚本）、Xposed、JEB、JADX、APKTool等。 3,能够独立分析APK的Java层及SO层功能，处理常见代码混淆，熟悉App反调试技术，具备静态分析、动态调试及代码跟踪能力，了解App风控策略。 4,熟悉App的反抓包机制，能够使用Fiddler、Charles、TCPDump、Wireshark等工具进行网络协议抓包及数据分析。 5,熟悉AutoJS、EasyClick等自动化脚本工具的使用。 6,具备较强的技术钻研和自学能力，对逆向技术充满热情，能够独立开展项目的探索、研究与开发。 7,熟悉Golang、Java、C++中的任意一门编程语言，具备一定的开发能力。

欢迎35岁+的朋友 职位描述： 1.负责逆向分析App，包括反编译、脱壳、抓包、拦截算法破解等工作； 2.负责安卓逆向技术获取私有API，编写Xposed HOOK插件，拦截消息函数，重写函数实现； 3.负责代码静态分析、动态调试、代码跟踪工作； 4.能独立解决和帮助团队的成员解决开发中遇到的难点问题。 5.熟悉python，爬虫相关工作 职责要求: 1.至少1年Android逆向研发经验，有过大型app逆向经验，能力优秀者可放宽； 2.熟悉HTTP/HTTPS，TCP/IP等协议的抓包工具使用； 3.熟悉Android系统原理，对Framework层有深度了解； 4.熟悉安卓常用反混淆手段，APK文件的反编译，调试等; 5.精通Xposed、Frida等Android Hook框架的使用以及原理。 6.掌握Android逆向静态分析、动态调试，能够熟练使用Android反编译工具(IDA、ApkTool、Jeb Dex2jar、JEB等)。 7. 熟悉爬虫相关技术以及反爬方案 我们是做机票相关的创业公司，崇尚小而美的团队，有自由开放的氛围，团队创始人均有经历上市公司从小到大的就职经历，推崇技术就是生产力的团队。

当期需求：尽可能绕过CDN，更早获取数据 岗位职责： 1、负责网络协议的逆向分析以及协议重组，网络爬虫系统平台的架构设计与开发，研究爬虫策略和防屏蔽规则； 2、对抓取后的数据进行清洗、存储等，并持续优化，以便满足各种爬取业务需求； 3、解决常见的反爬虫问题，并建立相关的系统化策略 任职要求： 1、掌握Frida、Xposed、APKTO0I、JADX、IDA等常用逆向工具； 2、熟悉常见的Web和APP反爬手段和策略； 3、熟练掌握Python、Javascript或Go网络编程及至少一种关系型数据库(如mysql等)； 4、具有较强的逆向分析能力，能够完成软件的脱壳、修补和反跟踪者优先。

岗位职责： 1.负责电商平台（包括网站和APP）的数据采集，制定高效、稳定的爬取方案，并确保数据完整性和时效性； 2.研究并绕过电商平台的反爬机制，包括验证码识别、IP封锁、JS混淆、动态加载等，提升爬虫的稳定性和成功率； 3.进行APP逆向分析，利用反编译、静态分析、Hook等技术破解数据加密、API接口加密等防护措施； 4.设计、开发和优化爬虫架构，提高数据抓取效率，优化爬虫并发、任务调度、代理池、分布式爬取等模块； 5.使用AI爬虫技术（如自动化识别网页结构、智能解析动态内容等）优化数据获取流程； 6.研究HTTP、TCP等网络协议，进行数据抓包和分析，构建高效的抓取策略； 7.编写清晰的技术文档，记录逆向工程的过程、反爬破解策略及优化方案； 8.持续关注行业发展趋势，优化爬虫系统，并结合AI技术提升数据采集的自动化和智能化程度。 任职要求： 1.本科及以上学历，计算机科学、软件工程、网络安全等相关专业，3年以上爬虫开发经验； 2.熟练掌握Python爬虫开发，精通Scrapy、Selenium、Playwright、Requests等爬虫框架和工具； 3.熟悉HTTP、TCP等网络协议，具备抓包分析能力，掌握Burp Suite、Wireshark等工具； 4.深入理解反爬技术，具备丰富的应对经验，包括但不限于代理IP池、浏览器指纹模拟、验证码识别（OCR、打码平台）、动态加载解析等； 5.具备APP逆向工程经验，熟悉APK反编译、静态分析、动态调试（Frida、Xposed等），能绕过API加密、代码混淆等安全策略； 6.了解ARM指令集，有反汇编、调试能力，能处理花指令、代码混淆等复杂场景； 7.近一年内，有百万级以上电商数据采集经验，有主流电商平台或电商类APP爬取项目经验者优先； 8.具备优秀的代码编写能力、良好的工程化思维和团队协作能力，能够编写高效、可维护的爬虫代码。 加分项： 有电商平台（如Amazon、shopee、Rakuten、Lazada等）爬虫经验者优先； 有大型分布式爬虫架构经验，熟悉Redis、Kafka、RabbitMQ等任务队列调度机制； 具备AI爬虫经验，熟悉自动化网页解析、深度学习OCR识别等技术； 了解MLOps、大数据存储、数据清洗技术，能与数据工程师协同优化数据处理流程。

岗位职责： 1、负责爬虫系统架构和业务开发; 2、建立完整的数据采集、解析、入库和监控流程，并不断优化迭代完善; 3、解决常见的反爬虫问题，并建立相关的系统化策略; 4、深入理解系统数据处理流程以及业务功能需求; 5、保证数据的完整性和准确性; 6、对高难度的技术问题的探索和解决有着极强的自我驱动力。 任职要求: 1、熟悉区块链数据挖掘，掌握Frida、Xposed、APKTOOI、JADX、IDA等常用逆向工具; 2、熟悉常见的Web和APP反爬手段和策略; 3、熟练掌握Python、Javascript或Go网络编程; 4、熟悉至少一种关系型数据库(如mysql等) 5、计算机基础扎实，对数据结构、操作系统计算机网络等技术技术有一定程度的掌握; 6、五年以上的爬虫开发经验，有丰富的Web及APP逆向工程经验。

安卓高级逆向工程师  岗位职责: 1、逆向Android/ios app或者sdk，脱壳、反编译、抓包、拦截、破解等;。 2、主要负责公司APP客户端相关的安全分析工作，通过协议分析，参与逆向分析对抗策略的研发。 3、负责Android/ios应用的加解密和数据传输分析、拆解、逆向; 任职要求: 1、熟悉Android、IOS客户端逆向手法，掌握软件静态分析动态调试、代理跟踪。 2、具有Android开发经验，熟悉Java、Kotlin、C/C++等语言:对Android系统有深入的理解，了解安全机制，了解APK加载原理。 3、具有风控对抗经验，熟悉主流混淆技术、常规设备指纹原理.。 4、熟悉Android、IOS常用逆向工具原理，Hook技术原理，能使用Frida、Xposed等框架编写Hook代码，如IDA Pro 、Jadx、Frida、lsposed，lsplant、Apatch等。 5、具备AOSP二次开发、大型APP设备指纹分析/环信息分析、APP加解密算法经验优先;熟悉外部攻击常见的脱壳、防调试、防抓包、防hook、防root等技术优先。 6、具备良好的英文读写能力:逻辑清晰、表达能力强，有良好的团队合作精神和主动沟通意识。

一、职位描述 1、负责主流社交软件的通信协议和算法分析工作，为基于社交软件的应用提供协议支持； 2、维护和开发相关的社交软件协议； 3、熟练使用反编译工具（IDA、ApkTool、Jeb、Dex2jar、JEB等），能阅读和修改Smali代码，具备APK进行二次打包、绕过签名等对抗能力； 4、熟悉网络通讯机制，对Socket通信、TCP/IP和HTTP/HTTPS有比较深刻理解； 5、和产品经理配合，参与产品需求讨论、功能定义等，帮助职能部门梳理业务思路，固化工作流，提高效率； 6、参与制定代码规范、测试规范，建立起开发质量控制方法； 二、任职要求 1、本科及以上学历，计算机、通信等相关专业，具有相关工作经验； 2、熟悉Go/Python/Java等1至2种以上语言； 3、至少3年Android逆向研发经验，有过大型App逆向经验者优先； 4、熟悉HTTP，TCP等协议的抓包工具使用，了解Smali语法、能熟读ARM汇编代码； 5、熟悉Xposed、Frida等Android Hook框架的使用以及原理； 6、自驱性强，有良好的团队协作能力； 7、热衷于逆向技术，能独立进行项目的探索、研究以及开发。 三、福利待遇 1.工作时间： 9:00-12:00、13:30-18:30 2.住宿服务:公司提供免费住宿，高档小区房（一套房三人，各独立单间）配备空调、热水器、洗衣机、厨房、客厅、阳台; 3.公司提倡全民运动，免费为员工提供健身房、羽毛球馆、泳池等娱乐设施会员卡； 4.公司员工享有法定假、年假、婚假、产假、病假等国家规定假日； 5.员工享有节日福利、团建活动、户外旅游，下午茶点会、生日礼金、零食、父母关怀等多元化关怀； 6.公司提供良好的职业发展空间和晋升机会，为员工提供广阔的成长平台。 您的加入将为我们的团队带来新的力量和活力，我们欢迎对工作充满激情、责任心强、有丰富经验和专业知识的求职者加入。

【职位描述】： 1. 负责Android安全风险的识别和处理，包括但不限于APP逆向分析、重打包、hook、模拟器、多开/双开 2. 对公司现有APP进行安全设计以及安全加固； 3. 持续学习和研究最新Android移动安全技术 4. 擅长分析和解决问题，并能抓住问题的本质与关键。 【职位要求】： 1. 扎实的计算机专业基础知识，熟悉数据结构、编译、通信、加解密等； 2. 熟悉Android程序apk以及so的逆向分析流程；熟悉静态与动态的分析方法； 3. 熟悉ARM汇编，掌握常见的逆向工具和框架，如IDA、JEB、Smali、Xposed、Frida等，有相关实践经验； 4. 熟悉HTTP、TCP等网络协议及数据抓包、分析，熟练使用tcpdump、fiddler、wireshark等各种协议分析工具。 5. 精通C/C++、JAVA/Kotlin编程，精通SMALI和汇编语言； 6. 熟练掌握各种调试工具：Dedexer、Dexdump、Apktool、Dex2jar、IDA、OLLYDBG其中一种或多种； 7. 熟悉Android底层运行机制； 8. 热爱安全技术领域，具备良好的分析解决问题能力，能独立承担任务和有系统进度把控能力； 9. 具备良好的团队精神和沟通意识，责任心强，工作认真细致，有良好的抗压能力。

近期日采达到其中一项就行 1. 近期淘宝商品采集5w+ 2.PDD商品近期采集5000+ 3.抖音商品近期采集1w+ 双休+五险一金+餐补 弹性上下班 【工作职责】： 1、负责分布式网络爬虫系统及数据库的设计与开发； 2、研究及破解电商及自媒体app反爬策略，保证爬取的稳定性； 3、维护和优化已有的爬虫服务； 4、负责爬虫核心算法的策略优化研究，设计爬虫策略和防屏蔽规则，充分利用资源，提升网页抓取的效率和质量； 5、负责数据平台建设，数据清洗、处理,提供数据服务以及数据管理； 6、分析、理解大数据业务需求,设计技术方案并落地实施; 7、处理各个业务在使用数据平台过程中的各种问题，分析并给出优化方案； 8、可以独立跟进需求项目开发进度。 【任职要求】： 1、计算机相关专业，3年以上Python爬虫工作经验； 2、熟悉爬虫原理及常用的反扒技术，包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能，具备较好的前端分析技能； 2、熟悉各类HOOK框架包括单不限于frida、xposed； 3、有天猫、京东、抖音等国内主流平台任意一个平台的项目经验，有App端数据采集经验； 4、熟悉网络爬虫开发原理，对互联网各种类型数据交互模式熟悉，知道如何处理需登录网站、动态网页等各种情况下的数据采集方法； 5、熟悉selenium、Appnium、Airtest、Scrapy、pyspider等爬虫相关框架； 6、熟悉常用数据库(MySQL/Oracle/SQLSever/Redis) ，熟悉索引技术和SQL优化，了解RabbitMQ、InfluxDB。