职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产品研发团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉Web安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产品研发团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉Web安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

工作职责：  负责设计、开发和维护高效、稳定的数据爬虫系统；  根据业务需求，制定数据抓取策略，处理反爬机制、验证码识别、IP代理等问题；  建立数据清洗、结构化处理及存储流程，保证数据质量；  持续优化爬虫性能，提升抓取速度与稳定性；  与数据分析、产品等团队紧密协作，理解数据需求，快速响应数据抓取任务；  关注行业动态，研究新的爬取技术和反爬手段，持续提升系统能力。 任职要求：  熟练掌握至少一种编程语言（Python优先，如：Scrapy、Selenium、Playwright、Requests 等常用库）；  熟悉常见网站结构、前端技术（HTML、CSS、JavaScript），能够快速分析网页数据；  熟悉常用的反爬技术及应对手段（如IP代理池、UA池、验证码识别、动态渲染处理等）；  熟悉异步爬虫、分布式爬虫开发，有 Scrapy-Redis / Playwright + 分布式实践经验者优先；  熟悉常用数据库（如MySQL、MongoDB）及缓存系统（如Redis）；  有大型数据采集、数据清洗、数据处理项目经验优先；  具备良好的编码习惯和文档意识，责任心强，乐于学习新技术。 加分项：  有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验；  有云原生（如 Kubernetes、Docker）、大数据（如Spark、Kafka）相关技术栈经验；  有参与过爬虫平台化、数据中台建设项目经验；  有算法基础，了解简单的图像识别（如验证码OCR识别）优先。

岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP，具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型，能使用抓包工具（如 Charles、Fiddler）分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发，掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架，了解分布式爬虫框架（如 Scrapy-Redis） 2. 经验要求 ● 1 年以上爬虫开发经验，有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术（HTML/CSS/JavaScript），能逆向分析动态渲染页面 ● 熟悉常见反爬措施（如 JS 混淆、验证码识别、IP 限频），具备实战对抗经验

岗位职责: 1.设计和实现复杂的Python应用程序及服务,确保其在Win&Linux上具有高效性和稳定性。 2.熟悉docker,接触过WSL2,可以编排负责内容的CI/CD流程。 3.熟悉爬虫/网络嗅探/抓包。 4.有过图像处理/音视频流媒体项目经验,熟悉opencv&fimpeg。 5.跟踪和研究Python相关技术的最新发展,以提高开发效率和产品质量。 任职要求: 1.具备优秀的团队合作能力和沟通技巧。 2.有过开源项目经历优先,有深度学习项目参与经验优先。 3.能够独立处理和解决技术问题。 4.对Python编程语言有深入的理解和实践经验。 5.有良好的文档撰写能力,能够清晰记录开发过程中的关键点。 6.有大型项目架构设计经验。

岗位职责： 1、负责公司产品线的技术栈的选型和完善, 负责关键技术架构和核心模块的开发实现; 2、 参与公司项目的架构设计、研发、编程工作； 3、 设计公司业务执行策略和防屏蔽规则，提升数据抓取执行的效率和质量, 并对策略持续优化； 4、负责架构设计相关的技术攻关。 任职要求： 1、熟悉Python和常用的开源库，熟练使用Django/Flask等至少一种主流的web开发框架； 2、熟悉Mysql，mongoDB， Redis，Es，队列等数据库的使用和优化； 3、对进程、线程、协程、异步、非阻塞有一定了解和使用 4、对linux系统基础知识及原理了解较深入的。 5、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一种）。 6、对相关算法有一定了解。 7、熟悉应用IP代理池、Headers认证和Cookie等； 8、有分布式爬虫、反爬机制经验者优先 9、熟悉js逆向，js破解优先考虑 10、有参与实时监控爬虫的进度和警报反馈系统的优先考虑。 11、有参与过相关资讯/新闻与大型分布式爬虫项目的优先考虑

非杭州伙伴可以线上办公！！！ 岗位职责： 1、负责设计、开发、维护爬虫系统； 2、参与多平台信息的抓取和分析； 3、建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量； 5、利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求。 任职资格： 1、熟悉GO或者RUST语言，熟练掌握js反混淆，有实操经验优先； 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先； 3、熟悉linux开发环境，熟练掌握java或python编程语言，熟悉js语言； 4、熟悉 web/app 常见的反爬机制，精通各种反爬破解，包括但不限于：Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能； 5、有电商类网站爬虫经验优先，有高频爬虫工作经验者优先。

1、负责多平台信息爬取和页面内容的提取分析，负责破解各类反爬机制； 2、负责网页的数据抓取和爬取链路优化（包括逆向分析、脱壳、加密参数破解、抓取攻防等），提升抓取能力； 3、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量； 岗位要求： 1.3年以上python爬虫经验，专科及以上学历，计算机相关专业，有企业数据经验优先； 2.熟悉掌握至少一种开源爬虫框架（scrapy、appium、selenium等）； 3.精通动态网页抓取、浏览器模拟抓取、APP抓取等技术，熟悉使用fiddler或其他抓包工具。； 4.具有js逆向，app逆向相关经验。熟悉js hook原理,熟悉各种反爬风控常见手段； 5.具有团队合作精神，有责任感，对工作认真负责，有较强的协调和沟通能力；

岗位职责： 有爬虫相关的背景，熟悉python，web开发，熟悉SQL，有相关的后台开发能力 了解基本的数据处理流程，数据交付流程（BI报表分析） 要求有大数据开发经验的优先，懂得分布式；

工作职责： 1、主导和参与爬虫系统的架构设计、开发与优化 2、根据业务诉求，攻克APP、Web、H5等应用并采集相关数据 3、实时监控爬虫任务的执行状况，及时处理爬虫异常，保障采集数据稳定性 任职要求： 1、2年以上爬虫开发经验； 2、熟练掌握python相关的爬虫库和爬虫框架，对redis，rabbimq，kafka等中间件有应用能力 3、熟悉掌握Mysql，Hive开发，具有数仓思维且有一定的开发经验，有丰富的sql的应用能力，必备项； 4、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段，具有丰富的相关能力； 5、近期具有电商平台抓取经验、在App逆向方面有深入研究者优先

职位名称：爬虫开发工程师 城市：上海 福利： 1.本地健康保险计划或保险津贴 2.灵活的travel安排 3.饮料、点心和水果 4.季节性饮料和生日庆祝活动 5.团队建设活动和郊游 6.上海户籍及上海工作居住证办理 7.外籍工作签证及外籍居住证办理 8.多功能有设计感的办公环境，地铁零距离 岗位职责 1、负责各类电商平台和app端数据抓取和平台搭建； 2、负责对爬取数据进行分类和解析； 3、负责开发高性能抓取架构，支持业务发展； 4、负责爬虫技术公关和平台运维相关工作； 任职要求 1、本科及以上学历，三年及以上相关工作经验； 2、熟悉linux平台，熟练掌握java/Python/shell/http协议，熟悉HTML、DOM、XPath，掌握git、maven、svn等工具和实践，注重工程规范； 3、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI等工具，抓取过主流电商平台和主流app软件； 4、能维护Java语言写的爬虫代码 5、至少2年的分布式爬虫开发经验，熟悉浏览器内核，有cef、webkit开发经验优先； 6、有安卓/iOS相关开发经验者优先； 7、性格开朗、善于沟通，有良好的自我驱动学习能力，注重效率和团队意识，有团队管理经验优先。 我们的优势 1.与世界各地的国际团队合作 2.获得最新的网页技术和AR虚拟现实领域的前沿科技知识 3.学到更多的电子商务和移动相关的技术 4.获得用户界面和用户体验的工作经验 5.使用类似JIRA, Confluence, Hudson and Selenium项目管理系统进行工作 关于TMO集团 TMO Group是一家国际性的数字商务解决方案提供商，在阿姆斯特丹，上海, 成都和香港设有办事处， 电商 - 数据 - AI 我们为您的电商价值链提供集成解决方案，贯穿咨询、设计、开发和智能营销以及云计算赋能的托管服务。重点服务企业为B2C、D2C模式下的健康美妆行业，以及B2B数字化转型全行业。

岗位职责: 1、负责爬虫系统设计开发与优化，爬取海内外电商平台及海外主流社交平台博文帖子。 2、负责进行前沿技术研究，技术难点的攻克 ； 3、负责原始数据采集与数据仓库对接。 任职要求： 1、计算机相关专业本科及以上学历，2年以上爬虫工作经验者优先； 2、熟练掌握python，掌握selenium、scrapy等爬虫相关框架； 3、深入理解 TCP/IP、HTTP、以及各类 WEB 登录认证的机制； 4、能够解决封账号、封IP、验证码识别、图像识别等问题； 5、有海外社交平台或电商平台爬取经验者优先； 6、具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题解决问题。

你将参与： 1. 负责海量数据爬虫系统的总体架构、爬取策略设计和研发； 2. 负责反爬、风控对抗策略的研究与实现，提升抓取效率和质量； 3. 根据业务需求实现 Web/App 端的文本、图片、视频数据抓取、清洗、存储等工作。 我们希望你： 1. 两年以上爬虫开发经验，精通常用的爬虫技术及架构，并能快速实现； 2. 精通 Java/Python 中的一种或多种，熟悉常用的数据存储（ES、NoSQL、MySQL 等）； 3. 熟悉主流爬取技术及工具，熟练使用 Selenium/Puppeteer/Scrapy/Splash/PhantomJS 等至少一种工具； 4. 熟悉 HTTP/TCP 协议，熟悉 Fiddler/Charles/BurpSuite/TCPDump/Wireshark/Mitmproxy 等至少一种网络分析工具； 5. 有较丰富反爬实践经验，能解决图片验证码/滑块/账号限制/IP 限制等问题； 6. 良好的代码习惯，结构清晰，命名规范，逻辑性强，代码冗余率低； 7. 强烈的自我驱动，学习能力强，靠谱。 以下是加分项： 1. 具有抖音、Tiktok、亚马逊等社媒、电商平台爬虫经验优先； 2. 具有风控对抗实践经验； 3. 具有 App 逆向经验，熟悉 Xposed 框架、常见 Hook技术，熟悉 Smali/Dedexer/Dexdump/Apktool/Dex2jar/IDA/OLLYDBG 等至少一种； 4. 了解大数据相关生态和工作流； 5. 代码洁癖、严谨、刨根问底； 6. 不喜欢卷，崇尚工具与效率、自由与责任。

总目标：制作一个用于电脑使用的小型搜索器软件或者浏览器插件、拓展程序，实现能够完成上述初步查询20000个生物品种的查询、筛选、整理工作。 搜索器的主要要求： 1、 总目标是可以实现按照关键词以及特殊字符（比如图片或是化学结构式）在谷歌进行自动搜索，每次搜索结果的前200条链接的网址内容进行全部爬取，包括网页链接页面的分页和外部链接的全部内容。（很多是外网网址，公司地址在国内，自己有VPN，没有服务器）。一个关键词搜索到的内容可以自动保存在一个word或文件夹，而且要做到去重。 2、 搜索的关键字字符可能有几十种包括中英文以及其他小语种的特殊字符，搜索的网页内容语言主要是中英文，还会有少量西班牙语，葡萄牙语，法语，日语等等。 3、 当搜索出来的不是网页，比如说是PDF或其他文件格式要保存到同一文件夹里，尽量保证可以把爬取页面上附带的WORD和PDF文件也爬取下来，如果涉及到某些论文无法爬取，则需要把论文摘要内容爬取下来。当有些网址实在是不能爬取的时候可以截图保存到文件里。 4、 搜索到网站后，能初步分析和判断，按关键字将内容进行归类；（按精确匹配或模糊匹配分），需要搜索某种产品的物化性质、结构式、应用、生产经营企业信息等，就要进行分析，进入下一层（有可能再进入下一层），把相关的所有信息全部保存下来。 5、 可以按照我方要求，主动设置文件夹、word文件格式，并整理文件资料、存储独立文件，如照片、PDF文件和其它独立格式文件，保存的word文件需要自行筛选掉重复信息。 6、 一周内可以达成6000个生物品种的查询筛选整理工作。 7、 从网站下载的信息需要是以word文件的格式下载保存，主要保存网站页面的文字信息，保存的内容要附上具体的网址，不同板块的信息内容需要添加空格隔开。将具体网址设置为小标题方便我们快速找到每个网址的内容。 8、 文字部分最终的目的是把不同网站的内容关于某一个品种的内容进行总结自动去重后，把各个网站关于这个品种的内容收集到一个word文件里总结，并且筛选出其中不同的信息。 9、 比较理想的情况是可以做一个独立的软件，但是如果比较难实现可以做成浏览器的插件或者拓展，只要能达到前面提到的收集资料的要求即可。 10、 文字搜索部分的工作工期工期为签约后的一周，签约后付定金，交付后的调试时间为3天，程序运行验收没问题付清尾款。

岗位职责： 1.负责复杂网站的数据抓取和交互模拟； 2.通过各种渠道或方式对目标网站数据进行高效率抓取； 3.设计爬取、调度和抽取算法、优化采集系统； 4.负责抓取数据的深度提取和挖掘，进行加工处理； 5.数据文档的撰写与更新。 任职要求： 1.专科及以上学历，计算机相关专业,2年以上开发经验； 2.掌握java或python开发语言，熟悉Linux系统； 3.较强的网站分析能力，熟知各种反爬措施及相关解决方式； 4.熟练使用MySQL、MongoDB等数据库； 5.熟知HTTP、TCP、Socker等底层知识； 6.熟知Fidder、Wireshark等抓包工具。