-
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产品研发团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉Web安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产品研发团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉Web安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
1.负责公司旗下大数据平台数据采集,入库 2.攻破各种反爬策略,快速解决各类技术疑难问题,建设反爬对抗组件库 3.实时监控爬虫的进度和警报反馈
-
岗位职责: 1.负责电商平台(包括网站和APP)的数据采集,制定高效、稳定的爬取方案,并确保数据完整性和时效性; 2.研究并绕过电商平台的反爬机制,包括验证码识别、IP封锁、JS混淆、动态加载等,提升爬虫的稳定性和成功率; 3.进行APP逆向分析,利用反编译、静态分析、Hook等技术破解数据加密、API接口加密等防护措施; 4.设计、开发和优化爬虫架构,提高数据抓取效率,优化爬虫并发、任务调度、代理池、分布式爬取等模块; 5.使用AI爬虫技术(如自动化识别网页结构、智能解析动态内容等)优化数据获取流程; 6.研究HTTP、TCP等网络协议,进行数据抓包和分析,构建高效的抓取策略; 7.编写清晰的技术文档,记录逆向工程的过程、反爬破解策略及优化方案; 8.持续关注行业发展趋势,优化爬虫系统,并结合AI技术提升数据采集的自动化和智能化程度。 任职要求: 1.本科及以上学历,计算机科学、软件工程、网络安全等相关专业,3年以上爬虫开发经验; 2.熟练掌握Python爬虫开发,精通Scrapy、Selenium、Playwright、Requests等爬虫框架和工具; 3.熟悉HTTP、TCP等网络协议,具备抓包分析能力,掌握Burp Suite、Wireshark等工具; 4.深入理解反爬技术,具备丰富的应对经验,包括但不限于代理IP池、浏览器指纹模拟、验证码识别(OCR、打码平台)、动态加载解析等; 5.具备APP逆向工程经验,熟悉APK反编译、静态分析、动态调试(Frida、Xposed等),能绕过API加密、代码混淆等安全策略; 6.了解ARM指令集,有反汇编、调试能力,能处理花指令、代码混淆等复杂场景; 7.近一年内,有百万级以上电商数据采集经验,有主流电商平台或电商类APP爬取项目经验者优先; 8.具备优秀的代码编写能力、良好的工程化思维和团队协作能力,能够编写高效、可维护的爬虫代码。 加分项: 有电商平台(如Amazon、shopee、Rakuten、Lazada等)爬虫经验者优先; 有大型分布式爬虫架构经验,熟悉Redis、Kafka、RabbitMQ等任务队列调度机制; 具备AI爬虫经验,熟悉自动化网页解析、深度学习OCR识别等技术; 了解MLOps、大数据存储、数据清洗技术,能与数据工程师协同优化数据处理流程。
-
岗位职责: 1、负责爬虫系统架构和业务开发; 2、建立完整的数据采集、解析、入库和监控流程,并不断优化迭代完善; 3、解决常见的反爬虫问题,并建立相关的系统化策略; 4、深入理解系统数据处理流程以及业务功能需求; 5、保证数据的完整性和准确性; 6、对高难度的技术问题的探索和解决有着极强的自我驱动力。 任职要求: 1、熟悉区块链数据挖掘,掌握Frida、Xposed、APKTOOI、JADX、IDA等常用逆向工具; 2、熟悉常见的Web和APP反爬手段和策略; 3、熟练掌握Python、Javascript或Go网络编程; 4、熟悉至少一种关系型数据库(如mysql等) 5、计算机基础扎实,对数据结构、操作系统计算机网络等技术技术有一定程度的掌握; 6、五年以上的爬虫开发经验,有丰富的Web及APP逆向工程经验。
-
职位描述 岗位职责: 1、负责分布式数据采集系统的设计、APP等平台信息的抓取与分析工作 2、根据业务需求进行数据抽取、清晰和加工等 3、参与爬虫算法和策略优化,实时监控爬虫进度和警报反馈 任职要求: 1、**大专以上学历 2、计算机及相关专业,3年以上网络爬虫工作经验 3、熟练掌握python、SQL语言,熟悉Scrapy等爬虫技术 4、熟悉数据抽取、清洗、加工,常见爬虫开源框架及反爬策略,具有分布式计算开发经验 5、熟悉主流APP的移动安全保护机制及对抗方法 6、熟悉Android APP逆向分析 java/native方向均可,或iOS APP的逆向分析
-
非杭州伙伴可以线上办公!!! 岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO或者RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
-
1、负责设计和开发分布式网络爬虫系统,进行数据抓取和分析; 2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、参与分布式爬虫和数据采集系统的架构设计和开发,快速响应业务变动; 4、负责网络数据抓取规划、定期爬取指定网站的数据; 5、参与数据层建设,专注于垂直领域数据爬取,进行多平台信息的抓取和分析; 6、实现数据提取、清洗、结构化、入库、统计分析等需求; 7、研究优化算法,提升爬虫系统的稳定性、可扩展性。 任职要求: 1、熟悉Python和常用的开源库,熟练使用Django/Flask等至少一种主流的web开发框架; 2、熟悉Mysql,mongoDB, Redis,Es,队列等数据库的使用和优化; 3、对进程、线程、协程、异步、非阻塞有一定了解和使用 4、对linux系统基础知识及原理了解较深入的,如linux软中断硬中断,服务器安全等 5、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly,webmagic等框架(深入了解其中一种)。 6、对相关算法有一定了解; 7、有大型项目管理经验优先。 8、熟悉应用IP代理池、Headers认证和Cookie等; 9、有分布式爬虫、反爬机制经验者优先 10、熟悉js逆向,js破解优先考虑 11、有参与实时监控爬虫的进度和警报反馈系统的优先考虑,如Prometheus+zabbix+granafa等服务器相关爬虫监控检测体系 12、有高可用分布式集群项目设计、开发经验,优先考虑,如K8S,docker,keepalived等 13、有多种语言,如GO、Python、Rust、php可作为加分项 14、有训练过自己的模型可作为加分项 15、github或者码云有相关开源项目可作为加分项
-
岗位职责 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息; 2、研发爬虫系统,对自动爬取、数据提取的核心算法和性能效果调优; 3、负责爬虫可视化系统的后台监控、报警模块的开发; 4、优化爬虫算法,增加爬虫成功率,突破各种爬虫难点; 5、确保爬虫系统稳定性,降低系统成本; 岗位要求 1、本科及以上学历,计算机相关专业,3年以上爬虫开发经验; 2、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架; 3、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等; 4、熟练掌握 Python/Java/JavaScript 任意语言,Python 优先; 5、熟悉代理池、Cookie池搭建和使用以及账号登录认证。 加分项 实践过大型爬虫项目; 有知名项目贡献Commit经历; 有高质量的个人技术博客; 具备前端(App、Web)或后端开发能力;
-
岗位职责: 1、负责相关网站、App的爬虫设计和开发,定制实现批量采集,增量采集以及采集策略持续优化; 2、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗; 3、解决反爬疑难问题; 任职要求: 1、能够熟练使用Python或者Go等开发语言,了解网络爬虫开发原理,了解相关爬虫框架; 2、掌握HTML,JS,熟悉JS逆向;了解常见的反爬虫技术如文本混淆反爬虫、验证码等; 3、了解App逆向,反编译,抓包等。对于抖音、微信、小红书App、YouTube、Facebook至少有两种每天大数据量爬取的经验; 4、具备良好的沟通能力和团队协作能力。
-
工作职责: 1.配合公司业务,负责设计和开发分布式网络爬虫系统; 2.负责多平台信息的数据采集、抽取、去重、分类、垃圾过滤、质量识别等工作; 3.关注数据质量,建立完整的数据获取、解析、入库和监控流程。 职位要求 1.大专及以上学历,3年及以上Python相关岗位工作经验; 2.熟悉Linux系统,熟悉Python语言,熟悉常用爬虫框架,如Scrapy等,并有实际项目经验; 3.熟悉JavaScript/xpath/Ajax等web知识, 熟悉WebDriver,phantomjs等工具; 4.掌握网页抓取原理及技术,了解基于Cookie的登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术; 5.熟悉mysql,redis,mongodb,ES等数据库,以及对应数据的抽取入库等; 6.熟悉整个爬虫的设计及实现流程,有从事网络爬虫、网页信息抽取开发经验,熟悉反爬虫技术,有分布式爬虫架构经验。
-
岗位职责: 1、负责多平台信息爬取和页面内容的提取分析,负责解决各类反爬机制; 2、编写抓取互联网爬虫代码,负责数据采集,参与需求分析和梳理,爬虫采集策略制定和实现; 3、负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提取抓取能力; 4、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量。 岗位要求: 1、3年及以上python爬虫经验,本科及以上学历,计算机相关专业; 2、熟悉掌握至少一种开源爬虫框架(scrapy、appium、selenium等); 3、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术,熟悉使用fiddler或其他抓包工具; 4、具有js逆向,app逆向实际解决经验。熟悉js hook原理,熟悉各种反爬风控常见手段; 5、具有团队合作精神,有责任感,对工作认真负责,有较强的协调和沟通能力。
-
岗位描述: 1、分布式网络爬虫系统的设计及开发 2、互联网站、网页、链接的特征挖掘,进行网页抓取、数据提取、清洗、入库 3、负责爬虫核心算法的策略优化研究,充分利用资源,避免限制 4、优化搜索、匹配、抓取等关键程序的性能及效率 任职要求: 1、3年以上爬虫独立开发经验,熟练应用多线程技术 2、熟练使用正则表达式、css path、xpath等,能够从结构化的和非结构化的数据中获取信息 3、熟练使用MongoDB,Mysql,Redis数据库 4、精通一种开源爬虫框架,如scrapy、scrapy-redis、requests、selenium、puppeteer等 5、熟练使用docker,会部署容器化爬虫 6、熟悉至少一种消息队列
-
【工作职责】 1. 负责设计和开发爬虫系统,提取分析各种千形万态的平台页面内容; 2. 研究各种网站、链接的形态,发现它们的特点和规律; 3. 解决技术疑难问题,包括反爬**、反爬风控; 4. 搭建通用爬虫监控、消息推送分布式系统。 【任职要求】 1. 精通python、计算机网络,熟练使用多线程,熟悉常用爬虫框架; 2. 熟悉常用代理软件部署,底层实现逻辑; 3. 熟悉Linux操作、正则表达式,MySQL、MongoDB等常用数据库,了解各种Web前端技术; 4. 熟悉js逆向,混淆原理,js AST语法树,客户端常用签名算法等。熟悉移动端逆向或者PC端逆向更优(IOS Android Windows 二进制逆向; 5. 能够解决网络链路分析、流量识别、验证码识别、图像识别等问题; 6. 熟悉wireshark tcpdump等进行流量分析。 【盯链福利】 我们是90后年轻化团队,一线大厂背景管理团队,扁平化管理,团队氛围融洽。在盯潮,我们为您提供: 1.完善的薪资构成:固定月薪+年终奖金的收入结构,全年累计12-16个月月薪。 2.广阔的发展空间:科学的晋升发展通道,年度两次晋升机会, 3.文化建设:各类荣誉激励奖项、盯潮联盟日、盯潮图书角、入职周年礼; 4.年度旅行:面向全员的旅游基金; 5.节假日和贴心福利:带薪年假、半薪病假,免费饮料零食、年度体检、节日礼品红包、生日礼包、季度团建、节日活动。
-
岗位职责: 1.发挥创造性思维,解决数据采集与应用难题; 2.与数据产品经理紧密配合,分析挖掘数据的价值;维护数据模块,确保数据更新快、准、全; 3.参与数据采集、统计分析、监控等相关系统架构设计和研发; 任职资格: l、本科以上学历,计算机相关专业,熟悉操作系统(多线程、多进程)、计算机网络编程、数据结构与算法等基础知识;、 2、3年以上Linux环境下常用语言(C/C++/JAVA/Python)开发经验,熟练使用常用Linux 命令; 3、3年以上大规模网页爬虫开发经验,熟悉浏览器原理、前端JS、AJAX; 4、深入了解前端JS反爬,能解决前端动态JS混淆问题; 5、深入了解非逆向、非侵入式手机APP采集方法;熟悉了解容器化编排技术(swarm/k8s/mesos);、 6、熟练使用一门以上脚本语言(Python/Javascript); 7、熟练使用一种以上的数据库(Mongodb/HBase/MySQL);


