-
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产品研发团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉Web安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产品研发团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉Web安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
岗位职责: 1. 使用SQL等数据抓取工具从各种数据源中提取数据,并进行数据清洗和整理。 2. 运用统计学和数据分析方法对数据进行分析,发现趋势、模式和关联性。 3. 利用数据可视化工具(如Tableau、Power BI等)创建仪表盘、报告和可视化图表,以向利益相关者传达数据洞察。 4. 协助团队成员进行数据分析项目,提供支持和建议。 5. 监测和评估数据质量,确保数据的准确性和完整性。 6. 跟踪行业趋势和竞争对手的数据,提供市场洞察和建议。 岗位要求: 1. 2-3年相关工作经历。 2. 熟练掌握SQL等数据抓取工具,能够编写和优化复杂的查询语句。 3. 具备数据清洗和整理的技能,能够处理大量数据并确保数据的准确性。 4. 熟悉统计学和数据分析方法,能够运用这些方法解决实际问题。 5. 熟练使用数据可视化工具,能够将数据转化为易于理解和传达的可视化图表和报告。 6. 对商业和旅游行业有浓厚的兴趣,了解相关行业的趋势和挑战。 7. 具备良好的沟通和团队合作能力,能够与不同部门和利益相关者进行有效的合作。 8. 具备解决问题和分析能力,能够快速理解和解决复杂的数据相关问题。
-
工作职责: 1、从事人工智能领域研究工作,包括不限于行业应用的跟踪分析与研判工作; 2、开展公司人工智能技术的应用研究、融合规划及材料撰写工作; 3、负责智能项目管理工作,进行智能产品规划与设计工作; 4、完成其他相关重点工作。 任职资格: 1、硕士研究生或以上学历; 2、具有较强文字功底及逻辑思维能力;具有优秀的表达、沟通与协调能力; 3、有1年以上咨询研究工作经验,有咨询公司、第三方评测机构工作经验者优先; 4、喜欢跟踪和研究分析人工智能与保险领域最新动态,对人工智能、金融保险行业有一定了解。
-
工作职责: 负责设计、开发和维护高效、稳定的数据爬虫系统; 根据业务需求,制定数据抓取策略,处理反爬机制、验证码识别、IP代理等问题; 建立数据清洗、结构化处理及存储流程,保证数据质量; 持续优化爬虫性能,提升抓取速度与稳定性; 与数据分析、产品等团队紧密协作,理解数据需求,快速响应数据抓取任务; 关注行业动态,研究新的爬取技术和反爬手段,持续提升系统能力。 任职要求: 熟练掌握至少一种编程语言(Python优先,如:Scrapy、Selenium、Playwright、Requests 等常用库); 熟悉常见网站结构、前端技术(HTML、CSS、JavaScript),能够快速分析网页数据; 熟悉常用的反爬技术及应对手段(如IP代理池、UA池、验证码识别、动态渲染处理等); 熟悉异步爬虫、分布式爬虫开发,有 Scrapy-Redis / Playwright + 分布式实践经验者优先; 熟悉常用数据库(如MySQL、MongoDB)及缓存系统(如Redis); 有大型数据采集、数据清洗、数据处理项目经验优先; 具备良好的编码习惯和文档意识,责任心强,乐于学习新技术。 加分项: 有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验; 有云原生(如 Kubernetes、Docker)、大数据(如Spark、Kafka)相关技术栈经验; 有参与过爬虫平台化、数据中台建设项目经验; 有算法基础,了解简单的图像识别(如验证码OCR识别)优先。
-
辅助项目经理支撑项目技术支持类、数据处理、样本采集类、软件测试类保障工作 任职要求: 1、本科及以上学历,专业不限,gis、测绘相关优先; 2、熟悉arcgis,QGIS等工具软件; 3、性格开朗,工作认真细致,能承担压力且有耐心; 4、实习期需要至少3个月
-
数据处理工程师 专业要求:计算机科学、大数据工程或相关专业 职位描述: - 负责数据获取和处理,编写高效的网络爬虫程序,从互联网上抓取关键数据 - 进行数据清洗、转换和存储,确保数据质量和可用性 - 参与数据分析和挖掘,为业务决策提供数据支持 - 参与相关技术研究和开发工作,探索数据采集和处理的创新方法 岗位要求: - 熟悉常见的网络爬虫技术和工具,有相关项目经验者优先 - 精通数据处理和分析工具,如Python、R、SQL等 - 具备扎实的数据结构和算法基础,能够优化程序性能 - 对数据敏感,具有良好的数据分析和解决问题的能力 - 具备良好的沟通能力和团队合作精神
-
河南郑州物流诚聘BC照货运司机和跟车员包吃住:岗位职责: 本职招聘属于物流公司用人,如有不清楚可来电咨询,因公司业务繁忙不能及时**复简历及信息敬请谅解,该职位属公司直招、要求踏实稳重 一,司机要求C1或B2均可,有实际驾驶经验,主要负责开车送货,负责点数,验货,以及来往交接等职责专职司机不用装卸 二,招聘跟车员要求18-50周岁,主要负责跟着司机一起配送货,负责点数,验货,以及来往交接等职责,录用后统一包吃住+全勤奖 职位要求: C1.B2本、年龄18岁—50岁之间,身体健康,有责任心,对工作负责,无不良嗜好,能吃苦耐劳 (1)、C照司机:试用期6500-7500元,第二个月转正保底工资8000-8500元、工资月结 (2)、B照司机:试用期8500-9500元,第二个月转正保底工资9500-10500元、工资月结。 (3)、半挂车司机:试用期10000-10500,第二个月转正保底工资10500-11500元。工资月结 二、薪资待遇: (1)、市内跟车员:试用期6500-7500元,第二个月转正保底工资7500-8500元、工资月结 (2)、长途跟车员:试用期8500-9500元,第二个月转正保底工资9500-12000元、工资月结 职位福利:以上职位一经录用均就近分配,录用后统一包吃住+全勤奖。特别声明:本公司属于正规物流公司招聘,司机跟车属于高危行业入职需签订正规劳动合同。合同办理包含社保五险一金。 联系电话:***********联系人:经理 联系地址:郑州市二七区大学南路与航海路交叉口
-
河南郑州物流诚聘BC照货运司机和跟车员包吃住:岗位职责: 本职招聘属于物流公司用人,如有不清楚可来电咨询,因公司业务繁忙不能及时**复简历及信息敬请谅解,该职位属公司直招、要求踏实稳重 一,司机要求C1或B2均可,有实际驾驶经验,主要负责开车送货,负责点数,验货,以及来往交接等职责专职司机不用装卸 二,招聘跟车员要求18-50周岁,主要负责跟着司机一起配送货,负责点数,验货,以及来往交接等职责,录用后统一包吃住+全勤奖 职位要求: C1.B2本、年龄18岁—50岁之间,身体健康,有责任心,对工作负责,无不良嗜好,能吃苦耐劳 (1)、C照司机:试用期6500-7500元,第二个月转正保底工资8000-8500元、工资月结 (2)、B照司机:试用期8500-9500元,第二个月转正保底工资9500-10500元、工资月结。 (3)、半挂车司机:试用期10000-10500,第二个月转正保底工资10500-11500元。工资月结 二、薪资待遇: (1)、市内跟车员:试用期6500-7500元,第二个月转正保底工资7500-8500元、工资月结 (2)、长途跟车员:试用期8500-9500元,第二个月转正保底工资9500-12000元、工资月结 职位福利:以上职位一经录用均就近分配,录用后统一包吃住+全勤奖。特别声明:本公司属于正规物流公司招聘,司机跟车属于高危行业入职需签订正规劳动合同。合同办理包含社保五险一金。 联系电话:***********联系人:经理 联系地址:郑州市二七区大学南路与航海路交叉口
-
公司位于佛山乐从新城世纪莲地铁广佛线,交通便利。请确定考虑到佛山发展再聊,谢谢! 兼职也可以 1爬虫框架与工具 熟练掌握 Scrapy、Pyspider 等主流框架,能够搭建分布式爬虫系统 熟悉 Selenium、PhantomJS 等自动化工具,应对动态渲染页面和反爬机制 2反爬对抗与逆向技术 具备验证码破解、JS逆向、APP逆向(如 Frida、Xposed)APP脱壳等实战经验 熟悉抓包工具(Charles、Fiddler)和协议分析(HTTP/HTTPS、WebSocket) 3数据处理与存储 精通数据清洗、结构化提取技术(如 XPath、BeautifulSoup),熟练使用 Pandas、NumPy 处理海量数据 掌握 MySQL、MongoDB、Redis 等数据库,具备调优及高并发存储经验 4系统架构与性能优化 熟悉分布式架构(如 Kubernetes、Docker Swarm),能够设计高可用、高性能的爬虫系统 具备实时监控、预警处理及日志分析能力,保障爬虫稳定性 通用技术要求 1编程基础 扎实的 Python 开发能力,熟悉多线程、异步编程及设计模式 了解其他语言(如 Java、JavaScript)及前端框架(Vue、React)为加分项 2运维与工程化 熟练使用 Linux 环境,掌握 Docker、Kubernetes 容器化技术 熟悉云服务(AWS、阿里云)及 DevOps 工具链(CI/CD) 交通便利,公司楼下就是地铁广佛线世纪莲地铁站
-
岗位职责 1.负责设计、开发和维护内容平台所需的分布式爬虫系统,支持从新闻、论坛、社交媒体等多渠道抓取海量数据并进行清洗、结构化和入库。 2.构建完整的数据采集与处理流程,包括网页解析、数据清洗、去重和入库等环节,确保采集数据的质量、准确性与一致性。 3.研究并应对各类反爬虫机制(如IP封禁、验证码、动态加载等),设计并实施反屏蔽策略,保证爬虫系统在复杂环境下稳定、高效运行。 4.搭建爬虫任务的监控与调度系统,实时跟踪抓取进度及性能指标,及时定位并修复抓取失败、异常或性能瓶颈等问题,持续优化爬虫效率和容错能力。 5.根据业务需求完成技术方案和系统设计,并撰写维护爬虫系统的技术文档,以支持内容分析和业务决策。 任职要求 1.精通 Golang 和 Python 编程语言,熟悉主流爬虫开发框架(如 Colly、Scrapy 等),具备较强的爬虫系统开发和维护能力。 2.具有分布式爬虫架构的设计与部署经验,能够搭建和运维分布式爬虫集群以应对海量抓取任务。 3.熟悉常见的数据处理流程,包括数据清洗、结构化及入库等,能够保证抓取数据的准确性和一致性。 4.熟练使用 Linux 操作系统及常用命令,了解自动化部署和运维流程(如 Docker、Shell 脚本等),具备独立调试和排错能力。 5.熟悉爬虫监控和任务调度工具,具备性能优化及容错设计能力,能够保证爬虫任务的高效稳定执行。 6.熟练掌握 MySQL 等关系型数据库,以及 MongoDB、Redis、Elasticsearch 等至少一种 NoSQL 存储技术。 7.熟悉代理池管理及 IP 轮换策略,能够有效应对 IP 封禁、请求限频等常见反爬虫问题。 8.具备一定的逆向工程能力,了解常见 JavaScript 混淆、接口加密方案和验证码破解技术,能够通过逆向分析提升爬取成功率。 9.理解常见的爬虫数据提取算法和反反爬策略,具备一定的算法能力,以优化数据抓取和解析效率 加分项 1.参与过海外社交项目优先 2.有过大型项目架构的优先 3.有相关开源项目的优先考虑
-
岗位职责: 1、解决各类反爬问题,如JS混淆逆向、APP逆向、字体加密、极验验证码、瑞数等以及采集其它疑难杂症; 2、负责相关爬虫相关技术调研与应用,包括但不限于web/app的数据采集; 3、维护采集平台中站点的稳定采集; 4、开发和维护爬虫脚本和数据处理接口,确保系统稳定运行; 5、协助团队解决爬虫相关技术问题,完成上级安排的其他任务; 任职要求: 1、本科及以上学历,计算机相关专业; 2、3年以上大规模网页爬虫项目经验,2年以上Python开发经验,熟练掌握爬虫底层框架,如scrapy、scrapy-redis、feapder,阅读过如Scrapy-redis等底层代码实现,能够进行改写; 3、精通HTTP/HTTPS协议,能熟练使用Charles、Fiddler等抓包工具分析请求; 4、能够解决封账号、封IP、JS加密、JS混淆逆向、极验验证码、瑞数等采集等问题,具备较强的反爬能力,具备较强的提升爬虫效率的意识; 5、熟练掌握Redis及MongoDB等非关系型数据库,MySQL等关系型数据库的使用; 6、熟悉多种数据提取方法,能灵活运用JsonPath、XPath、CSS选择器和正则表达式;了解ES,Kibana; 7、熟悉HTTP/HTTPS和TCP/UDP协议以及数据抓包和分析、熟悉Linux系统和shell多线程编程; 8、优秀的分析问题和解决问题的能力、思维清晰,对解决具有挑战性问题充满激情,有极强的责任心。
-
岗位职责: 1.负责电商平台(包括网站和APP)的数据采集,制定高效、稳定的爬取方案,并确保数据完整性和时效性; 2.研究并绕过电商平台的反爬机制,包括验证码识别、IP封锁、JS混淆、动态加载等,提升爬虫的稳定性和成功率; 3.进行APP逆向分析,利用反编译、静态分析、Hook等技术破解数据加密、API接口加密等防护措施; 4.设计、开发和优化爬虫架构,提高数据抓取效率,优化爬虫并发、任务调度、代理池、分布式爬取等模块; 5.使用AI爬虫技术(如自动化识别网页结构、智能解析动态内容等)优化数据获取流程; 6.研究HTTP、TCP等网络协议,进行数据抓包和分析,构建高效的抓取策略; 7.编写清晰的技术文档,记录逆向工程的过程、反爬破解策略及优化方案; 8.持续关注行业发展趋势,优化爬虫系统,并结合AI技术提升数据采集的自动化和智能化程度。 任职要求: 1.本科及以上学历,计算机科学、软件工程、网络安全等相关专业,3年以上爬虫开发经验; 2.熟练掌握Python爬虫开发,精通Scrapy、Selenium、Playwright、Requests等爬虫框架和工具; 3.熟悉HTTP、TCP等网络协议,具备抓包分析能力,掌握Burp Suite、Wireshark等工具; 4.深入理解反爬技术,具备丰富的应对经验,包括但不限于代理IP池、浏览器指纹模拟、验证码识别(OCR、打码平台)、动态加载解析等; 5.具备APP逆向工程经验,熟悉APK反编译、静态分析、动态调试(Frida、Xposed等),能绕过API加密、代码混淆等安全策略; 6.了解ARM指令集,有反汇编、调试能力,能处理花指令、代码混淆等复杂场景; 7.近一年内,有百万级以上电商数据采集经验,有主流电商平台或电商类APP爬取项目经验者优先; 8.具备优秀的代码编写能力、良好的工程化思维和团队协作能力,能够编写高效、可维护的爬虫代码。 加分项: 有电商平台(如Amazon、shopee、Rakuten、Lazada等)爬虫经验者优先; 有大型分布式爬虫架构经验,熟悉Redis、Kafka、RabbitMQ等任务队列调度机制; 具备AI爬虫经验,熟悉自动化网页解析、深度学习OCR识别等技术; 了解MLOps、大数据存储、数据清洗技术,能与数据工程师协同优化数据处理流程。
-
岗位职责: 1、负责爬虫系统架构和业务开发; 2、建立完整的数据采集、解析、入库和监控流程,并不断优化迭代完善; 3、解决常见的反爬虫问题,并建立相关的系统化策略; 4、深入理解系统数据处理流程以及业务功能需求; 5、保证数据的完整性和准确性; 6、对高难度的技术问题的探索和解决有着极强的自我驱动力。 任职要求: 1、熟悉区块链数据挖掘,掌握Frida、Xposed、APKTOOI、JADX、IDA等常用逆向工具; 2、熟悉常见的Web和APP反爬手段和策略; 3、熟练掌握Python、Javascript或Go网络编程; 4、熟悉至少一种关系型数据库(如mysql等) 5、计算机基础扎实,对数据结构、操作系统计算机网络等技术技术有一定程度的掌握; 6、五年以上的爬虫开发经验,有丰富的Web及APP逆向工程经验。
-
非杭州伙伴可以线上办公!!! 岗位职责: 1.爬虫开发、与内部系统后端开发对接;负责爬虫系统构架的数据存储设计; 2.建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 3.理解系统数据处理流程以及业务功能需求; 4.保证数据的完整性和准确性。 岗位要求: 1、熟悉js逆向、js注入、反混淆、熟悉jsRPC服务; 2、计算机相关专业专科及以上学历(有项目经验可以放宽); 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、有一定的反爬虫对抗经验,分布式爬虫布局; 5、电商类网站爬虫经验优先,有高频爬虫工作经验者优先; 6、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先。


