-
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产品研发团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉Web安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
高德-高级数据开发工程师(ETL)-BI专项
[北京·望京] 19:25发布25k-45k·16薪 经验5-10年 / 本科旅游|出行,生活服务,居住服务 / 上市公司 / 2000人以上职位描述 1、加入高德地图的商业智能BI团队,深入理解高德核心业务,为决策层评估业务价值、进行业务决策等提供数据支撑; 2、数据研发:参与高德地图打车、搜索等核心业务的数据仓库、数据产品建设,参与数据治理并沉淀业务数据资产; 3、数据挖掘:基于高德地图的海量日志,通过算法模型挖掘有价值的业务信息,指导高德地图的产品迭代。 职位要求 1、计算机、数学、统计或者相关专业本科以上学历; 2、熟悉Java/Python,精通SQL,具有5年以上数据研发经验; 3、熟悉HADOOP大数据平台架构:HDFS/HBase/Hive/MapReduce,熟练掌握MapReduce程序开发,了解实时计算,有使用过Flink、Spark Streaming等开源实时流引擎的优先; 4、对数据仓库系统架构具有良好的认知,理解数据分层、数据倾斜、错峰调度等理念,并具有相关实战经验。 -
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产品研发团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉Web安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
工作职责: 1.数据同步与ETL开发: 负责设计、开发、测试和维护数据同步、抽取、转换和加载(ETL)流程,确保数据高效、准确、稳定地从源系统流向目标系统。 2.数据同步通道部署与运维: 负责使用OGG、DSG等数据同步工具进行通道的部署、配置、监控、调优和故障处理,保障数据同步通道的稳定运行。 3.日常数据开发与运维: 使用Python、Java等编程语言进行日常数据开发任务(如脚本编写、自动化任务开发)和数据运维工作(如数据质量检查、任务监控、问题排查)。 4.数据库开发与操作: 熟练编写和优化SQL脚本,基于Greenplum、Oracle、MySQL、PostgreSQL等主流数据库进行数据查询、分析、转换和存储过程开发等。 5.数据运维程序开发:根据业务需求,开发数据清洗、转换、入库等相关的运维程序和工具,提升数据处理效率和自动化水平。 6.数据质量保障:参与数据清洗规则的制定与实施,确保入库数据的准确性、完整性和一致性。 任职资格: 1.工作经验: - 3年以上数据开发相关工作经验。 - 具备以下经验优先: 1)有使用 OGG (Oracle GoldenGate) 或 DSG 等数据同步工具的实际部署、配置或运维经验。 2)了解ETL工具(如 Informatica, DataStage, Kettle 等)或调度工具(如 Airflow, DolphinScheduler 等)。 2.技术能力: - 熟练掌握 Python 和 Shell 脚本编程,能够独立完成开发任务。 - 精通 SQL 语言,具备复杂查询、性能调优、存储过程编写等能力。 - 熟练使用至少两种主流数据库(Greenplum, Oracle, MySQL, PostgreSQL)进行开发、管理和优化,理解其核心架构与特性。 - 了解至少一种国产或新兴数据库(如 OceanBase, TiDB, 人大金仓(KingbaseES))的基本原理和使用方式。 - 熟悉 Linux 操作系统(如 CentOS, RedHat, Ubuntu 等),掌握常用命令、系统管理、环境配置和脚本执行。 - 加分项 (非必需,但优先考虑): 1)具备一定的 Java 开发能力。 2)熟悉数据仓库建模理论(如维度建模)。 3)有大数据生态组件(如 Hive, Spark, HDFS 等)的使用经验。 4)了解容器化技术(Docker, Kubernetes)。 3.其他要求: - 具备良好的学习能力、分析问题和解决问题的能力。 - 工作认真负责,有较强的责任心和团队协作精神,能承受一定的工作压力。 - 具备良好的沟通能力,能够清晰表达技术方案和问题。
-
1.岗位职责:实行业主监督下的总经理负责制,与业主方高度协同、紧密配合,保持培训中心(酒店)整体运营管理目标的统一性和协调性。全面负责培训中心(酒店)后勤日常运营管理工作,完成业主下达的各项工作任务;建立和打造一支科学合理、精简高效的后勤运营团队,全面组织各部门开展工作;全面负责培训中心(酒店)安全管理工作,实现安全运营无事故;负责外部市场开发和客户维护,实现外部市场有效补充,树立良好企业形象。 2.岗位要求: (1)具备良好的思想政治素质,有较强的事业心、责任感与团队协作、吃苦耐劳的精神;身体健康,能承受较强的工作压力,有大局观念、奉献精神;具有良好的职业道德及品行操守,诚实守信、廉洁从业,无违法违纪违规行为和不良信用记录,无重大岗位风险责任。 (2)年龄要求35周岁—45周岁,大专及以上学历,酒店或旅游管理专业,条件特别优秀的适当放宽。 (3)具有至少5年以上担任酒店(宾馆)或大型培训院校物业管理总经理工作经验,有较强的沟通协调和创新能力,有良好的团队意识和领导能力,能充分执行业主的工作要求。 (4)有较强的酒店或院校后勤物业运营、管理和服务的专业能力,拥有丰富的餐饮和会议运营管理经验。在年餐饮收入1500万元以上的酒店(宾馆)担任过总经理者优先。 (5)熟悉酒店(宾馆)或院校后勤物业各部门服务及管理流程,具备酒店开业筹备工作经验者优先。 (6)具备一定的外部市场拓展能力和市场资源。 3.用工形式:酒店管理公司编制,与酒店管理公司签订劳动合同,实行单休。 4.工作地点:浙江省湖州市德清县武康镇武源街659、679号。
-
侧重开发 一、工作内容及职责: 负责调控云模型数据的日常运维与问题消缺,同时承担新一代平台前端开发任务,基于业务需求进行界面设计与功能实现。 二、任职条件: 1、精通 HTML5、CSS3、JavaScript(ES6+),熟悉浏览器原理、HTTP协议及前端性能优化。 2、熟练掌握 Vue.js 框架,具备良好的组件化开发思维。 3、熟悉 Layui、jQuery 等前端库/框架,有实际项目应用经验优先考虑。 4、具备 ECharts、H5、Canvas、Node.js 开发经验者优先考虑。 5、熟悉前端安全实践,具备良好的编码规范意识。 6、有电力相关系统开发经验者优先考虑。 7、具备良好的逻辑思维与文字表达能力,能够独立撰写技术文档、总结报告等材料者优先考虑。 8、责任心强,具备良好的沟通能力。
-
工作职责: 负责设计、开发和维护高效、稳定的数据爬虫系统; 根据业务需求,制定数据抓取策略,处理反爬机制、验证码识别、IP代理等问题; 建立数据清洗、结构化处理及存储流程,保证数据质量; 持续优化爬虫性能,提升抓取速度与稳定性; 与数据分析、产品等团队紧密协作,理解数据需求,快速响应数据抓取任务; 关注行业动态,研究新的爬取技术和反爬手段,持续提升系统能力。 任职要求: 熟练掌握至少一种编程语言(Python优先,如:Scrapy、Selenium、Playwright、Requests 等常用库); 熟悉常见网站结构、前端技术(HTML、CSS、JavaScript),能够快速分析网页数据; 熟悉常用的反爬技术及应对手段(如IP代理池、UA池、验证码识别、动态渲染处理等); 熟悉异步爬虫、分布式爬虫开发,有 Scrapy-Redis / Playwright + 分布式实践经验者优先; 熟悉常用数据库(如MySQL、MongoDB)及缓存系统(如Redis); 有大型数据采集、数据清洗、数据处理项目经验优先; 具备良好的编码习惯和文档意识,责任心强,乐于学习新技术。 加分项: 有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验; 有云原生(如 Kubernetes、Docker)、大数据(如Spark、Kafka)相关技术栈经验; 有参与过爬虫平台化、数据中台建设项目经验; 有算法基础,了解简单的图像识别(如验证码OCR识别)优先。
-
**岗位职责:** 1. 参与公司数据采集系统的设计与开发,负责网页/APP数据的爬取、清洗和存储。 2. 根据业务需求,编写高效、稳定的爬虫程序,解决反爬机制(如验证码、IP封禁等)。 3. 维护和优化现有爬虫系统,提升爬取效率及数据质量。 4. 协助团队完成数据分析和处理任务,支持业务部门的数据需求。 **必备技能:** 1. 至少掌握python或java其中一种语言开发。 2. 掌握HTTP/HTTPS协议、HTML/DOM结构、XPath/正则表达式等数据提取技术。 3. 了解JavaScript的使用 4. 了解安卓开发流程 5. 了解常见反爬策略(如User-Agent、代理IP、Cookie等)及应对方案。 6. 熟悉数据库(MySQL/MongoDB/Redis等)的基本操作。 7. 具备良好的逻辑思维能力和学习能力,能独立解决问题。 **加分项:** 1. 有过逆向复杂加密的经验 2. 了解市面上主流的风控对抗 3. 有数据清洗、ETL或数据分析经验。 4. 了解其他领域的开发,包括但不限于安卓开发,漏洞挖掘,区块链开发,黑白盒测试等。
-
岗位职责: 1.负责企业信息爬取和页面内容的提取分析,负责各类反爬机制; 2.研究爬虫策略和防频率规则; 3.负责协助项目经理进行技术评测,bug处理,代码开发; 4.负责网站数据库、栏目、程序模块的设计与开发; 5.负责根据公司要求进行crm系统迭代开发; 6.熟悉工商信息网、企查查、爱企查其中之一平台的API接口开发与维护; 任职资格: 1、本科及以上学历,有5年以上python爬虫工作经验 2、良好的代码习惯,结构清晰、命名规范、逻辑性强、代码冗余率低; 3、熟悉Mysql,有较为熟练地掌握mysql语言及编写存储过程、触发器等数据库开发的能力; 福利待遇: 带薪年假 每年调薪 五险一金 福利体检 节日福利 年终绩效 团建旅游 文体协会 季度之星 内推奖励 园区食堂 周年礼品 学历补贴:在职研补贴5万学费 工作时间:8:30-18:00,午休12:00-14:00
-
岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
-
岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
-
工作职责: 1、数据源管理:负责公司数据源的发现、评估、接入、分类和维护工作,建立数据源档案。进行市场数据源的调研、收集和测试,拓展获取渠道。 2、爬虫开发配置:在采集系统中使用Groovy等脚本语言编写网络爬虫脚本,实现数据源采集。 3、任务运维:负责爬虫任务的日常监控、维护和故障排查,确保数据采集的及时性和准确性。 4、文档编写:撰写数据采集流程、配置模板文档和运维手册。 任职要求: 1、熟悉网页前端技术(HTML/CSS/JavaScript),能使用开发者工具进行元素定位和数据提取。 2、具备Groovy等脚本语言的编写能力,熟悉WebMagic爬虫框架,能够进行任务配置和自动化。 3、了解HTTP/HTTPS协议的基本原理。 4、积极好学,有自驱力,对数据和技术有好奇心,主动学习并解决问题。 5、责任心强,对源数据质量和任务稳定性负责。 6、具备良好的沟通能力,能与其他团队有效协作。 加分项: 1、有数据中心、大数据或数据中台相关业务经验,理解数据采集在业务中的价值。 2、接触过常用的数据采集平台或调度系统,有实际的网络爬虫项目经验。 3、熟练掌握正则表达式、XPath、JSON等数据解析方法。
-
【职位描述】 1. 负责设计开发针对主流海外电商平台的大规模数据采集系统,支持商品信息、价格监控、竞品分析等业务需求。 2. 构建和维护分布式浏览器集群,实现千级并发的稳定数据抓取,处理复杂的SPA应用和动态内容渲染。 3. 研究海外电商平台的反爬机制(如Cloudflare、PerimeterX、DataDome),制定针对性的反反爬策略,包括设备指纹伪造、TLS指纹处理、行为模拟等。 4. 确保数据采集符合GDPR、CCPA等国际数据保**规,处理多语言、多货币、多时区的复杂数据场景。 5. 优化浏览器资源使用,实现成本可控的大规模部署,包括资源池管理、任务调度优化、异常恢复机制等。 【任职要求】 1. 3年以上海外电商爬虫经验,具备至少5个主流海外电商平台的数据采集项目经验,深度了解各平台的技术架构和反爬策略。 2. 大规模浏览器自动化经验:有管理500+浏览器实例的实战经验,熟练掌握Playwright、Puppeteer、Selenium Grid等工具的集群化部署。 3. 精通现代反爬对抗技术:浏览器指纹伪造(Canvas、WebGL、Audio等)、TLS/JA3指纹处理和规避、验证码自动化处理(reCAPTCHA、hCaptcha、Funcaptcha)、WAF绕过策略(Cloudflare 5s盾、BotFight Mode)。 4. 编程语言:精通Python,熟悉JavaScript/TypeScript(用于浏览器脚本开发)。 5. 框架和工具:熟练使用浏览器自动化框架(Playwright、Puppeteer、Selenium 4.0+)、代理管理(住宅代理、数据中心代理轮换策略)、容器化部署(Docker、Kubernetes环境下的浏览器集群管理)。 6. 分布式系统经验:熟悉Redis、RabbitMQ、Kafka等中间件,有构建分布式任务调度系统经验。 7. 独立完成过至少3个海外电商大型项目,单项目日均数据量100万+条,涉及多平台、多地区的复杂数据采集需求。 8. 成本控制能力:有控制单条数据采集成本的实战经验,熟悉云服务器成本优化策略。 【加分项】 1. 移动端数据采集:Android/iOS App数据采集经验,熟悉Frida、Xposed等Hook技术。 2. 协议层面突破:GraphQL API逆向分析、gRPC/protobuf协议解析、WebSocket实时数据采集。 3. AI辅助技术:机器学习模型应用于验证码识别、异常检测和自动化问题诊断、智能化反爬策略调整。 4. 海外电商业务理解:熟悉跨境电商运营模式、了解各平台的商业规则和数据价值点。
-
1.负责垂直领域的定向爬虫引擎开发优化工作 2.负责HTTP、AJAX等各类网络请求分析 3.通过爬虫定向抓取数据和解析、抽取、去重、清洗和存储 4.根据应用场景封装服务接口给内部团队调用 5.负责反封禁的研究提升爬虫抓取效率和质量 任职要求 1、深入理解网络数据抓取的工作原理与工作流程; 2、熟悉HTML、DOM、XPATH,熟练使用正则表达式; 3、擅长分析HTTP协议,能够解析、模拟HTTP传输的报文 4、掌握HTTP相关调试、分析工具,能够对网页、APP数据抓包(有手机APP脱壳、反编译能力优先考虑) 5、精通Python/C#/Java等编程; 6、一年以上大规模网页爬虫开发经验,熟练使用关系数据库(如MySQL, MSSQLsql)或NoSql数据库(如Mongodb及Redis); 7、具备独立的破解各类网站封禁及各类验证码的能力,有多线程、分布式、网络数据抓取及处理经验优先; 8、熟练使用开源技术以及框架(Nutch、Scrapy、Heritrix等)者优先; 9、熟悉Unix/Linux操作系统者优先; 10、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力,抗压能力,目标执行力,对挑战性问题充满激情。
-
工作职责 负责 X / Twitter等平台相关数据的采集与处理,包括用户数据、推文、互动数据等; 搭建高效、稳定的爬虫系统,解决登录、接口调用、反爬机制等难点; 优化数据采集流程,保障采集结果的完整性与实时性; 对采集数据进行清洗、存储和结构化处理,建立高可用数据接口; 与数据分析、产品团队合作,提供高质量的海外社交数据支持。 任职要求 本科及以上学历,计算机相关专业优先(qs前200的本科毕业); 3 年以上 Web 爬虫 / 数据采集 相关经验; 精通 Python,熟悉 Scrapy / Requests / Selenium / Playwright 等爬虫框架; 熟悉 代理池、分布式爬虫、反爬机制应对; 熟悉 MySQL / Redis / Kafka / Elasticsearch 等常见数据库与中间件; 有 海外社交平台(X / Twitter、Reddit、Telegram 等)爬虫经验 者优先; 注重代码规范,能独立解决复杂采集与反爬问题。 工作地: 上海/香港(可沟通)


