职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产品研发团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉Web安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产品研发团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉Web安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

岗位职责： 1. 负责爬虫产品的开发与维护； 2. 参与爬虫系统架构的设计和开发； 3. 优化爬虫系统代码、算法，提高爬虫系统的稳定性和扩展性； 4. 研究网站的反爬策略，并给出反爬措施； 5. 对抓取的数据进行清洗、预处理、入库，包括去除重复数据、处理缺失值、规范化数据格式等； 6. 维护爬虫项目代码仓库； 测试网站： 1.http://cx.cnca.cn/CertECloud/resultSn/skipResultSnFull?currentPosition=%E9%A3%9F%E5%93%81%E5%86%9C%E4%BA%A7%E5%93%81%E8%AE%A4%E8%AF%81 2.https://www.nmpa.gov.cn/datasearch/home-index.html?3jfdxVGGVXFo=*************#category=yp 岗位要求： 1. 要求至少2-3年工作经验，千万级数据采集经验 2. 熟练使用 Pyhton，熟练使用常用的爬虫框架( 比如 scrapy 等 )，了解反爬套路及破解方法 3. 熟悉 web 前端技术，对 cookie 管理、登录等流程有深入理解，熟练使用 bs4、xpath 等文本解析工具 4. 熟悉各种网络协议，熟悉 web 前端，熟悉 js、html 等 5. 熟悉 Linux 开发环境，熟悉 git 工具 6. 熟悉 Oracle、Mysql 数据库，对 Mongodb、Redis 有一定的使用经验 7. 有了解过瑞数，有验证码破解经验者优先

大模型数据采集与使用工程师（3名，初级，11月底前入职） 职责： 1、负责设计和实施数据爬取方案，包括各种攻关如爬虫验证码破解、模拟登录、数据签名解签、请求包解析等； 2、负责数据存储、管理，包括mysql、pgsql、ES、hadoop/spark、arangodb等； 3、负责使用大模型为业务场景赋能，挖掘大模型的潜能，使用场景知识+大模型为业务提效； 职位要求： 1、具有爬虫工作经验，熟悉http请求、加密解密签名基础理论、用户授权等技术，有使用深度学习算法模型经验优先； 2、熟练掌握Python、SQL语言，掌握JAVA或GO是加分项； 3、有使用过大模型并对大模型的prompt有调优经验者优先； 4、具备良好的逻辑思维和问题分析解决能力； 5、具备良好的沟通和团队合作能力，能够与其他团队合作完成项目。

岗位职责： 1.负责设计和开发网络爬虫系统，进行电商或社会媒体等平台信息的抓取和分析； 2.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3.能独立解决实际开发过程中碰到的各类问题，能主动学习掌握最新反反爬技术手段； 4.有良好的学习习惯和团队沟通协作能力，有自驱力理解好业务需求场景的落地实现； 任职资格： 1.本科及以上学历，2年以上爬虫相关工作经验； 2.熟练python等编程语言，有1年以上的scrapy框架开发经验； 3.熟练运用正则表达式和xpath，JavaScript； 4.熟练使用mysql数据库，熟悉redis等nosql数据库； 5.熟悉linux操作系统，了解web及相关技术和原理，有过后台开发经验者优先； 6.构建过分布式爬虫系统，参与过数据分析者优先。

工作职责： 1.使用爬虫技术采集指定的互联网数据 2.对采集的数据进行清洗治理 3.根据项目需求导指定的项目数据 4.维护采集框架平台，维护采集脚本 5.根据公司内部的需求编写一些数据处理小工具 任职要求： 1.本科以上学历，3年以上相关工作经验； 2.计算机相关专业 3.精通Python语言，熟练掌握主流爬虫框架中的一种；熟悉常用的库requests/gevent等； 4.了解各种加密算法，能够独立解决js反爬和模拟登陆问题； 5.熟练掌握正则表达式、XPath、CSS等网页信息抽取技术； 6. 熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等； 7. 熟练使用应用Selenium实施动态抓取； 8.熟悉熟练使用charles、fiddler等抓包工具者优先； 9. 熟悉数据清洗，能够用numpy、pandas、jieba等工具对数据进行处理者优先; 10.熟练使用sqlserver、mysql、mongodb、redis； 11.熟悉掌握rabbitMQ、kafka、spark 优先； 12.具有DBA工作经验者优先； 13.具有团队精神、积极的工作态度和对工作的责任心，有一定的稳定性。

岗位职责： 1、负责开发网络爬虫系统以及优化爬虫策略，进行多平台信息的抓取和分析； 2、完成数据采集与爬取、解析处理、入库等数据日常工作； 3、积极主动思考探索爬虫在实际业务中的价值，参与设计数据有效利用策略，从数据合理性、完整性角度提供建议； 4、把握网络爬虫核心技术研究方向，研究优化方向，提升爬虫系统的稳定性、可扩展性； 5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量。 任职要求： 1. **本科以上学历，2年以上爬虫项目经验，计算机相关专业，具备良好的计算机专业知识，有企业类数据采集经验 2. 熟悉python/java语言，具备扎实的编程功底，具有良好的程序设计能力 3. 熟悉爬虫原理，熟悉Scrapy、pyspider等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验 4. 熟悉Appium、Selenium、PhantomJS 、WebDriver等技术的应用 5. 熟练使用 python request、xpath、BeautifulSoup、正则等模块 6. 熟悉Django、flask等web框架的使用 7. 熟练使用MySQL、MongoDB，oracle 8. 业务理解和分析转化能力较强，富有进取精神及团队合作精神，责任心强，善于合作沟通，能够承受压力 加分项： 有企业类数据采集经验优先 有宏观经济类数据采集经验优先 有司法、招投标类公开数据采集经验优先 职位福利：五险一金、加班补助、交通补助、餐补、带薪年假、补充医疗保险、定期体检、员工旅游

岗位描述： 1. 负责数据抓取、清洗、融合等工作； 2. 提升数据抓取的及时性和覆盖率，有优秀抓取策略者优先； 3. 根据业务需求，高标准对数据进行加工处理。 4.对接数据标注人员，负责标注数据审核； 任职要求： 1. **本科以上学历； 2. 熟练使用Python，nodejs语言，有扎实的计算机网络基础； 3. 熟悉常用Linux命令，能够在Linux环境下开发部署测试； 4. 熟练使用MySQL，Redis，Mongo等数据库工具； 5. 熟练使用正则，xpath，bs4等解析技术，写出高覆盖率正则属加分项； 5. 熟悉JS逆向，APP逆向，渲染，拦截等。有成功破解较复杂JS混淆或点选验证码经验者优先； 6. 有耐心有责任心，具备良好的学习能力、沟通能力以及团队意识。

数据爬虫工程师 15K---20K 板块：爬虫、开发 岗位职责： 1. 负责业务需求的数据采集与爬取、解析处理、入库及备份等数据工作； 2. 研究Web、APP反爬策略，攻克技术难点，破解反爬机制，优化爬虫路由调度策略，同时负责反爬策略的设计及优化； 3. 负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量，提升网页抓取的效率和质量； 4. 设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、JS加密等难点攻克； 5. 对抓取后的网页数据进行清洗、预处理，包括去除重复内容、填充缺失值、处理异常值等； 6. 建立与维护本地数据库， 任职条件: 1. 2年及以上的网络爬虫开发经验，有web端和app端数据抓取能力，熟悉两端的数据抓取方法，计算机相关专业背景； 2. 熟悉分布式网络爬虫开发；熟悉HTTP协议, xpath，css选择器等； 3. 熟悉网页抓取原理及技术，熟悉正则表达式，从结构化的和非结构化的数据中获取信息；熟悉javascript, 网站加密逆向；能处理各种javascript加密破解； 4. 有Scrapy redis spider分布式抓取系统的开发、架构经验，至少熟悉并使用过一种主流爬虫架构，熟练编写scrapy中间件； 5. 具有丰富的反反爬经验，包括图形验证码、滑块验证码、代理IP、JS加密、so签名等； 6. 熟悉mysql、redis、kafka等数据库缓存中间件； 7. 优秀的学习能力与工作规划能力； 8. 良好工作习惯与团队合作精神，能够在跨学科环境中有效沟通。

工作职责：  负责设计、开发和维护高效、稳定的数据爬虫系统；  根据业务需求，制定数据抓取策略，处理反爬机制、验证码识别、IP代理等问题；  建立数据清洗、结构化处理及存储流程，保证数据质量；  持续优化爬虫性能，提升抓取速度与稳定性；  与数据分析、产品等团队紧密协作，理解数据需求，快速响应数据抓取任务；  关注行业动态，研究新的爬取技术和反爬手段，持续提升系统能力。 任职要求：  熟练掌握至少一种编程语言（Python优先，如：Scrapy、Selenium、Playwright、Requests 等常用库）；  熟悉常见网站结构、前端技术（HTML、CSS、JavaScript），能够快速分析网页数据；  熟悉常用的反爬技术及应对手段（如IP代理池、UA池、验证码识别、动态渲染处理等）；  熟悉异步爬虫、分布式爬虫开发，有 Scrapy-Redis / Playwright + 分布式实践经验者优先；  熟悉常用数据库（如MySQL、MongoDB）及缓存系统（如Redis）；  有大型数据采集、数据清洗、数据处理项目经验优先；  具备良好的编码习惯和文档意识，责任心强，乐于学习新技术。 加分项：  有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验；  有云原生（如 Kubernetes、Docker）、大数据（如Spark、Kafka）相关技术栈经验；  有参与过爬虫平台化、数据中台建设项目经验；  有算法基础，了解简单的图像识别（如验证码OCR识别）优先。

数据处理工程师 专业要求：计算机科学、大数据工程或相关专业 职位描述： - 负责数据获取和处理，编写高效的网络爬虫程序，从互联网上抓取关键数据 - 进行数据清洗、转换和存储，确保数据质量和可用性 - 参与数据分析和挖掘，为业务决策提供数据支持 - 参与相关技术研究和开发工作，探索数据采集和处理的创新方法 岗位要求： - 熟悉常见的网络爬虫技术和工具，有相关项目经验者优先 - 精通数据处理和分析工具，如Python、R、SQL等 - 具备扎实的数据结构和算法基础，能够优化程序性能 - 对数据敏感，具有良好的数据分析和解决问题的能力 - 具备良好的沟通能力和团队合作精神

目前招聘画像： 1.资深数据爬取经验 2.数据清洗，数据处理（体量在1 T以上） 3.有算法背景，数据挖掘经验 数据处理 了解NLP算法 岗位职责： 1. 负责研究院数据采集工作，包括文本、图片、视频等多种类型数据，持续更新和扩大数据集规模； 2. 根据项目需求，快速进行数据抓取代码和清洗代码开发； 3. 协助研究团队对数据进行清洗、过滤、存储等处理工作； 4. 对数据平台存储的海量数据进行管理和维护。 岗位要求： 1. 985 211优先考虑，计算机相关专业，熟悉计算机基础知识，具有3年及以上爬虫与反爬工作经验； 2. 熟悉linux平台开发，精通Python，熟悉各种爬虫框架和工具，掌握验证码识别技术、js逆向等常用反爬技能； 3. 熟悉大数据处理的流程以及熟练使用相关的工具，具备使用、维护、调优的能力，包括但不限于Hadoop、Spark、Kafka、ELK、Flink、ClickHouse、kettle等； 4. 熟悉Socket网络编程，多线程/进程/异步code的开发，掌握TCP/IP，UDP及常见变种网络通信协议，熟练使用工具对网络协议进行报文分析和调试，熟练使用正则表达式，xpath等匹配方法，能够快速从原始数据中提取有用信息； 5. 良好的沟通能力，抗压能力强，能独立解决开发过程遇到的各类问题； 6. 有大规模项目爬取工作经验优先，有大数据处理工作经验优先。

岗位职责： 1、负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量 2、负责大规模数据爬虫的性能优化、监控和报警，提高爬虫产品的稳定性和抓取效率 3、实时监控爬虫的状态和警报反馈   任职要求： 1、计算机或相关专业本科以上学历，5年以上爬虫工作经验； 2、熟练掌握Python开发，有代码规范和质量意识 3、有日千万级及以上的大规模数据爬虫项目经验 4、有实际大规模使用过消息队列经验，如RabitMq、Kafka等 5、了解并使用过ElasticSearch等分布式搜索引擎库 6、熟悉常见反爬机制，验证码识别，IP代理池、headers认证、cookie等 7、熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本 8、对以下社媒平台（快手、红书等）数据有实际抓取经验的优先 9、工作地点可选：北京、上海、合肥、成都、杭州、厦门、广州（公司均有办公室）

工作职责: 1.负责较为复杂的app的逆向采集工作，持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进，提升公司相关产品与服务的竞争力2.完成公开数据的采集和分析。对指定网站的信息采集配置及维护工作；3、各种爬虫技术的研发、网页信息抽取等研发和优化工作。 任职资格: 1. 本科及以上学历，较为优秀者可放宽学历要求； 2. 2年以上爬虫经验及app逆向经验; 3. 对于常见APP的反爬技术等有分析应用； 4. 能完成Android APP的抓取, Hook, Java层逆向（3-5个app以上），有So层逆向经验优先; 5. 熟练掌握软件逆向静态分析、动态调试、代码跟踪等；熟悉常见的加密、解密算法，对于风控策略有一定的应对经验； 6. 熟悉Linux平台开发，并且熟悉多线程模型编程、网络编程，熟悉HTTP、TCP/UDP协议； 7.有一定的群控开发经验优先

工作职责： 1、配合逆向工程师，完成数据抓取项目的代码编写 2、负责日常的项目维护、功能迭代及优化 3、负责简单站点的数据抓取 职位描述： 1、3年以上Python开发经验，熟悉掌握python语言 2、熟悉scrapy等爬虫框架 3、熟悉redis、mongodb、mysql、es等存储方案 4、熟悉rabbitmq等消息队列 5、熟悉k8s、docker的使用 6、熟悉Linux常用命令，独立完成日常部署更新等 7、熟悉分布式爬虫架构和基本爬虫知识 8、互联网大厂工作经验 【工作地址】上海市杨浦区黄兴路221号互联宝地