数据抓取工程师 职位描述： 1、负责搭建数据抓取系统，根据数据源头进行数据抓取，对数据抓取的及时性负责； 2、负责对抓取数据进行解析、清洗，对数据一致性、准确性负责； 3、负责相关数据抓取服务的工程建设和指标建设，对数据生产链条的健壮性、高效性负责。 任职要求： 1、本科或以上学历，有3年以上数据抓取开发经验； 2、熟练掌握Python等编程语言，具有扎实的编程基础和良好的代码风格； 3、具备丰富的爬虫开发经验，熟悉各类爬虫框架和工具，如Scrapy、Selenium等； 4、熟悉HTTP协议和常见的网页解析技术，具备良好的数据清洗和处理能力； 5、熟悉MySQL、MongoDB、Redis等； 6、具备良好的沟通和团队合作能力，能够与数据开发、后端开发人员等协作，共同完成项目目标

工作职责：  负责设计、开发和维护高效、稳定的数据爬虫系统；  根据业务需求，制定数据抓取策略，处理反爬机制、验证码识别、IP代理等问题；  建立数据清洗、结构化处理及存储流程，保证数据质量；  持续优化爬虫性能，提升抓取速度与稳定性；  与数据分析、产品等团队紧密协作，理解数据需求，快速响应数据抓取任务；  关注行业动态，研究新的爬取技术和反爬手段，持续提升系统能力。 任职要求：  熟练掌握至少一种编程语言（Python优先，如：Scrapy、Selenium、Playwright、Requests 等常用库）；  熟悉常见网站结构、前端技术（HTML、CSS、JavaScript），能够快速分析网页数据；  熟悉常用的反爬技术及应对手段（如IP代理池、UA池、验证码识别、动态渲染处理等）；  熟悉异步爬虫、分布式爬虫开发，有 Scrapy-Redis / Playwright + 分布式实践经验者优先；  熟悉常用数据库（如MySQL、MongoDB）及缓存系统（如Redis）；  有大型数据采集、数据清洗、数据处理项目经验优先；  具备良好的编码习惯和文档意识，责任心强，乐于学习新技术。 加分项：  有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验；  有云原生（如 Kubernetes、Docker）、大数据（如Spark、Kafka）相关技术栈经验；  有参与过爬虫平台化、数据中台建设项目经验；  有算法基础，了解简单的图像识别（如验证码OCR识别）优先。

1.负责垂直领域的定向爬虫引擎开发优化工作 2.负责HTTP、AJAX等各类网络请求分析 3.通过爬虫定向抓取数据和解析、抽取、去重、清洗和存储 4.根据应用场景封装服务接口给内部团队调用 5.负责反封禁的研究提升爬虫抓取效率和质量 任职要求 1、深入理解网络数据抓取的工作原理与工作流程； 2、熟悉HTML、DOM、XPATH，熟练使用正则表达式； 3、擅长分析HTTP协议，能够解析、模拟HTTP传输的报文 4、掌握HTTP相关调试、分析工具，能够对网页、APP数据抓包（有手机APP脱壳、反编译能力优先考虑） 5、精通Python/C#/Java等编程； 6、一年以上大规模网页爬虫开发经验，熟练使用关系数据库(如MySQL, MSSQLsql)或NoSql数据库(如Mongodb及Redis)； 7、具备独立的破解各类网站封禁及各类验证码的能力，有多线程、分布式、网络数据抓取及处理经验优先； 8、熟练使用开源技术以及框架（Nutch、Scrapy、Heritrix等）者优先； 9、熟悉Unix/Linux操作系统者优先； 10、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力，抗压能力，目标执行力，对挑战性问题充满激情。  

工作职责 负责 X / Twitter等平台相关数据的采集与处理，包括用户数据、推文、互动数据等； 搭建高效、稳定的爬虫系统，解决登录、接口调用、反爬机制等难点； 优化数据采集流程，保障采集结果的完整性与实时性； 对采集数据进行清洗、存储和结构化处理，建立高可用数据接口； 与数据分析、产品团队合作，提供高质量的海外社交数据支持。 任职要求 本科及以上学历，计算机相关专业优先（qs前200的本科毕业）； 3 年以上 Web 爬虫 / 数据采集 相关经验； 精通 Python，熟悉 Scrapy / Requests / Selenium / Playwright 等爬虫框架； 熟悉 代理池、分布式爬虫、反爬机制应对； 熟悉 MySQL / Redis / Kafka / Elasticsearch 等常见数据库与中间件； 有 海外社交平台（X / Twitter、Reddit、Telegram 等）爬虫经验 者优先； 注重代码规范，能独立解决复杂采集与反爬问题。 工作地： 上海/香港（可沟通）

岗位职责： 1、需求分析与方案设计：与业务团队紧密合作，理解数据采集的具体需求，包括数据类型、采集频率、目标平台等，并设计合理的手机群控数据采集方案，包括设备配置、脚本编写、任务调度等。 2、脚本开发与配置群控系统：使用Python、Java等编程语言编写数据采集脚本，实现自动化操作，搭建配置并维护手机群控系统，确保设备稳定运行，网络连接畅通。 3、数据监控与异常处理：实时监控数据采集过程，及时发现并处理异常情况，如设备故障、网络中断等，对采集到的数据进行初步清洗与校验，确保数据质量。 4、合规和隐私保护：严格遵守相关法律法规，确保数据采集活动的合法性与合规性。 任职要求： 1、熟练掌握Python、Java等至少一种编程语言。 2、熟悉Android或iOS操作系统，了解移动应用开发基础。 3、有JD、TB、PDD、MT等主流电商平台采集经验。 4、了解数据库基础，能够使用SQL进行数据查询与处理。 5、具备良好的逻辑思维与问题解决能力，能够迅速定位并解决技术难题。

岗位职责： 1、负责数据的采集与爬取、解析处理、入库等数据日常工作； 2、参与爬虫系统的数据抓取架构设计与开发 3、设计爬取、调度和抽取算法，优化系统 岗位要求: 1、熟练掌握python语言，有使用python写过爬虫经验者更佳； 2、了解scrapy或其他爬虫框架，熟悉网页抓取原理； 3、熟悉正则表达式、xpath（或Beautiful Soup4），能够从结构化和非结构化的数据中获取信息； 4、熟悉Linux，熟悉至少一种主流数据库，如Mysql、MongoDB、redis等； 5、良好的沟通和团队合作能力，主动的学习意愿和良好的学习习惯，认真负责的工作态度； 6、有强大的抗压能力及独立快速解决问题的能力。

岗位职责： 1. 负责公司数据采集系统的设计与开发，实现高效、稳定的数据爬取； 2. 根据业务需求，制定数据抓取策略，优化爬虫算法，提高数据抓取速度和准确性； 3. 负责数据清洗、去重、存储等后端处理工作，确保数据质量； 4. 跟踪分析爬虫技术的发展趋势，对现有系统进行优化升级； 5. 与其他团队密切配合，完成数据挖掘、分析等相关工作； 6. 遵守相关法律法规，确保数据采集的合规性。 岗位要求： 1. 计算机相关专业本科及以上学历，2年以上爬虫相关工作经验； 2. 熟练掌握Python、Java、C++等至少一种编程语言，具备良好的编程基础； 3. 熟悉主流的爬虫框架，如Scrapy、requests等； 4. 熟悉Web前端技术，如HTML、CSS、JavaScript等； 5. 熟悉数据库技术，如MySQL、MongoDB等； 6. 熟悉Linux操作系统，能熟练使用shell脚本； 7. 具备良好的数据结构和算法基础，能独立解决复杂问题； 8. 具备良好的沟通能力和团队协作精神，能承受工作压力； 9. 有以下经验者优先： - 有大规模分布式爬虫开发经验； - 熟悉反爬虫技术，能应对网站反爬措施； - 熟悉大数据处理技术，如Hadoop、Spark等。 薪资待遇： 1. 薪资范围：面议，根据个人能力及经验水平； 2. 享有五险一金、年终奖、项目奖金等； 3. 提供完善的职业发展路径和晋升机会； 4. 提供良好的工作环境和发展空间。 联系方式： 有意者请将个人简历发送至：[邮箱地址]，邮件主题请注明“爬虫工程师+姓名”。我们会尽快回复您的邮件，谢谢！

岗位职责 1.负责设计、开发和维护内容平台所需的分布式爬虫系统，支持从新闻、论坛、社交媒体等多渠道抓取海量数据并进行清洗、结构化和入库。 2.构建完整的数据采集与处理流程，包括网页解析、数据清洗、去重和入库等环节，确保采集数据的质量、准确性与一致性。 3.研究并应对各类反爬虫机制（如IP封禁、验证码、动态加载等），设计并实施反屏蔽策略，保证爬虫系统在复杂环境下稳定、高效运行。 4.搭建爬虫任务的监控与调度系统，实时跟踪抓取进度及性能指标，及时定位并修复抓取失败、异常或性能瓶颈等问题，持续优化爬虫效率和容错能力。 5.根据业务需求完成技术方案和系统设计，并撰写维护爬虫系统的技术文档，以支持内容分析和业务决策。 任职要求 1.精通 Golang 和 Python 编程语言，熟悉主流爬虫开发框架（如 Colly、Scrapy 等），具备较强的爬虫系统开发和维护能力。 2.具有分布式爬虫架构的设计与部署经验，能够搭建和运维分布式爬虫集群以应对海量抓取任务。 3.熟悉常见的数据处理流程，包括数据清洗、结构化及入库等，能够保证抓取数据的准确性和一致性。 4.熟练使用 Linux 操作系统及常用命令，了解自动化部署和运维流程（如 Docker、Shell 脚本等），具备独立调试和排错能力。 5.熟悉爬虫监控和任务调度工具，具备性能优化及容错设计能力，能够保证爬虫任务的高效稳定执行。 6.熟练掌握 MySQL 等关系型数据库，以及 MongoDB、Redis、Elasticsearch 等至少一种 NoSQL 存储技术。 7.熟悉代理池管理及 IP 轮换策略，能够有效应对 IP 封禁、请求限频等常见反爬虫问题。 8.具备一定的逆向工程能力，了解常见 JavaScript 混淆、接口加密方案和验证码破解技术，能够通过逆向分析提升爬取成功率。 9.理解常见的爬虫数据提取算法和反反爬策略，具备一定的算法能力，以优化数据抓取和解析效率 加分项 1.参与过海外社交项目优先 2.有过大型项目架构的优先 3.有相关开源项目的优先考虑

【岗位职责】 1、负责各大电商平台数据采集，主要是动态数据。 2、负责网页爬虫架构设计（包括基础资源，如代理池技术、反爬技术、浏览器采集技术等等）与核心技术研发。 3、负责API或者爬虫获取数据，数据解析和分析等功能的研发。 4、设计各种策略和算法，提升抓取效果；充分利用带宽资源，避免限制。 【任职资格】 1、大专以上学历，计算机及相关专业，5年以上工作经验；有大规模爬取电商（抖、快、拼、京、淘）的经验。 2、扎实的java或者python语言基础，熟悉linux平台下主流Java或者python应用开发框架及中间件，能够对Java进行代码级的调优和调试。 3、能够熟悉使用RPA工具。 4、熟悉常用的浏览器调试技术。 5、熟悉常见的反爬机制及对应的应对措施，如cookie识别。 6、精通网页爬虫、分布式、多线程开发技术。 7、能够解决封账号、封IP采集、验证码识别、图像识别等问题,解决网页抓取、信息抽取等问题,构建完善的网络信息收集平台。 8、善于主动学习，责任心强，能够承受较高的工作压力。 9、有AI营销经验优先。

岗位职责： 1、解决各类反爬问题，如JS混淆逆向、APP逆向、字体加密、极验验证码、瑞数等以及采集其它疑难杂症； 2、负责相关爬虫相关技术调研与应用，包括但不限于web/app的数据采集； 3、维护采集平台中站点的稳定采集； 4、开发和维护爬虫脚本和数据处理接口，确保系统稳定运行； 5、协助团队解决爬虫相关技术问题，完成上级安排的其他任务； 任职要求： 1、本科及以上学历，计算机相关专业； 2、3年以上大规模网页爬虫项目经验，2年以上Python开发经验，熟练掌握爬虫底层框架，如scrapy、scrapy-redis、feapder，阅读过如Scrapy-redis等底层代码实现，能够进行改写； 3、精通HTTP/HTTPS协议，能熟练使用Charles、Fiddler等抓包工具分析请求； 4、能够解决封账号、封IP、JS加密、JS混淆逆向、极验验证码、瑞数等采集等问题，具备较强的反爬能力，具备较强的提升爬虫效率的意识； 5、熟练掌握Redis及MongoDB等非关系型数据库，MySQL等关系型数据库的使用； 6、熟悉多种数据提取方法，能灵活运用JsonPath、XPath、CSS选择器和正则表达式；了解ES，Kibana； 7、熟悉HTTP/HTTPS和TCP/UDP协议以及数据抓包和分析、熟悉Linux系统和shell多线程编程； 8、优秀的分析问题和解决问题的能力、思维清晰，对解决具有挑战性问题充满激情，有极强的责任心。

职责描述: 1、负责网络公开企业、政策信息的爬虫系统的设计与开发; 2、开发、维护爬虫系统，包括调度、抓取、维护、验证等爬虫工作; 3、负责爬虫算法的策略优化研究，提升爬虫抓取效率和质量 4、封禁与反封禁研究，在破解反爬虫方面有丰富经验; 5、负责爬虫技术难点的攻克; 任职要求 1、计算机或相关专业专科及以上学历，1年以上爬虫工作和内容提取工作经验，有良好的编码习惯; 2、熟练掌握JavaScript，善于逆向分析，具有跟踪分析研判源码的能力; 3、熟练掌握一种开源爬虫框架，如，Spidy.scrapy等，有研发爬虫框架经验者优先; 4、熟悉常见反爬机制，验证码识别，IP代理池应用lp池、headers认证和cookie等; 5、熟悉Javascript 、HTML、CSS、正则表达式、XPath等信息抽取技术熟悉抓包分析请求并模拟; 6、熟练掌握应用Selenium+PhantomJS或AI工具实施动态HTML抓取; 7、熟悉Selenium、Appium等技术 8、熟悉熟练使用http代理工具charles、fddler等 9、熟悉mysql，mongodb等常规数据库的常规使用 10、熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本; 11、善于独立分析并解决问题，如反爬应对、爬虫策略、防屏蔽规则、验证码识别技术等，能独立解决实际开发过程碰到的各类问题;

岗位职责： 1、参与设计、开发、维护爬虫系统； 2、参与多平台信息的抓取和分析； 3、建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量； 5、利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求。 任职资格： 1、熟练掌握js反混淆，熟悉Rust语言有实操经验者优先； 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先； 4、熟悉linux开发环境，熟悉js语言； 5、熟悉web常见的反爬机制，精通各种反爬破解，包括但不限于：js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能。 p.s. 如是**时间对于爬虫有更深度社群交流或项目实践的小伙伴，也欢迎分享项目简历，一同交流~

岗位如下: 职位名称:高级爬虫工程师 公司:江涞互联 职位描述: 我们正在寻找一位经验丰富的高级爬虫工程师,负责开发和维护公司的爬虫程序,以及处理爬取到的数据。 工作职责: - 设计和开发爬虫程序,包括爬取网站数据、提取数据和清理数据等。 - 熟悉常用的爬虫框架,如Python中的Scrapy和BeautifulSoup等。 - 了解数据清洗和转换的技能,如pandas和NumPy等。 - 熟悉常用的数据库,如MySQL和Oracle等。 - 具有出色的代码能力,熟悉Git版本控制工具。 - 具备良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 职位要求: - 3年以上爬虫开发经验,有独立的爬虫项目开发经验。 - 熟悉常用的爬虫框架和数据清洗技能。 - 熟悉数据库和SQL语言,能够清洗和转换数据。 - 熟悉常用的开发工具和技术,如Python、JavaScript、HTML/CSS等。 - 具备良好的代码风格和规范,熟悉团队协作流程。 - 有良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 请注意,这只是一个示例职位描述,可能并不适用于所有公司。如果有任何疑问,请随时与我们联系。

非杭州伙伴可以线上办公！！！ 岗位职责： 1.爬虫开发、与内部系统后端开发对接；负责爬虫系统构架的数据存储设计； 2.建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 3.理解系统数据处理流程以及业务功能需求； 4.保证数据的完整性和准确性。 岗位要求: 1、熟悉js逆向、js注入、反混淆、熟悉jsRPC服务； 2、计算机相关专业专科及以上学历(有项目经验可以放宽）； 3、熟悉linux开发环境，熟练掌握java或python编程语言，熟悉js语言； 4、有一定的反爬虫对抗经验，分布式爬虫布局； 5、电商类网站爬虫经验优先，有高频爬虫工作经验者优先； 6、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先。

岗位职责 1、负责设计和开发分布式的网络爬虫，数据的采集与爬取、调度、监控、自动化运行等； 2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设； 3、负责Android、iOS 应用的逆向工作； 4、负责网页/APP 的数据抓取和爬取链路优化（包括 Android APP 反编译、脱壳、加密参数破解、抓取攻防等），提升抓取能力； 5、负责手机群控采集数据； 5、破解主流网站和app的反爬机制。 任职要求 1、熟练掌握Python，javascript,熟悉numpy，pandas和skiearn的使用,并有实际开发经验； 2、具备大规模通用爬虫开发经验，熟悉目前主流的一些爬虫框架； 3、熟悉HTTP、TCP等网络协议及数据抓包、分析； 4、熟练掌握至少一种数据库，有 MongoDB 或MySQL开发和维护经验者优先； 5、熟悉hive，Hadoop，spark，Hook，能独立解决实际开发过程碰到的各类问题； 6、加分项：精通软件逆向工程，精通软件加密解密知识，精通各种软件逆向工程开发工具的使用； 熟悉软件逆向分析流程，能够独立完成软件逆向工作；有成功逆向过的经历。