• 20k-30k 经验1-3年 / 硕士
    消费生活 / 上市公司 / 2000人以上
    基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。 在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。 在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。 真诚地邀请你,和我们一起驱动技术发展,创造行业价值。 岗位职责 负责设计和开发高效的抓取系统 跟踪和研究前沿技术,不断优化抓取系统 岗位基本需求 1、计算机基础扎实,具备扎实的编程能力。 2、拥有2年以上抓取技术经验,熟悉各种抓取工具和技术。 3、熟练掌握 WEB 和 APP 协议分析,能够快速定位和解决问题。 4、对常见加解密算法、常见的安全协议、抓取攻防技术有深入了解。 5、良好的沟通能力和团队协作精神。 具备以下者优先 1、具备互联网大厂爬虫经验者优先 2、具备大模型数据建设经验者优先 岗位亮点 1. 紧跟人工智能行业进展,接触到前沿技术和行业趋势,磨练出对人工智能的独到见解; 2. 参与超大规模抓取系统建设,拓宽技术视野和技术栈; 3. 参与AI大模型的数据建设全流程,了解从理论到工程实践的全面技能; 4. 与一流的人工智能团队合作,快速成长,提升自身能力; 5. 有机会参与公司的创新项目,跨足不同领域,拓宽人工智能技术的应用范围;
  • 20k-30k 经验1-3年 / 硕士
    消费生活 / 上市公司 / 2000人以上
    基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。 在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。 在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。 真诚地邀请你,和我们一起驱动技术发展,创造行业价值。 岗位职责 负责设计和开发高效的抓取系统 跟踪和研究前沿技术,不断优化抓取系统 岗位基本需求 1、计算机基础扎实,具备扎实的编程能力。 2、拥有2年以上抓取技术经验,熟悉各种抓取工具和技术。 3、熟练掌握 WEB 和 APP 协议分析,能够快速定位和解决问题。 4、对常见加解密算法、常见的安全协议、抓取攻防技术有深入了解。 5、良好的沟通能力和团队协作精神。 具备以下者优先 1、具备互联网大厂爬虫经验者优先 2、具备大模型数据建设经验者优先 岗位亮点 1. 紧跟人工智能行业进展,接触到前沿技术和行业趋势,磨练出对人工智能的独到见解; 2. 参与超大规模抓取系统建设,拓宽技术视野和技术栈; 3. 参与AI大模型的数据建设全流程,了解从理论到工程实践的全面技能; 4. 与一流的人工智能团队合作,快速成长,提升自身能力; 5. 有机会参与公司的创新项目,跨足不同领域,拓宽人工智能技术的应用范围;
  • 12k-20k 经验1-3年 / 本科
    游戏 / A轮 / 50-150人
    岗位职责: 1. 负责爬虫业务线的开发迭代,完成多平台信息和页面内容、接口的抓取工作; 2. 负责信息数据的抽取、清洗、整理等工作; 3. 负责爬虫系统的优化,监控和报警,提高爬虫脚本的稳定性和抓取效率。 任职要求: 1. 本科及以上学历,2年以上独立Python爬虫开发经验; 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块; 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架,熟悉反爬策略与应对方案; 4. 熟悉Linux开发环境,熟悉 MySql / Mongodb / Redis的基本原理,有数据清洗经验的优先; 5. 有django、flask、tornado等web框架(之一即可)的使用经验,有web项目经验的优先; 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力; 7. 有责任心,能够积极主动的发现和解决问题,化解风险。 如果您成为我公司员工,您将获得: 薪资:中电博亚将为员工提供行业内有竞争力的薪酬,确保优秀员工获得更多的认可和激励; 奖金:优秀的您将共享公司的经营业绩,奖金额度与公司年度收益及个人绩效挂钩; 基本保障福利:公司按照国家规定为员工缴纳社会保险及公积金(五险一金); 额外补充福利:餐补、车补等日常津贴,下午茶零食咖啡无限量供应; 休假:相对弹性工作制;每周双休;除国家规定的法定节假日外,将给予额外的带薪年假和带薪病假。 我们虽然独树一帜,却并不冰冷; 我们虽然行事严谨,却并不死板; 我们不害怕年轻,只害怕创意枯竭; 我们不害怕失败,只害怕止步不前; 我们喜欢朝气蓬勃的你,一起用对游戏的热爱一起创造辉煌; 我们喜欢无所畏惧的你,前人没有走过的路就让我们来开辟; 那个关于游戏的梦想,你还记得吗? 我们期待你的加入!
  • 15k-30k·14薪 经验不限 / 不限
    新零售 / 不需要融资 / 500-2000人
    岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
  • 20k-30k·14薪 经验1-3年 / 本科
    软件服务|咨询,数据服务|咨询 / C轮 / 500-2000人
    工作职责: 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究,难点攻关; 3、实时监控爬虫任务的执行状况,及时处理异常情况 任职要求: 1、**本科及以上学历,1年以上爬虫开发经验; 2、熟练掌握python,掌握selenium、scrapy等相关框架,爬虫基础扎实; 3、熟悉掌握MongoDB,有过数据库调优和海量数据存储经验优先; 4、精通JS防护、混淆、逆向分析等技能,熟悉各种浏览器检测/反检测手段;
  • 15k-20k 经验1-3年 / 本科
    移动互联网,社交 / 不需要融资 / 2000人以上
    岗位职责: 1.参与数据安全相关系统/数据的开发和维护,保证系统的高可用性和稳定性; 2.参与AI相关数据处理和AI应用研发工作; 3.参与后台系统研效提升相关工作,协调并提升团队研发效率、质量。 岗位要求: 1.掌握Golang/python语言,具备开发能力,同时掌握c++者优先; 2.熟悉Linux操作系统、网络编程,具备调试能力、问题分析能力; 3.关注并了解AI算法和技术,对AI领域有探索热情; 4.具备强烈的进取心、求知欲及团队合作精神,有很强的责任心和较强的沟通协作能力;
  • 12k-18k 经验3-5年 / 本科
    企业服务 / 未融资 / 15-50人
    岗位如下: 职位名称:高级爬虫工程师 公司:江涞互联 职位描述: 我们正在寻找一位经验丰富的高级爬虫工程师,负责开发和维护公司的爬虫程序,以及处理爬取到的数据。 工作职责: - 设计和开发爬虫程序,包括爬取网站数据、提取数据和清理数据等。 - 熟悉常用的爬虫框架,如Python中的Scrapy和BeautifulSoup等。 - 了解数据清洗和转换的技能,如pandas和NumPy等。 - 熟悉常用的数据库,如MySQL和Oracle等。 - 具有出色的代码能力,熟悉Git版本控制工具。 - 具备良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 职位要求: - 3年以上爬虫开发经验,有独立的爬虫项目开发经验。 - 熟悉常用的爬虫框架和数据清洗技能。 - 熟悉数据库和SQL语言,能够清洗和转换数据。 - 熟悉常用的开发工具和技术,如Python、JavaScript、HTML/CSS等。 - 具备良好的代码风格和规范,熟悉团队协作流程。 - 有良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 请注意,这只是一个示例职位描述,可能并不适用于所有公司。如果有任何疑问,请随时与我们联系。
  • 30k-50k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产研团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、3年相关反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉 Web 安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
  • 30k-40k·13薪 经验3-5年 / 大专
    文娱|内容,广告营销 / 未融资 / 500-2000人
    1、熟悉Scrapy,有丰富的爬虫及反爬虫相关经验 2、负责复杂验证码的破解技术调研和实现,负责爬虫技术的调研和破解 3、研究反爬机制,处理抓包,下载等环节的疑难问题 4、负责数据下载、抽取、清洗、分类、聚类等工作 5、负责爬虫核心算法的优化、充分利用资源 职位要求 1、3年爬虫经验以上 2、大规模网络内容采集系统项目经验 3、对网页数据抓取、信息提取、去重、清洗有丰富经验 4、精通爬虫相关语言,python或nodej等 5、对分布式领域有一定了解,具有开发、调试或维护的相关经验优先
  • 25k-40k 经验5-10年 / 本科
    金融 / 未融资 / 15-50人
    岗位职责: 1、负责爬虫系统架构和业务开发; 2、建立完整的数据采集、解析、入库和监控流程,并不断优化迭代完善; 3、解决常见的反爬虫问题,并建立相关的系统化策略; 4、深入理解系统数据处理流程以及业务功能需求; 5、保证数据的完整性和准确性; 6、对高难度的技术问题的探索和解决有着极强的自我驱动力。 任职要求: 1、熟悉区块链数据挖掘,掌握Frida、Xposed、APKTOOI、JADX、IDA等常用逆向工具; 2、熟悉常见的Web和APP反爬手段和策略; 3、熟练掌握Python、Javascript或Go网络编程; 4、熟悉至少一种关系型数据库(如mysql等) 5、计算机基础扎实,对数据结构、操作系统计算机网络等技术技术有一定程度的掌握; 6、五年以上的爬虫开发经验,有丰富的Web及APP逆向工程经验。
  • 18k-25k 经验不限 / 大专
    工具,电商 / 不需要融资 / 15-50人
    岗位职责: 1、负责抖音/淘宝/拼多多/1688等热门电商平台的爬取工作,包括数据抓取和爬取链路优化,提升抓取能力; 2、负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设; 3、负责大规模文本、图像数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作。 任职要求: 1、三年以上大规模爬虫/反爬经验,熟悉HTTP协议/浏览器原理/前端JS/APP抓取; 2、有解决复杂的反爬限制实践经验, 能解决如图片验证码/滑块/账号限制/ip限制等问题,熟悉反爬虫、签名破解、验证码识别技术者优先; 3、熟悉app端数据抓取(有逆向、脱壳等经验),掌握Apktool、dex2jar、JD-GUI、frida、ida等工具,能独立完成主流电商平台和主流app软件大量级的数据抓取优先; 4、有电商数据爬虫经验优先。
  • 60k-90k 经验5-10年 / 本科
    企业服务 / 不需要融资 / 150-500人
    职位描述: • 负责分布式网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)、技术选型 • 研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点攻克,提升网页抓取的效率和质量 • 把握网络爬虫核心技术研究方向,研究优化策略,提升爬虫系统的稳定性、可扩展性 • 管理并带领爬虫团队完成社交媒体数据(文本、视频、音频和图像)开发工作 职位要求: • 深度参与过至少一个分布式网络爬虫系统的架构设计; • 良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验 • 精通爬虫和反爬技术,精通底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术 • 熟悉分布式系统、多线程,精通scrapy框架以及原理,有开发爬虫框架经验 • 对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验 • 有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力,善于跨团队合作 • 良好的逻辑能力,善于把复杂问题梳理清晰,责任安排到人,完成情况监督到位
  • 40k-80k·16薪 经验5-10年 / 本科
    工具 / 不需要融资 / 15-50人
    工作职责: 1、配合逆向工程师,完成数据抓取项目的代码编写 2、负责日常的项目维护、功能迭代及优化 3、负责简单站点的数据抓取 职位描述: 1、3年以上Python开发经验,熟悉掌握python语言 2、熟悉scrapy等爬虫框架 3、熟悉redis、mongodb、mysql、es等存储方案 4、熟悉rabbitmq等消息队列 5、熟悉k8s、docker的使用 6、熟悉Linux常用命令,独立完成日常部署更新等 7、熟悉分布式爬虫架构和基本爬虫知识
  • 15k-25k 经验1-3年 / 本科
    工具 / 未融资 / 少于15人
    非杭州伙伴可以线上办公!!! 岗位职责: 1.爬虫开发、与内部系统后端开发对接;负责爬虫系统构架的数据存储设计; 2.建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 3.理解系统数据处理流程以及业务功能需求; 4.保证数据的完整性和准确性。 岗位要求: 1、熟悉js逆向、js注入、反混淆、熟悉jsRPC服务; 2、计算机相关专业专科及以上学历(有项目经验可以放宽); 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、有一定的反爬虫对抗经验,分布式爬虫布局; 5、电商类网站爬虫经验优先,有高频爬虫工作经验者优先; 6、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先。
  • 5k-10k 经验在校/应届 / 本科
    IT技术服务|咨询 / 不需要融资 / 50-150人
    工作职责: 1.负责规划、设计和开发爬虫相关系统,进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线,完成实时数据与离线数据的爬取与对接。 任职要求: 1.精通Python语言\MYSQL,熟练使用常用模块,使用过Flask web框架; 2.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理,深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理,有具体工程经验,如 scrapy / pyspider等 5.了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath等 6.对常见各类反爬方式(如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等)有一定解决经验