• 30k-55k 经验3-5年 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责,解决业务痛点问题; 2、提升业务风险感知能力,结合具体场景,数据指标,主动发现问题并提出解决方案,对业务风控效果负责; 3、推动智能化产品落地,不断提升平台化能力,提高风控效率; 4、研究新的产品动向和前瞻探索,借鉴业界的新思路持续优化产品策略,使反爬处于行业领先水平。 职位要求: 1、本科及以上学历,责任心强,思维逻辑严谨,对数据敏感; 2、有大型互联网公司风控策略制定经验,从事过反爬虫、流量反作弊方向工作; 3、有互联网行业安全策略管理经验,包括但不限于风险发现、制定模型或策略、推动方案落地; 4、1年以上策略产品或数据分析工作经验;熟练掌握大数据分析工具使用,不限于sql/pyspark/flink等(加分项); 5、具备攻防思维,熟练掌握常见的反爬虫技术和数据安全风险(加分项)。
  • 30k-50k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产研团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、本科及以上学历,计算机、信息安全、统计、数学等相关专业; 2、3年相关反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉 Web 安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
  • 15k-30k·14薪 经验不限 / 不限
    新零售 / 不需要融资 / 500-2000人
    岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
  • 20k-30k·13薪 经验3-5年 / 本科
    旅游|出行 / D轮及以上 / 500-2000人
    岗位职责: - 根据项目需求,负责爬虫调研、评估、开发及维护等全流程工作。 - 参与爬虫系统的架构设计、开发与优化。 - 负责攻克反爬风控手段。 - 实时监控爬虫状态,及时处理爬虫异常。 岗位要求: - 本科及以上学历,3年以上工作经验。 - 熟练掌握scrapy,selenium等相关框架,python及爬虫基础扎实。 - 熟悉各类常见的风控措施,熟悉js逆向,app逆向加分,熟悉web前端知识,能解决常见反爬问题。 - 有良好的沟通能力,及较强的责任心。 - 过往工作经历有电商、在线旅游行业爬虫经验者优先。
  • 7k-12k 经验不限 / 本科
    物联网 / 未融资 / 15-50人
    1、负责爬取HTML页面所需数据,并对数据进行清洗、解析、归档、输出等; 2、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等; 3、负责实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取,反爬虫策略研究,验证码识别等采集支撑服务建设;  5、参与公司业务平台的数据的挖掘和分析,协助进行产品改进。 任职资格 1. 本科以上,计算机或相关专业毕业,扎实的Python基础,熟悉多线程编程环境,熟悉常见开源框架; 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术; 3、熟悉Scrapy、feapder等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验; 4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究,如协议破解、模拟点击等;  5、熟悉代理IP池、Headers认证和Cookie等;
  • 20k-30k·14薪 经验1-3年 / 本科
    软件服务|咨询,数据服务|咨询 / C轮 / 500-2000人
    工作职责: 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究,难点攻关; 3、实时监控爬虫任务的执行状况,及时处理异常情况 任职要求: 1、**本科及以上学历,1年以上爬虫开发经验; 2、熟练掌握python,掌握selenium、scrapy等相关框架,爬虫基础扎实; 3、熟悉掌握MongoDB,有过数据库调优和海量数据存储经验优先; 4、精通JS防护、混淆、逆向分析等技能,熟悉各种浏览器检测/反检测手段;
  • 12k-20k 经验1-3年 / 本科
    游戏 / A轮 / 50-150人
    岗位职责: 1. 负责爬虫业务线的开发迭代,完成多平台信息和页面内容、接口的抓取工作; 2. 负责信息数据的抽取、清洗、整理等工作; 3. 负责爬虫系统的优化,监控和报警,提高爬虫脚本的稳定性和抓取效率。 任职要求: 1. 本科及以上学历,2年以上独立Python爬虫开发经验; 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块; 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架,熟悉反爬策略与应对方案; 4. 熟悉Linux开发环境,熟悉 MySql / Mongodb / Redis的基本原理,有数据清洗经验的优先; 5. 有django、flask、tornado等web框架(之一即可)的使用经验,有web项目经验的优先; 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力; 7. 有责任心,能够积极主动的发现和解决问题,化解风险。 如果您成为我公司员工,您将获得: 薪资:中电博亚将为员工提供行业内有竞争力的薪酬,确保优秀员工获得更多的认可和激励; 奖金:优秀的您将共享公司的经营业绩,奖金额度与公司年度收益及个人绩效挂钩; 基本保障福利:公司按照国家规定为员工缴纳社会保险及公积金(五险一金); 额外补充福利:餐补、车补等日常津贴,下午茶零食咖啡无限量供应; 休假:相对弹性工作制;每周双休;除国家规定的法定节假日外,将给予额外的带薪年假和带薪病假。 我们虽然独树一帜,却并不冰冷; 我们虽然行事严谨,却并不死板; 我们不害怕年轻,只害怕创意枯竭; 我们不害怕失败,只害怕止步不前; 我们喜欢朝气蓬勃的你,一起用对游戏的热爱一起创造辉煌; 我们喜欢无所畏惧的你,前人没有走过的路就让我们来开辟; 那个关于游戏的梦想,你还记得吗? 我们期待你的加入!
  • 15k-23k 经验3-5年 / 本科
    软件服务|咨询,新零售 / 不需要融资 / 500-2000人
    近期日采达到其中一项就行 1. 近期淘宝商品采集5w+ 2.PDD商品近期采集5000+ 3.抖音商品近期采集1w+ 双休+五险一金+餐补 弹性上下班 【工作职责】: 1、负责分布式网络爬虫系统及数据库的设计与开发; 2、研究及破解电商及自媒体app反爬策略,保证爬取的稳定性; 3、维护和优化已有的爬虫服务; 4、负责爬虫核心算法的策略优化研究,设计爬虫策略和防屏蔽规则,充分利用资源,提升网页抓取的效率和质量; 5、负责数据平台建设,数据清洗、处理,提供数据服务以及数据管理; 6、分析、理解大数据业务需求,设计技术方案并落地实施; 7、处理各个业务在使用数据平台过程中的各种问题,分析并给出优化方案; 8、可以独立跟进需求项目开发进度。 【任职要求】: 1、计算机相关专业,3年以上Python爬虫工作经验; 2、熟悉爬虫原理及常用的反扒技术,包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能,具备较好的前端分析技能; 2、熟悉各类HOOK框架包括单不限于frida、xposed; 3、有天猫、京东、抖音等国内主流平台任意一个平台的项目经验,有App端数据采集经验; 4、熟悉网络爬虫开发原理,对互联网各种类型数据交互模式熟悉,知道如何处理需登录网站、动态网页等各种情况下的数据采集方法; 5、熟悉selenium、Appnium、Airtest、Scrapy、pyspider等爬虫相关框架; 6、熟悉常用数据库(MySQL/Oracle/SQLSever/Redis) ,熟悉索引技术和SQL优化,了解RabbitMQ、InfluxDB。
  • 28k-50k·15薪 经验1-3年 / 本科
    消费生活 / 上市公司 / 2000人以上
    岗位职责: 1.负责公司各业务线核心数据的反爬对抗演练,持续分析反爬风控策略,完善攻击场景,沉淀攻击手法; 2.参与业务安全蓝军攻击能力的建设,保证在相关领域能够长期持续稳定有产出; 3.建设业务安全攻防演练平台,推动反爬对抗工作的平台化、自动化、例行化; 4.研究相关技术领域的前沿技术,学习、探索和设计反爬对抗领域的业界最佳实践。 岗位基本要求: 1. 熟悉Java/C/C++开发,了解打包、反编译、破解流程;熟悉脱壳、混淆对抗;熟悉Ollvm混淆、有实际的对抗经验和成熟的对抗方案;熟悉Android设备指纹、环境分析对抗 2. 熟练掌握静态分析工具 IDA 等逆向分析工具,可以熟练逆向分析Smali和汇编代码 3. 熟悉Android的Hook框架和原理、熟悉AOSP源码和Android ART 4. 熟悉常用加密解密算法 5. 对软件安全和逆向领域有强烈爱好和耐心
  • 9k-13k·13薪 经验3-5年 / 本科
    移动互联网,其他 / 不需要融资 / 15-50人
    【任职要求】 1、熟悉html/css/xpath/ajax/xml等技术,熟悉HTTP传输协议,精通网页抓取原理和整合技术,熟悉正则表达式; 2、熟悉基于COOKIE等网站登录原理,JS逆向; 3、精通Python,熟悉django框架 4、熟悉MySQL 5、熟悉linux系统环境、命令,shell、python脚本编写 6、熟悉fiddler抓包工具的使用 7、熟悉Git版本管理工具 【教育背景及从业经验】 1、计算机相关专业,大学专科及以上; 2、一年以上python开发经验,三个以上爬虫项目经验 【加分项】 善于以用户场景视角,理解功能需求。 【公司项目介绍】 自主研发车险管理ToB SaaS平台,商用10年,在车险垂直领域市场占有率高。 新人入职,一对一技术培训。 【福利】 国家规定的所有带薪假期;社保五险;零食;年度旅游;地铁口; 【上班时间】 早9晚6,双休
  • 10k-12k·13薪 经验3-5年 / 本科
    金融业,软件服务|咨询 / 未融资 / 15-50人
    职位描述: 1、负责网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取)、技术选型; 2、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、混淆加密,算法还原,so层,页面跳转等难点攻克,提升网页抓取的效率和质量; 3、对抓取后的数据进行清洗、存储等,并持续优化 平台,以便满足各种爬取业务需求。岗位要求: 1.精通Linux/UNIX,精通Python语言,至少熟练掌 握主流爬虫框架中的一种; 2.了解各种加密算法,在破解验证码方面有丰富经验,能够独立解决is反爬和模拟登陆问题; 3.熟练掌握正则表达式、XPath、CSS等网页信息抽 取技术; 4.熟悉常见反爬机制,验证码识别,IP代理池、应用 lp池、headers认证和cookie等; 5.熟练掌握应用Selenium、PhantomJS、Splash Puppeteer实施动态抓取; 6.熟悉熟练使用charles、fiddler等抓包工具者优先 7.熟悉数据清洗,能够用numpy、pandas、jieba等 8.熟悉mysal、mongodb、redis、rabbitMQ、kafk a、spark者优先; 9.对有金融数据抓取清洗经验优先; 工作时间: 8小时工作制,周一至周五(双休、国家法定节假日 )。 薪资待遇: 试用期3个月,正式入职工资6000~11000。 条件优异者,****
  • 10k-15k 经验3-5年 / 本科
    移动互联网,消费生活 / A轮 / 15-50人
    岗位职责: 1、负责PDF/Word/Excel等格式图文识别、分类、入库; 2、负责内外部网页内容抓取、去除干扰数据、标准化入库; 3、负责图片中文字内容识别、排版、纠错、标准化入库; 4、编写公共接口,为公司其他项目提供 PDF解析、网页解析、图文解析 等接口服务; 5、跟进OCR、爬虫、NLP前沿技术,将其工程化应用到公司产品中; 6、支持公司相关产品的研发工作。 任职要求: 1、**本科及以上学历;计算机、数学、信息技术、自然语言处理、数据挖掘相关专业;3年以上工作经验; 2、熟练使用 Python,熟悉相关环境部署,熟悉Linux常用命令; 3、熟悉 PyPDF2、PyMuPDF、Borb 等开源库,在项目中有实际使用经验; 4、熟悉 PaddleOCR、EasyOCR、Chineseocr、Tesseract、OpenCV 等开源库,有实际使用经验; 5、熟悉 Scrapy、Pyppeteer、Selenium,有实际使用经验; 6、熟练使用SQL,熟悉MySQL等关系型数据库; 7、有Django、Docker经验者优先; 8、工作积极主动,富有学习精神,愿意挑战高难度任务,编码规范。
  • 22k-35k·13薪 经验3-5年 / 本科
    金融 / 不需要融资 / 150-500人
    目前招聘画像: 1.资深数据爬取经验 2.数据清洗,数据处理(体量在1 T以上) 3.有算法背景,数据挖掘经验 数据处理 了解NLP算法 岗位职责: 1. 负责研究院数据采集工作,包括文本、图片、视频等多种类型数据,持续更新和扩大数据集规模; 2. 根据项目需求,快速进行数据抓取代码和清洗代码开发; 3. 协助研究团队对数据进行清洗、过滤、存储等处理工作; 4. 对数据平台存储的海量数据进行管理和维护。 岗位要求: 1. 985 211优先考虑,计算机相关专业,熟悉计算机基础知识,具有3年及以上爬虫与反爬工作经验; 2. 熟悉linux平台开发,精通Python,熟悉各种爬虫框架和工具,掌握验证码识别技术、js逆向等常用反爬技能; 3. 熟悉大数据处理的流程以及熟练使用相关的工具,具备使用、维护、调优的能力,包括但不限于Hadoop、Spark、Kafka、ELK、Flink、ClickHouse、kettle等; 4. 熟悉Socket网络编程,多线程/进程/异步code的开发,掌握TCP/IP,UDP及常见变种网络通信协议,熟练使用工具对网络协议进行报文分析和调试,熟练使用正则表达式,xpath等匹配方法,能够快速从原始数据中提取有用信息; 5. 良好的沟通能力,抗压能力强,能独立解决开发过程遇到的各类问题; 6. 有大规模项目爬取工作经验优先,有大数据处理工作经验优先。
  • 12k-18k·13薪 经验3-5年 / 本科
    社交平台,短视频,文化传媒 / 不需要融资 / 15-50人
    岗位职责: 1. 根据公司印度业务需求,对印度或其他海外地区的公开信息进行数据采集与分析工作; 2. 负责高质量的程序设计与编码,参与产品的讨论与开发实现; 3. 设计程序模板,提高扩展性,加快开发效率; 4. 研究各种网站、链接的形态,发现它们的特点和规律; 5. 解决技术疑难问题,负责业务逻辑的开发,以及API接口的对接; 6. 负责数据的解析入库,系统的监控和异常警报。 任职要求: 1. 本科学历,3年Python相关工作经验,具备互联网数据分析经验优先; 2. 熟悉Scrapy、PySpider、Selenium等主流框架; 3. 熟悉网页工作原理及逆向解析技术; 4. 熟悉正则表达式,Xpath、Beautifulsoup等网页分析技术; 5. 熟练操作Mysql或MongoDB数据库、熟悉redis缓存技术; 6. 熟悉Linux和基本的服务器维护; 7. 工作主动性强,认真负责; 8. 有爬虫或反爬机制相关工作经优先; 9. 有Java或PHP经验优先; 10. 能够与人融洽相处,善于团队合作。 福利: 1、15号前入职当月购买五险一金 2、入职享受带薪年假 3、中秋、端午等节日发放节日礼品,生日发放生日礼金 4、零食饮料随便拿 5、每月两次下午茶活动(各种披萨炸鸡奶茶) 6、年度旅游 7、按国家法定节假日放假 上班时间:朝九晚六 大小周 上班地点:距离长隆地铁口G出口200米,步行5分钟内~(地铁3号线/7号线)
  • 20k-22k 经验3-5年 / 本科
    企业服务 / 未融资 / 500-2000人
    1、本科及以上学历,计算机、信息科学、信息管理等,3年以上Python开发经验; 2、熟悉HTTP,HTTPS协议的基础知识,了解GET,POST方法,了解HTTP头中的信息,包括返回状态码,编码,user-agent,cookie,session等; 3.、熟悉Python语言, 熟练使用多进程,多线程,协程等开发爬虫任务;能设置user-agent进行数据爬取,设置代理等 4、知道什么是Request,什么是response,会使用Fiddler等工具抓取及分析简单地网络数据包; 5、 对于动态爬虫,要学会分析ajax请求,模拟制造post数据包请求,抓取客户端session等信息,对于一些简单的网站,能够通过模拟数据包进行自动登录。 6、 对于一些难搞定的网站,学会使用phantomjs+selenium抓取一些动态网页信息 7、并发下载,通过并行下载加速数据爬取;多线程的使用。
展开