• 30k-55k 经验3-5年 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责,解决业务痛点问题; 2、提升业务风险感知能力,结合具体场景,数据指标,主动发现问题并提出解决方案,对业务风控效果负责; 3、推动智能化产品落地,不断提升平台化能力,提高风控效率; 4、研究新的产品动向和前瞻探索,借鉴业界的新思路持续优化产品策略,使反爬处于行业领先水平。 职位要求: 1、本科及以上学历,责任心强,思维逻辑严谨,对数据敏感; 2、有大型互联网公司风控策略制定经验,从事过反爬虫、流量反作弊方向工作; 3、有互联网行业安全策略管理经验,包括但不限于风险发现、制定模型或策略、推动方案落地; 4、1年以上策略产品或数据分析工作经验;熟练掌握大数据分析工具使用,不限于sql/pyspark/flink等(加分项); 5、具备攻防思维,熟练掌握常见的反爬虫技术和数据安全风险(加分项)。
  • 8k-10k 经验3-5年 / 本科
    消费生活,医疗|健康 / 天使轮 / 500-2000人
    工作内容: 1.APP、网站数据爬取 2.数据分析 3.数学模型 4.建立数据清洗流程 任职要求: 1.技术扎实,必须本科计算机系或相关以上 2.擅长Python,了解分布式,多线程,正则表达式(regex) 3.自主学习能力,对各种新技术有热情,领导潜力 4.有独立完成完整APP项目的经验者会优先考虑
  • 15k-30k·14薪 经验不限 / 不限
    新零售 / 不需要融资 / 500-2000人
    岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
  • 13k-18k·13薪 经验3-5年 / 大专
    移动互联网 / 未融资 / 50-150人
    任职要求: 1. 大专及以上学历,计算机相关专业,3年以上相关工作经验; 2. 熟悉使用Python语言,精通常见开源爬虫框架; 3.熟悉使用Java语言,熟悉springmvc,springcloud,能够开发微服务化接口; 4. 熟悉常用Linux命令,能够在Linux环境下开发部署测试; 5. 熟练使用MySQL,Redis,Kafka等数据库工具; 6. 熟练使用正则,xpath等解析技术,写出高覆盖率正则属加分项; 7. 熟悉JS逆向,有成功破解较复杂JS混淆或点选验证码经验者优先,熟悉APP逆向、渲染、拦截等属加分项; 8. 精通 selenium、drissionPage 网页自动化抓取技术; 9. 熟悉Charles、fiddler等抓包工具,精通网页抓取原理及技术; 10. 有耐心有责任心,具备良好的学习能力、沟通能力以及团队意识。
  • 7k-12k 经验不限 / 本科
    物联网 / 未融资 / 15-50人
    1、负责爬取HTML页面所需数据,并对数据进行清洗、解析、归档、输出等; 2、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等; 3、负责实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取,反爬虫策略研究,验证码识别等采集支撑服务建设;  5、参与公司业务平台的数据的挖掘和分析,协助进行产品改进。 任职资格 1. 本科以上,计算机或相关专业毕业,扎实的Python基础,熟悉多线程编程环境,熟悉常见开源框架; 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术; 3、熟悉Scrapy、feapder等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验; 4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究,如协议破解、模拟点击等;  5、熟悉代理IP池、Headers认证和Cookie等;
  • 8k-10k 经验3-5年 / 本科
    医疗丨健康 / 上市公司 / 150-500人
    工作内容: 1.APP、网站数据爬取 2.数据分析 3.数学模型 4.建立数据清洗流程 任职要求: 1.技术扎实,必须本科计算机系或相关以上 2.擅长Python,了解分布式,多线程,正则表达式(regex) 3.自主学习能力,对各种新技术有热情,领导潜力 4.有独立完成完整APP项目的经验者会优先考虑
  • 15k-25k 经验1-3年 / 本科
    软件服务|咨询,IT技术服务|咨询,营销服务|咨询 / D轮及以上 / 150-500人
    大模型数据采集与使用工程师(3名,初级,11月底前入职) 职责: 1、负责设计和实施数据爬取方案,包括各种攻关如爬虫验证码破解、模拟登录、数据签名解签、请求包解析等; 2、负责数据存储、管理,包括mysql、pgsql、ES、hadoop/spark、arangodb等; 3、负责使用大模型为业务场景赋能,挖掘大模型的潜能,使用场景知识+大模型为业务提效; 职位要求: 1、具有爬虫工作经验,熟悉http请求、加密解密签名基础理论、用户授权等技术,有使用深度学习算法模型经验优先; 2、熟练掌握Python、SQL语言,掌握JAVA或GO是加分项; 3、有使用过大模型并对大模型的prompt有调优经验者优先; 4、具备良好的逻辑思维和问题分析解决能力; 5、具备良好的沟通和团队合作能力,能够与其他团队合作完成项目。
  • 10k-13k 经验1-3年 / 本科
    移动互联网,电商 / 不需要融资 / 2000人以上
    岗位职责: 1.负责设计和开发网络爬虫系统,进行电商或社会媒体等平台信息的抓取和分析; 2.设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3.能独立解决实际开发过程中碰到的各类问题,能主动学习掌握最新反反爬技术手段; 4.有良好的学习习惯和团队沟通协作能力,有自驱力理解好业务需求场景的落地实现; 任职资格: 1.本科及以上学历,2年以上爬虫相关工作经验; 2.熟练python等编程语言,有1年以上的scrapy框架开发经验; 3.熟练运用正则表达式和xpath,JavaScript; 4.熟练使用mysql数据库,熟悉redis等nosql数据库; 5.熟悉linux操作系统,了解web及相关技术和原理,有过后台开发经验者优先; 6.构建过分布式爬虫系统,参与过数据分析者优先。
  • 12k-18k 经验3-5年 / 本科
    软件服务|咨询 / 不需要融资 / 50-150人
    工作职责: 1.使用爬虫技术采集指定的互联网数据 2.对采集的数据进行清洗治理 3.根据项目需求导指定的项目数据 4.维护采集框架平台,维护采集脚本 5.根据公司内部的需求编写一些数据处理小工具 任职要求: 1.本科以上学历,3年以上相关工作经验; 2.计算机相关专业 3.精通Python语言,熟练掌握主流爬虫框架中的一种;熟悉常用的库requests/gevent等; 4.了解各种加密算法,能够独立解决js反爬和模拟登陆问题; 5.熟练掌握正则表达式、XPath、CSS等网页信息抽取技术; 6. 熟悉常见反爬机制,验证码识别,IP代理池、应用Ip池、headers认证和cookie等; 7. 熟练使用应用Selenium实施动态抓取; 8.熟悉熟练使用charles、fiddler等抓包工具者优先; 9. 熟悉数据清洗,能够用numpy、pandas、jieba等工具对数据进行处理者优先; 10.熟练使用sqlserver、mysql、mongodb、redis; 11.熟悉掌握rabbitMQ、kafka、spark 优先; 12.具有DBA工作经验者优先; 13.具有团队精神、积极的工作态度和对工作的责任心,有一定的稳定性。
  • 8k-10k 经验1-3年 / 大专
    软件开发 / 未融资 / 15-50人
    岗位职责: 1、负责开发网络爬虫系统以及优化爬虫策略,进行多平台信息的抓取和分析; 2、完成数据采集与爬取、解析处理、入库等数据日常工作; 3、积极主动思考探索爬虫在实际业务中的价值,参与设计数据有效利用策略,从数据合理性、完整性角度提供建议; 4、把握网络爬虫核心技术研究方向,研究优化方向,提升爬虫系统的稳定性、可扩展性; 5、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量。 任职要求: 1. **本科以上学历,2年以上爬虫项目经验,计算机相关专业,具备良好的计算机专业知识,有企业类数据采集经验 2. 熟悉python/java语言,具备扎实的编程功底,具有良好的程序设计能力 3. 熟悉爬虫原理,熟悉Scrapy、pyspider等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验 4. 熟悉Appium、Selenium、PhantomJS 、WebDriver等技术的应用 5. 熟练使用 python request、xpath、BeautifulSoup、正则等模块 6. 熟悉Django、flask等web框架的使用 7. 熟练使用MySQL、MongoDB,oracle 8. 业务理解和分析转化能力较强,富有进取精神及团队合作精神,责任心强,善于合作沟通,能够承受压力 加分项: 有企业类数据采集经验优先 有宏观经济类数据采集经验优先 有司法、招投标类公开数据采集经验优先 职位福利:五险一金、加班补助、交通补助、餐补、带薪年假、补充医疗保险、定期体检、员工旅游
  • 25k-50k·14薪 经验1-3年 / 本科
    人工智能 / 不需要融资 / 15-50人
    岗位描述: 1. 负责数据抓取、清洗、融合等工作; 2. 提升数据抓取的及时性和覆盖率,有优秀抓取策略者优先; 3. 根据业务需求,高标准对数据进行加工处理。 4.对接数据标注人员,负责标注数据审核; 任职要求: 1. **本科以上学历; 2. 熟练使用Python,nodejs语言,有扎实的计算机网络基础; 3. 熟悉常用Linux命令,能够在Linux环境下开发部署测试; 4. 熟练使用MySQL,Redis,Mongo等数据库工具; 5. 熟练使用正则,xpath,bs4等解析技术,写出高覆盖率正则属加分项; 5. 熟悉JS逆向,APP逆向,渲染,拦截等。有成功破解较复杂JS混淆或点选验证码经验者优先; 6. 有耐心有责任心,具备良好的学习能力、沟通能力以及团队意识。
  • 12k-24k 经验不限 / 不限
    其他 / 不需要融资 / 15-50人
    数据爬虫工程师 15K---20K 板块:爬虫、开发 岗位职责: 1. 负责业务需求的数据采集与爬取、解析处理、入库及备份等数据工作; 2. 研究Web、APP反爬策略,攻克技术难点,破解反爬机制,优化爬虫路由调度策略,同时负责反爬策略的设计及优化; 3. 负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量,提升网页抓取的效率和质量; 4. 设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、JS加密等难点攻克; 5. 对抓取后的网页数据进行清洗、预处理,包括去除重复内容、填充缺失值、处理异常值等; 6. 建立与维护本地数据库, 任职条件: 1. 2年及以上的网络爬虫开发经验,有web端和app端数据抓取能力,熟悉两端的数据抓取方法,计算机相关专业背景; 2. 熟悉分布式网络爬虫开发;熟悉HTTP协议, xpath,css选择器等; 3. 熟悉网页抓取原理及技术,熟悉正则表达式,从结构化的和非结构化的数据中获取信息;熟悉javascript, 网站加密逆向;能处理各种javascript加密破解; 4. 有Scrapy redis spider分布式抓取系统的开发、架构经验,至少熟悉并使用过一种主流爬虫架构,熟练编写scrapy中间件; 5. 具有丰富的反反爬经验,包括图形验证码、滑块验证码、代理IP、JS加密、so签名等; 6. 熟悉mysql、redis、kafka等数据库缓存中间件; 7. 优秀的学习能力与工作规划能力; 8. 良好工作习惯与团队合作精神,能够在跨学科环境中有效沟通。
  • 22k-35k·13薪 经验3-5年 / 本科
    金融 / 不需要融资 / 150-500人
    目前招聘画像: 1.资深数据爬取经验 2.数据清洗,数据处理(体量在1 T以上) 3.有算法背景,数据挖掘经验 数据处理 了解NLP算法 岗位职责: 1. 负责研究院数据采集工作,包括文本、图片、视频等多种类型数据,持续更新和扩大数据集规模; 2. 根据项目需求,快速进行数据抓取代码和清洗代码开发; 3. 协助研究团队对数据进行清洗、过滤、存储等处理工作; 4. 对数据平台存储的海量数据进行管理和维护。 岗位要求: 1. 985 211优先考虑,计算机相关专业,熟悉计算机基础知识,具有3年及以上爬虫与反爬工作经验; 2. 熟悉linux平台开发,精通Python,熟悉各种爬虫框架和工具,掌握验证码识别技术、js逆向等常用反爬技能; 3. 熟悉大数据处理的流程以及熟练使用相关的工具,具备使用、维护、调优的能力,包括但不限于Hadoop、Spark、Kafka、ELK、Flink、ClickHouse、kettle等; 4. 熟悉Socket网络编程,多线程/进程/异步code的开发,掌握TCP/IP,UDP及常见变种网络通信协议,熟练使用工具对网络协议进行报文分析和调试,熟练使用正则表达式,xpath等匹配方法,能够快速从原始数据中提取有用信息; 5. 良好的沟通能力,抗压能力强,能独立解决开发过程遇到的各类问题; 6. 有大规模项目爬取工作经验优先,有大数据处理工作经验优先。
  • 5k-10k 经验在校/应届 / 本科
    IT技术服务|咨询 / 不需要融资 / 50-150人
    工作职责: 1.负责规划、设计和开发爬虫相关系统,进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线,完成实时数据与离线数据的爬取与对接。 任职要求: 1.精通Python语言\MYSQL,熟练使用常用模块,使用过Flask web框架; 2.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理,深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理,有具体工程经验,如 scrapy / pyspider等 5.了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath等 6.对常见各类反爬方式(如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等)有一定解决经验
  • 移动互联网,金融 / 不需要融资 / 15-50人
    岗位职责: 1、负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量 2、负责大规模数据爬虫的性能优化、监控和报警,提高爬虫产品的稳定性和抓取效率 3、实时监控爬虫的状态和警报反馈   任职要求: 1、计算机或相关专业本科以上学历,5年以上爬虫工作经验; 2、熟练掌握Python开发,有代码规范和质量意识 3、有日千万级及以上的大规模数据爬虫项目经验 4、有实际大规模使用过消息队列经验,如RabitMq、Kafka等 5、了解并使用过ElasticSearch等分布式搜索引擎库 6、熟悉常见反爬机制,验证码识别,IP代理池、headers认证、cookie等 7、熟练掌握Linux平台开发,能独立安装、配置、搭建开发环境,编写shell脚本 8、对以下社媒平台(快手、红书等)数据有实际抓取经验的优先 9、工作地点可选:北京、上海、合肥、成都、杭州、厦门、广州(公司均有办公室)
展开