• 4k-8k 经验1-3年 / 本科
    移动互联网,信息安全 / 天使轮 / 15-50人
    职责描述: 1、负责各主流网站公开数据的爬取(文本,图片,视频) 2、负责网站数据采集,分析数据来源,提高数据质量。 任职要求: 1、熟练掌握Python开发,有扎实的编程功底,熟悉常用的数据结构和算法。 2、熟悉爬虫框架,熟练掌握多线程、多进程开发; 3、能处理常见的主流网站反爬机制,并制定相应的反爬措施; 4、至少掌握一种数据库的操作,如MySQL,Mongdb等。 5、掌握验证码识别技术,有过相关爬虫项目经历,掌握APP数据爬虫者优先; 6、一年以上爬虫工作经验。
  • 18k-35k 经验3-5年 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1、负责反作弊、反爬取、模型服务等风控核心系统平台的需求分析、产品规划、产品设计,以及项目管理; 2、基于业务风控需求,规划外部数据源和系统的对接方案,推进相关系统工具的建设完善; 3、关注行业领先的风控产品,并能应用于实践。 职位要求: 1、***本科及以上学历,计算机/软件工程/信息安全/统计学/数学及相关专业优先,有技术背景优先; 2、3年以上互联网产品工作经验,有风控、反作弊、反欺诈及相关领域工作经验优先,具有较强的数据分析能力和逻辑判断能力,目标导向; 3、具备优秀的业务理解、分析能力,具备较强的平台规划和项目推进能力; 4、拥有强烈的责任心和团队合作精神,出色的学习能力; 5、具备强烈的好奇心和自我驱动力,喜欢接受挑战,追求**。
  • 15k-30k 经验3-5年 / 大专
    区块链 / 不需要融资 / 150-500人
    岗位职责 1. 负责爬虫的开发、维护和优化; 2. 搭建数据采集系统,页面化管理维护爬虫任务和状态,展示爬取情况 3. 进行爬取数据进行清洗和质量校验,为业务部门提供数据支持; 4. 支持数据部门内部应用和系统的开发 岗位要求 1. 熟练使用python语言,熟悉常见的爬虫框架,1年以上的爬虫开发经验 2. 熟悉常见的反爬机制并具有实际解决问题的反反爬经验 3. 熟悉tcp/http/ws协议等,能用常见抓包工具进行分析 4. 有web端和app端数据抓取能力,熟悉两端的数据抓取方法 5. 具备一定的web开发能力,了解前后端分离,能用主流前端框架开发相应的工具和管理系统 6. 有大数据相关经验优先:flink、spark、hdfs、hive、kafka、hbase等 7. 有舆情类项目优先 8. 有网络安全及逆向相关知识和经验优先
  • 9k-15k 经验1-3年 / 大专
    区块链 / 不需要融资 / 150-500人
    Python爬虫工程师 岗位职责 1. 负责爬虫的开发、维护和优化; 2. 搭建数据采集系统,页面化管理维护爬虫任务和状态,展示爬取情况; 3. 进行爬取数据进行清洗和质量校验,为业务部门提供数据支持; 4. 支持数据部门内部应用和系统的开发; 岗位要求 1. 熟练使用python语言,熟悉常见的爬虫框架,1年以上的爬虫开发经验; 2. 熟悉常见的反爬机制并具有实际解决问题的反反爬经验; 3. 熟悉tcp/http/ws协议等,能用常见抓包工具进行分析; 4. 有web端和app端数据抓取能力,熟悉两端的数据抓取方法; 5. 具备一定的web开发能力,了解前后端分离,能用主流前端框架开发相应的工具和管理系统; 6. 有大数据相关经验优先:flink、spark、hdfs、hive、kafka、hbase等; 7. 有舆情类项目优先 ; 8. 有网络安全及逆向相关知识和经验优先。
  • 15k-30k 经验3-5年 / 不限
    文娱丨内容 / 未融资 / 500-2000人
    工作职责 1、负责开发维护大规模分布式的数据抓取系统,设计底层架构,解决系统的吞吐瓶颈问题,提高系统的可用性。 2、负责获取互联网上允许搜索爬虫采集的公开数据的爬取、解析、清洗、入库; 3、为舆情系统,影视剧数据分析提供高效、可靠的大数据支持。 职位要求 1、熟悉爬虫系统的工作原理,掌握HTTP等互联网基础通讯协议,了解Web页面解析的基本技术,具有hacker钻研精神。 2、3年以上Java开发经验,编程基础扎实。对数据库,Kafka消息队列,redis缓存系统有一定了解。 3、对海量数据存储,高并发、高吞吐系统有一定的架构设计能力。分析问题能力强,能解决分布式系统中遇到的性能瓶颈问题。 4、对大数据分析有一定了解者优先。
  • 10k-13k 经验不限 / 本科
    数据服务、人工智能 / 未融资 / 150-500人
    (该岗位为外包岗位,优秀者入职后可转为正式员工) 职责描述: 1、负责网络爬虫,数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据,为业务部门提供数据支持。 技能要求: 1、会JS补环境; 2、会训练及协议过国内主流厂家的滑块,图标/文字点选验证码; 3、会使用docker容器; 4、计算机相关专业本科以上学历; 5、熟练的编程能力,熟悉数据结构;熟悉计算机网络的基础理论; 6、熟练的Python编程基础,熟练使用scrapy或feapder等爬虫框架;熟悉分布式爬虫;熟悉XPath等常用页面解析技术; 7、熟悉puppeteer等自动化工具的使用; 8、熟悉postgresql,mongodb等关系型或非关系型数据库; 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑;
  • 15k-30k·13薪 经验3-5年 / 本科
    NCS
    IT技术服务|咨询,网络通信 / 不需要融资 / 2000人以上
    责任 • 提供在线数据提取、数据集成和数据管理解决方案。 • 开发和维护高性能、可扩展的实用程序,以支持技术研究和数据转换。 • 优化数据处理协议和系统,以提高效率和可维护性。 • 为分布式计算平台和大数据服务的建立和维护做出贡献 • 编写文件,清楚地解释应该如何实施、验证和验证算法。 要求 • 在分布式计算、数据分析、数据转换等领域的经验 • 在云平台上进行大规模爬取的相关行业经验将得到优先考虑 • 了解核心Java/Scala者优先 • 必须有Spark的实践经验。 • HDFS(Hadoop),spark,impala,hive的实践经验。 • 数据库技术实践经验。 • 算法设计、问题解决和复杂性分析的计算机科学基础 •了解整个软件开发生命周期的专业软件工程实践和最佳实践,包括编码标准,代码审查,源代码控制管理,构建过程,测试和操作 • 能够执行Unix / Linux脚本。 • 能够在Spark中编写程序。 • 监测和处理与能力限制和业绩相关项目有关的问题。 • 分析并执行作业和查询的性能调整。
  • 15k-19k 经验1-3年 / 本科
    数据服务|咨询,人工智能服务 / B轮 / 15-50人
    岗位职责: 1、 负责爬虫项目的运维工作,以及数据的清洗提取工作; 2、 根据需求,开发App或网站的数据爬取工作; 3、 独立解决实际开发过程中碰到的各类问题。 任职要求: 1、本科或以上学历,具有实际爬虫开发、内容提取工作经验2年以上,熟练掌握Python语言,对数据敏感,具有良好的逻辑分析能力; 2、 熟悉Linux系统,精通Python编程语言,熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理,掌握requests,selenium,scrapy,pandas等模块的用法; 3、 熟悉常见的数据库,如redis、mysql等其中一种或几种,有数据清洗分析的工作经验,了解大数据平台; 4、 熟悉html,css,JavaScript等前端知识,掌握Web界面的的分析方法,熟练掌握bs4,xpath,正则等其中一种或几种常用的信息抽取技术; 5、 掌握App数据采集的常用技术,能够爬取App的数据; 6、 热爱技术,喜欢钻研,有良好的协作意识; 8、 有金融行业经验者优先。
  • 20k-40k·15薪 经验5-10年 / 本科
    软件服务|咨询,信息安全,IT技术服务|咨询 / 未融资 / 150-500人
    职位描述:  1. 负责Andriod/iOS/h5 App的加解密和数据传输分析、拆解、逆向等工作;  2. 负责大规模数据爬取工程的建立;  3. 负责行业新技术的调研和实践。  岗位要求:  1、本科及以上学历,至少3年以上逆向研发经验,有Andriod逆向或者开发经验者优先;  2、熟悉常见的编程语言Java,C/C++, ARM汇编语言,具备良好的工程素养;  3、熟练使用xposed、frida等常见的Hook技术,深入了解过技术原理的优先;  4、熟悉网络通信协议,常见的数据加解秘算法;  5、熟悉andriod系统的原理,对ROM改造有一定的了解,有群控系统开发经验的优先;  6、具备较强的技术钻研和学习能力以及良好的沟通能力和团队协作精神。
  • 15k-25k 经验1-3年 / 大专
    电商 / 未融资 / 150-500人
    一、岗位职责: 1、负责爬虫系统架构和业务开发; 2、建立完整的数据采集、解析、入库和监控流程,并不断优化迭代完善; 3、解决常见的反爬虫问题,并建立相关的系统化策略; 4、深入理解系统数据处理流程以及业务功能需求; 5、保证数据的完整性和准确性; 6、对高难度的技术问题的探索和解决有着极强的自我驱动力。 二、任职资格要求: 1、掌握Frida、XPosed、APKTool、JADX等常用逆向工具; 2、熟悉常见的Web和APP反爬手段和策略; 3、熟练掌握Python或者Javascript网络编程; 4、熟悉至少一种关系型数据库(如mysql/postgresql等); 5、计算机基础扎实,对数据结构、操作系统、计算机网络等技术技术有一定程度的掌握; 6、两年以上的爬虫开发经验,有丰富的前端JS及APP逆向工程经验; 7、热衷接受以解决业务需求为目的的技术挑战和技术攻关,并以此为乐! 加分项: 1、有大型B2C、C2C电商网站数据爬取、数据挖掘等实践经验者优先。 2、有丰富的客户端app、小程序逆向技术开发经验者优先。
  • 20k-30k 经验5-10年 / 本科
    移动互联网 / B轮 / 50-150人
    岗位职责: 1、从事网页及APP数据采集的技术工作; 2、负责设计爬虫策略及反爬规则,提升数据采集效率、完整度和稳定性; 3、负责智能采集系统设计与研发,如采集任务调度,页面解析和结构化抽取,海量数据存储和读取等。 4.、负责持续跟踪分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进,提升公司相关产品与服务的竞争力。 任职资格: 1、5年左右爬虫开发经验;能够独立承担爬虫工作; 2、熟悉JAVA/Python/go任意语言,熟悉常用的数据结构和算法;熟悉分布式、缓存、消息、搜索等机制; 3、熟悉爬虫原理、分布式架构,精通一种开源爬虫框架,熟练scrapy、feapder等一个或多个爬虫框架及原理,熟悉主流爬取技术,如协议破解、模拟点击、AST解混淆、app逆向等,能够解决封账号、封IP、验证码等问题; 4、熟悉Mysql、ES 和 kafka等使用; 5、有淘宝、拼多多等电商数据获取相关经验者优先。 6、熟悉Android逆向,有主流app逆向、风控对抗、算法破解经验
  • 15k-25k·15薪 经验3-5年 / 不限
    移动互联网,电商 / 上市公司 / 500-2000人
    工作职责: 1、负责设计、开发、维护分布式爬虫系统; 2、负责爬虫系统性能效果调优; 3、负责爬虫系统的后台监控、报警模块的开发。 任职资格: 1、精通Python ,3年以上爬虫及相关技术开发经验; 2、有1年以上App爬取经验,对so逆向有一定经验并独立做过相关分析; 3、 熟练掌握js逆向,熟悉js各种反爬措施,能解决js混淆等问题; 4、了解常见的App反爬策略,能解决IP封禁、参数加密、验证码、账号封禁等问题; 5、有大型爬虫平台开发经验,单个数据源爬取数量超过千万级; 6、工作积极主动、责任心强,具有较强的分析和解决问题的能力。 任职本岗位,你将获得如下技能: 1、如何设计实现大规模分布式爬虫系统(执行效率、资源调度策略、架构设计与优化); 2、如何处理海量数据(存储、清洗、分析); 3、如何进行特殊目标的定向分析; 4、其他不外传的技术秘笈。
  • 20k-40k·13薪 经验3-5年 / 本科
    数据服务|咨询 / A轮 / 50-150人
    岗位职责: 1、 负责scrapy爬虫项目的运维工作,以及数据的清洗提取工作; 2、 根据需求,开发App或网站的数据爬取工作; 3、 独立解决实际开发过程中碰到的各类问题。 任职要求: 1、本科或以上学历,具有实际爬虫开发、内容提取工作经验3年以上,熟练掌握Python语言,对数据敏感,具有良好的逻辑分析能力; 2、 熟悉Linux系统,精通Python编程语言,熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理,掌握requests,selenium,scrapy,pandas等模块的用法, 3、 熟悉常见的数据库,如redis、mongodb和mysql等其中一种或几种,有数据清洗分析的工作经验,了解大数据平台的基本原理; 4、 熟悉html,css,JavaScript等前端知识,掌握Web界面的的分析方法,熟练掌握bs4,xpath,正则等其中一种或几种常用的信息抽取技术; 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题; 6、 掌握App数据采集的常用技术,能够爬取App的数据; 7、 热爱技术,喜欢钻研,有分享精神,注重代码质量,工作认真细致,主动性强,执行力强,抗压能力强,有良好的协作意识; 8、 有酒店行业经验者优先。
  • 20k-40k·15薪 经验3-5年 / 本科
    工具 / 上市公司 / 500-2000人
    职位描述: 1. 负责Andriod/iOS/h5 App的加解密和数据传输分析、拆解、逆向等工作; 2. 负责大规模数据爬取工程的建立; 3. 负责行业新技术的调研和实践。 岗位要求: 1、本科及以上学历,至少3年以上逆向研发经验,有Andriod逆向或者开发经验者优先; 2、熟悉常见的编程语言Java,C/C++, ARM汇编语言,具备良好的工程素养; 3、熟练使用xposed、frida等常见的Hook技术,深入了解过技术原理的优先; 4、熟悉网络通信协议,常见的数据加解秘算法; 5、熟悉andriod系统的原理,对ROM改造有一定的了解,有群控系统开发经验的优先; 6、具备较强的技术钻研和学习能力以及良好的沟通能力和团队协作精神。
  • 20k-40k 经验3-5年 / 本科
    数据服务|咨询 / A轮 / 50-150人
    岗位职责: 1、 负责scrapy爬虫项目的运维工作,以及数据的清洗提取工作; 2、 根据需求,开发App或网站的数据爬取工作; 3、 独立解决实际开发过程中碰到的各类问题。 任职要求: 1、本科或以上学历,具有实际爬虫开发、内容提取工作经验3年以上,熟练掌握Python语言,对数据敏感,具有良好的逻辑分析能力; 2、 熟悉Linux系统,精通Python编程语言,熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理,掌握requests,selenium,scrapy,pandas等模块的用法, 3、 熟悉常见的数据库,如redis、mongodb和mysql等其中一种或几种,有数据清洗分析的工作经验,了解大数据平台的基本原理; 4、 熟悉html,css,JavaScript等前端知识,掌握Web界面的的分析方法,熟练掌握bs4,xpath,正则等其中一种或几种常用的信息抽取技术; 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题; 6、 掌握App数据采集的常用技术,能够爬取App的数据; 7、 热爱技术,喜欢钻研,有分享精神,注重代码质量,工作认真细致,主动性强,执行力强,抗压能力强,有良好的协作意识; 8、 有酒店行业经验者优先。