• 18k-20k·13薪 经验1-3年 / 本科
    消费生活,电商 / B轮 / 500-2000人
    岗位职责: 1、负责app的逆向、脱壳、破解工作; 2、负责PC应用程序的反编译、破解、跨进程内存采集数据工作; 3、负责网络爬虫的开发和维护; 任职要求: 1、3年以上相关工作经验,熟悉主流web反爬技术,具备实际爬虫分析能力; 2、熟悉APP防破解、防逆向、加固技术; 3、熟悉JS防护、混淆、逆向分析等技能,具备较好的前端分析技能; 4、至少熟悉一款head less浏览器,例如puppeteer等; 5、熟练掌握 Python 语言,熟练掌握至少一种主流爬虫框架,如 Scrapy; 6、熟悉 HTTP、TCP/IP 等网络通信协议; 7、熟悉正则表达式、XPath 等常见的数据抽取技术;
  • 8k-12k·13薪 经验1-3年 / 大专
    移动互联网,电商 / 不需要融资 / 2000人以上
    岗位职责: 1. 负责数据采集、解析处理、入库等工作; 2. 网络爬虫架构设计、功能开发及更新优化; 3. 负责爬虫核心算法和策略优化,熟悉采集系统的调度策略; 岗位要求: 1. 精通多种数据爬取与反爬技术; 2. 熟悉JS逆向、Android逆向分析等技能,能独立完成爬取、清洗、入库、数据处理等工作; 3. 熟练掌握Python、Java,熟练掌握网络编程; 4. 熟悉MySql、MongoDB、Redis等常用数据库; 5. 熟练使用各种hook框架; 6. 了解apktool、jd-gui、dex2jar、IDA等逆向工具的使用; 7. 热爱技术研发,高效的学习能力,注重代码质量,有良好的软件工程知识和编码规范意识; 8. 良好的沟通能力,思路清晰,善于思考,能独立分析和解决问题; 9. 强烈的责任心和团队合作精神,心态积极,能快速融入团队;
  • 8k-12k 经验1-3年 / 本科
    人工智能服务,数据服务|咨询 / 不需要融资 / 150-500人
    1、负责设计和开发网络爬虫,进行多平台网页、APP等数据的抓取和分析; 2、设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点攻克,提升网页和APP的抓取效率和质量 3、系统解决动态网页内容抓取、深度网页内容抓取、API接口数据爬取; 4、实现大规模数据的抓取及数据清洗工作。 任职要求: 1、本科及以上学历,计算机等相关专业, 2-3年及以上相关工作经验; 2、英语CET-4级以上水平,能准确理解国外网站的文档和信息(技术能力强者英语能力要求可适当放宽) 3、精通Python语言, 有Python相关的开发经验,熟练使用request、xpath、Selenium、BeautifulSoup,正则等; 4、熟悉网页抓取原理及技术,能够总结分析不同网站,网页的结构特点及规律; 5、有解决复杂反爬限制的经验,能解决如图片验证码/滑块/账号限制/IP限制等问题,具备一定JS逆向能力; 6、熟悉mysql、oracle等数据库,有过数据库调优和海量数据存储经验者优先; 7、有微信公众号,视频,APP抓取经验优先; 8、拥有良好的沟通、交流能力;做事严谨,注重细节。
  • 16k-25k 经验3-5年 / 本科
    医疗丨健康 / 未融资 / 500-2000人
    岗位职责: 1.参与爬虫系统架构设计和研发; 2.负责开发高性能抓取架构,支持业务发展; 3.负责对爬取数据进行分类和解析; 4.参与大数据系统的开发维护. 任职资格: 1、熟练掌握Python开发语言,3年以上的爬虫工作经验; 2、1-2年以上大规模网页爬虫开发经验,有前端JS逆向工程经验优先; 3、熟悉分布式系统的设计与实现,解决反爬虫、网络异常等各种常见爬虫问题; 4、熟悉app端数据抓取(有逆向、脱壳等经验),掌握Apktool、dex2jar、JD-GUI等工具,抓取过主流电商平台和主流app软件; 5、熟悉Hbase/Elasticsearch/kafka等大数据相关技术; 6、工作踏实认真,思路清晰,有强烈的责任心、优秀的协调沟通能力和团队合作精神;
  • 15k-25k·14薪 经验不限 / 本科
    新零售 / 不需要融资 / 500-2000人
    1. 参与数据采集层建设,负责公司相关产品信息和舆情的抽取、工具研发和优化工作。 2. 负责日常数据采集程序的监控和警报,快速定位问题,保证数据质量。 3. 专注电商领域,参与大规模数据采集系统的核心技术研究与开发,完善行业前沿采集措施。 4. 参与相关数仓源数据层建设。 1. 学历大专以上以及2年以上实际大规模爬虫开发相关经验 2. python语言基础扎实,良好的编程习惯,熟悉java语言,有安卓apk开发经验优先 3. 熟悉SQL及MySQL数据库。 4. 熟悉常见的页面解析工具,selenium,爬虫框架scrapy 5. 熟悉常见的pc/app抓包,xposed/frida框架至少会一种;有js反混淆,app逆向分析经验 6. 乐观自信,乐于挑战自我,不断更新自己的技术栈
  • 15k-20k 经验1-3年 / 本科
    移动互联网,文娱丨内容 / B轮 / 150-500人
    1、负责系统架构设计和模块开发,保证服务稳定、可靠、可扩展 2、研究爬虫策略和规则,解决抓取过程中的技术难点,提升抓取能力 3、负责数据抓取、清洗、处理和数据接口服务等相关的开发工作 岗位要求: 1、本科及以上学历,计算机相关专业 2、熟悉python,能够熟练在Linux环境下进行开发、调试和部署 3. 熟悉SQL,熟练使用Redis、MySQL、MongoDB等数据库工具进行开发 4、熟悉HTTP、TCP等网络协议,掌握fiddler、charles等抓包工具 5、熟悉基于Web或App的常用爬虫和反爬技术 6、具备优秀的逻辑思维能力、学习能力、沟通能力,善于分析问题/解决问题 7. 有过分布式爬虫或熟悉app逆向、反编译经验者优先
  • 8k-15k 经验3-5年 / 大专
    企业服务,工具 / 不需要融资 / 15-50人
    工作职责: 1、根据业务需求,负责设计和开发分布式的网络爬虫,定向数据的采集与爬取、解析处理、入库及备份等数据日常工作; 2、设计爬虫策略和防屏蔽规则,提升网页爬取的效率和质量; 3、能独立解决实际开发过程中遇到的各类问题。 任职资格: 1、计算机及相关专业大专及以上学历,3年以上爬虫相关经验; 2、熟练Python开发语言,熟悉Scrapy等常用爬虫框架,掌握至少一种主流的web抓包、分析工具; 3、熟练掌握javacript ,能够熟练使用XPath对DOM文档进行查询和解析; 4、了解http、https、tcp等网络协议,熟悉使用多线程,分布式爬虫开发; 5、熟悉Linux操作、正则表达式、Mysql、MongoDB、Redis等常用数据库及缓存; 6、能解决封账号、封IP、验证码识别、图像识别等问题; 7、有主流电商网站大批量数据采集经验者优先; 8、具有良好的沟通能力和团队合作意识。
  • 15k-25k·13薪 经验3-5年 / 本科
    消费生活,电商 / B轮 / 500-2000人
    岗位职责: 1、负责爬虫生态环境的搭建及优化 2、负责app的逆向、脱壳、破解工作; 3、负责PC应用程序的反编译、破解、跨进程内存采集数据工作; 4、负责网络爬虫的开发和维护; 任职要求: 1、3年以上相关工作经验,熟悉主流web反爬技术,具备实际爬虫分析能力; 2、熟悉APP防破解、防逆向、加固技术; 3、熟悉JS防护、混淆、逆向分析等技能,具备较好的前端分析技能; 4、至少熟悉一款head less浏览器,例如puppeteer等; 5、熟练掌握 Python 语言,熟练掌握至少一种主流爬虫框架,如 Scrapy; 6、熟悉 HTTP、TCP/IP 等网络通信协议; 7、熟悉正则表达式、XPath 等常见的数据抽取技术;
  • 13k-25k 经验3-5年 / 本科
    移动互联网,企业服务 / B轮 / 150-500人
    岗位要求: 1. 二年以上Python网络爬虫开发经验; 2. 负责web数据采集相关的开发,熟悉web数据的抓取、解析等开发工作; 3. 熟悉应对反爬策略的方式方法,并有成功绕过反爬策略的案例。 任职要求: 1. 熟悉python,scrapy,pyspider,Selenium 等框架,掌握基本的Xpath,Selenium等用法及Requests,lxml库,Selenium; 2. 熟悉至少一种抓包工具,熟悉使用正则表达式;熟悉HTTP传输协议,能模拟各类操作进行数据的爬取; 3. 具有较强的分析和解决问题能力,以解决技术难题为乐趣,有想法,敢于挑战;
  • 10k-15k 经验1-3年 / 本科
    企业服务,数据服务 / A轮 / 50-150人
    岗位职责: 1、参与负责公司数据采集需求的实现。 2、优化公司现有采集系统,不断提升可维护性、智能性。 3、负责公司部分现有采集程序的维护。 任职要求: 1、本科及以上计算机相关专业背景,1-2年以上数据爬取及大规模爬虫开发相关工作经验。 2、熟练掌握Java、python语言。 3、熟悉scrapy,javascript,有过一定的实际使用经验。 4、熟悉中间件redis、mysql以及mongodb。 5、具有设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析的经验。 6、能设计爬虫策略和防屏蔽规则,提升网页和APP数据抓取的效率和质量,有App反编译经验者优先; 7、能独立解决实际开发过程碰到的各类问题,能参与制定反爬安全策略。
  • 20k-30k·15薪 经验3-5年 / 本科
    汽车丨出行 / 不需要融资 / 150-500人
    工作职责: 1. 负责多平台信息爬取和网页数据提取; 2. 设计爬虫策略和防屏蔽规则,提升数据抓取效率和质量; 3. 独立解决实际开发中碰到的各类爬虫问题; 4. 分析并优化爬虫程序的技术缺陷。 5.负责数据清晰和ETL数据处理 任职要求: 1. 熟悉linux平台开发,2年以上实际爬虫项目经验; 2. 熟练掌握java或python编程语言,熟悉scrapy、pyspider、webmagic、nutch等一个或多个爬虫框架以及原理; 3. 熟练使用selenium,lxml, bs4等网页解析工具,精通xpath与正则对文本进行抓取; 4. 熟悉大数据相关技术和组件,有海量数据存储/处理经验者优先。 5.有设计基于配置的爬虫系统相关经验
  • 20k-30k 经验3-5年 / 本科
    软件服务|咨询,电商平台 / C轮 / 500-2000人
    主要工作内容描述 1.负责爬虫工程搭建,网关服务,cookie 管理,群控管理等 2.负责采集数据拉去,处理,转换,加工 3.核心能力沉淀,技术规范推行,可编写注册中心核心代码能力 4.数据应用项目开发,担任大 PM 职责,有能力推进部门核心项目 【任职资格】:1.计算机相关专业,5 年以上相关工作经验; 2.JAVA 基础扎实,精通 IO、多线程、集合等基础框架,精通分布式、缓存、消息、搜索等 机制; 3.精通 struts、Spring、MyBatis 应用框架;4.精通 docker,nginx,Tomcat 等应用服务器的 使用,熟悉 linux 常用命令,可部署系统与分析性能; 5.对大数据组件了解优先,熟悉 olap 及相关查询引擎者优先 6.具有算法服务相关经验优先
  • 15k-30k·13薪 经验5-10年 / 不限
    电商平台 / A轮 / 50-150人
    互联网 超前产品 竞争力薪资 高速发展 职位描述: 互联网公司,app store社交前50产品,竞争力薪资,高速发展 岗位职责: 1. 能独立负责跨境电商项目爬虫系统的开发维护、性能优化等。 2. 根据产品需求,完成爬虫系统后台数据分析和显示。 3. 研究爬虫核心算法和策略优化,快速解决实际开发过程碰到的各类问题。 任职要求: 1、5年以上java开发经验,2年以上大规模爬虫开发经验,熟悉浏览器原理、前端JS、AJAX等; 2、熟悉Linux开发环境,Java基础扎实,熟练掌握多线程、高并发、集群、分布式等编程技术; 3、熟悉常用爬虫框架; 4、熟悉Hadoop、Hive、Spark、Kafka、HBase等大数据相关技术; 5、熟悉基于java的TCP/IP网络通信编程,熟悉移动设备App的网络请求抓包和分析; 6、有数据可视化、Web、MySQL、Redis、MongoDB、JS等相关经验者优先;
  • 8k-15k 经验1-3年 / 本科
    区块链,企业服务,人工智能 / 不需要融资 / 15-50人
    岗位职责: 1、负责公司爬虫系统的设计与开发; 2、开发、维护爬虫系统,包括调度、抓取、维护、验证等爬虫工作; 3、负责网络数据源进行数据抓取分析,找到最优化的爬取策略,为业务部门提供数据支持; 4、负责爬虫算法的策略优化研究,提升爬虫抓取效率和质量 5、封禁与反封禁研究,在破解反爬虫方面有丰富经验; 6、负责爬虫技术难点的攻克; 职位要求: 1、计算机或相关专业专科及以上学历,2年以上爬虫工作和内容提取工作经验,有良好的编码习惯; 2、熟练掌握JavaScript,善于逆向分析,具有跟踪分析研判源码的能力 3、熟练掌握Python语言、Java语言特点及运行机制; 4、熟练掌握一种开源爬虫框架,如webmagic,scrapy等,有研发爬虫框架经验者优先; 5、熟悉常见反爬机制,验证码识别,IP代理池、应用Ip池、headers认证和cookie等; 6、熟悉Javascript 、HTML、CSS、正则表达式、XPath等信息抽取技术熟悉抓包分析请求并模拟; 7、熟练掌握应用Selenium+PhantomJS实施动态HTML抓取; 8、熟悉Selenium、Appium等技术; 9、熟悉熟练使用http代理工具charles、fiddler等; 10、熟悉mysql,mongodb等常规数据库的常规使用 11、熟练掌握Linux平台开发,能独立安装、配置、搭建开发环境,编写shell脚本; 12、善于独立分析并解决问题,如反爬应对、爬虫策略、防屏蔽规则、验证码识别技术等,能独立解决实际开发过程碰到的各类问题;
  • 15k-18k 经验1-3年 / 本科
    数据服务,人工智能 / 不需要融资 / 15-50人
    岗位职责: 1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析; 2、设计爬虫策略和防屏蔽规则,提升网页和APP数据抓取的效率和质量; 3、参与制定反爬安全策略; 4、参与文本查重相关软件项目的研究、设计、优化、改进及代码实现; 5、参与目标检测、图像/视频检索、OCR,人脸识别等图像/视频相关项目的研究和代码实现; 6、参与音频样本的比对和相似度评测代码研究和代码实现; 任职要求: 1、有扎实的算法和数据结构基础,对分布式,并发,多线程,消息队列,jvm有比较深入的了解; 2、具有大规模爬虫开发经验,了解验证码破解,js反爬,模拟登陆; 3、有ElasticSearc搜索引擎或者hadoop、大数据、网络爬虫、分词系统等其中任一开发经验,将优先考虑; 4、熟练掌握MySQL数据库或Redis、MongoDB等NoSQL数据库; 5、有做过图片OCR识别、图片比对、音视频处理等项目经验。 6、具有一定的编程能力,精通 C ++、 Python 等编程工具; 7、有熟练阅读英文文档的能力和优秀的学习能力; 8、有算法开发工作3年以上相关工作经验;