• 14k-20k·13薪 经验3-5年 / 本科
    工具类产品,软件服务|咨询,IT技术服务|咨询 / 不需要融资 / 500-2000人
    岗位职责:1、独立负责业务模块,完成较复杂的开发任务; 2、带领新同学一起完成业务开发工作,对其他开发人员的代码做Code Review; 3、准确理解业务,与业务方进行有效沟通推进业务落地; 4、做复杂问题的攻关(如性能优化、疑难杂症调试等),对负责模块的疑难技术问题进行排查。  岗位要求:1、3年以上计算机行业的工作经验; 2、JAVA基础扎实,理解io、多线程、集合等基础框架,对JVM原理有一定的了解;熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息等机制,了解多线程及高性能的设计与编码及性能调优; 3、具有较好的系统模块运维和线上问题排查能力; 4、掌握常用的设计模式,能独立完成功能模块的系分和开发,能够清楚考虑程序功能、性能和扩展性; 5、具有良好的沟通能力和团队合作精神,有不错的分析和解决问题的能力。
  • 15k-30k·14薪 经验不限 / 不限
    新零售 / 不需要融资 / 500-2000人
    岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
  • 7k-12k 经验不限 / 本科
    物联网 / 未融资 / 15-50人
    1、负责爬取HTML页面所需数据,并对数据进行清洗、解析、归档、输出等; 2、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等; 3、负责实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取,反爬虫策略研究,验证码识别等采集支撑服务建设;  5、参与公司业务平台的数据的挖掘和分析,协助进行产品改进。 任职资格 1. 本科以上,计算机或相关专业毕业,扎实的Python基础,熟悉多线程编程环境,熟悉常见开源框架; 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术; 3、熟悉Scrapy、feapder等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验; 4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究,如协议破解、模拟点击等;  5、熟悉代理IP池、Headers认证和Cookie等;
  • 5k-10k 经验在校/应届 / 本科
    IT技术服务|咨询 / 不需要融资 / 50-150人
    工作职责: 1.负责规划、设计和开发爬虫相关系统,进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线,完成实时数据与离线数据的爬取与对接。 任职要求: 1.精通Python语言\MYSQL,熟练使用常用模块,使用过Flask web框架; 2.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理,深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理,有具体工程经验,如 scrapy / pyspider等 5.了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath等 6.对常见各类反爬方式(如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等)有一定解决经验
  • 18k-22k·13薪 经验5-10年 / 本科
    数据服务 / 不需要融资 / 50-150人
    岗位名称:爬虫工程师 岗位职责: 1、负责爬虫、逆向相关技术的研究和实现工作,比如APP逆向破解、小程序破解、分布式爬虫、验证码破解、反爬机制的研究等等。 2、设计爬虫策略和防屏蔽规则,提升抓取的效率和质量。 3、负责公司爬虫的核心算法以及策略优化,熟悉采集系统的调度策略。 4、负责现有部分爬虫的完善、维护工作,实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。 5、能独立解决实际开发过程碰到的各类问题。 任职要求: 1、本科及以上学历,计算机相关专业; 2、至少3年及以上爬虫逆向经验; 3、精通Python/Java语言至少一种,具有扎实的计算机基础和编程能力,熟悉常见的算法与数据结构,具有优秀的逻辑思维能力; 4、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 5、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究; 6、熟悉Mysql,redis,有过数据库调优和海量数据存储经验优先; 7、熟悉常用网络协议、数据存储和数据处理技术; 8、熟悉linux系统环境、命令,shell、python脚本编写; 9、有电商网站、电商APP采集经验优先; 10、对爬虫技术有专研精神;
  • 13k-18k·13薪 经验3-5年 / 大专
    移动互联网 / 未融资 / 50-150人
    任职要求: 1. 大专及以上学历,计算机相关专业,3年以上相关工作经验; 2. 熟悉使用Python语言,精通常见开源爬虫框架; 3.熟悉使用Java语言,熟悉springmvc,springcloud,能够开发微服务化接口; 4. 熟悉常用Linux命令,能够在Linux环境下开发部署测试; 5. 熟练使用MySQL,Redis,Kafka等数据库工具; 6. 熟练使用正则,xpath等解析技术,写出高覆盖率正则属加分项; 7. 熟悉JS逆向,有成功破解较复杂JS混淆或点选验证码经验者优先,熟悉APP逆向、渲染、拦截等属加分项; 8. 精通 selenium、drissionPage 网页自动化抓取技术; 9. 熟悉Charles、fiddler等抓包工具,精通网页抓取原理及技术; 10. 有耐心有责任心,具备良好的学习能力、沟通能力以及团队意识。
  • 7k-13k 经验1-3年 / 大专
    科技金融,人工智能服务,数据服务|咨询 / 不需要融资 / 15-50人
    (一)岗位描述: 1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析 2、负责信息抽取、数据清洗等研发和优化工作 3、负责抓取数据的深度提取和挖掘 4、参与爬虫核心算法的策略优化研究,提升网页抓取的效率和质量。 (二)任职要求: 1、熟悉linux平台开发,精通Python 2、精通网页、APP抓取原理及技术,精通正则表达式,从结构化的和非结构化的数据中获取信息 3、有分布式网络爬虫开发经验,熟悉Scrapy\PySpider等采集框架,掌握验证码识别技术、Ajax网页采集技术以及爬虫高并发技术,流式处理经验者优先; 4、熟悉Mysql,有过数据库调优和海量数据存储经验优先 5、学习能力强,有较好的沟通能力,能迅速融入团队
  • 7k-13k 经验不限 / 本科
    专业服务|咨询,数据服务|咨询,软件服务|咨询 / 未融资 / 少于15人
    公司简介: 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干,工程师远程办公,自由承接项目,薪资范围约为时薪200元,日薪600元,周薪4000元,月薪10000-20000元,具体与承接的项目有关。 招聘需求: 爬虫工程师 岗位职责:采集客户指定的网页/app/小程序/公众号等公开可见数据,编写客户指定的采集程序、源代码。 岗位要求:熟悉常见反爬封禁策略,并具备相关的实战经验,具有js逆向、app逆向、混淆、脱壳等应对能力。
  • 10k-12k·13薪 经验1-3年 / 大专
    信息安全 / 上市公司 / 50-150人
    工作内容: 1. 负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库; 2. 负责用python语言实现产品的后端研发; 3. 负责高质量的设计和编码; 4. 承担重难点技术攻坚任务; 5. 参与产品的讨论和开发实现; 岗位要求: 1. 二年以上工作经验良好的计算机基础知识,熟悉常用的数据结构和算法; 2. 能运用python进行各类数据处理,熟悉pandas、numpy等常用python数据处理包,有机器学习相关经验优先; 3. 熟悉python后台开发,有完整的项目开发经验,熟练使用Django或flask框架, 熟悉Restful设计规范; 4. 熟悉Windows及Linux下python的安装、部署及调试以及Docker部署; 5. 熟悉MySQL、SQL 和主流NoSQL数据库 6. 对项目安全性问题和并发问题有一定理解和相应的解决方法 7. 有良好的沟通能力,团队协作能力,对新技术敏感,有良好的代码习惯,结构清晰,命名规范,熟悉设计模式,随时贯彻最优开发思想。
  • 10k-13k 经验不限 / 本科
    数据服务、人工智能 / 未融资 / 150-500人
    (该岗位为外包岗位,优秀者入职后可转为正式员工) 职责描述: 1、负责网络爬虫,数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据,为业务部门提供数据支持。 技能要求: 1、会JS补环境; 2、会训练及协议过国内主流厂家的滑块,图标/文字点选验证码; 3、会使用docker容器; 4、计算机相关专业本科以上学历; 5、熟练的编程能力,熟悉数据结构;熟悉计算机网络的基础理论; 6、熟练的Python编程基础,熟练使用scrapy或feapder等爬虫框架;熟悉分布式爬虫;熟悉XPath等常用页面解析技术; 7、熟悉puppeteer等自动化工具的使用; 8、熟悉postgresql,mongodb等关系型或非关系型数据库; 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑;
  • 10k-20k 经验1-3年 / 本科
    音频|视频媒体 / 不需要融资 / 150-500人
    职位描述: 1. 负责爬虫系统的架构设计,功能开发,日常维护; 2. 负责第三方数据集成系统的日常维护; 职位要求: 1. 本科以上学历,3年以上开发经验,其中1年以上爬虫开发经验; 2. 熟悉Linux,精通Python; 3. 熟悉http协议,有网络编程经验; 4. 熟悉Javascript,html,css; 5. 精通网页抓取原理和相关技术,精通正则表达式,xpath,css selector,熟悉Scrapy框架的 使用; 6. 熟悉面向对象编程; 7. 具有良好的沟通能力,团队合作精神; 8. 学习能力强,工作负责认真,有AI人工智能相关经验者优先。
  • 15k-20k 经验3-5年 / 本科
    移动互联网,社交 / B轮 / 150-500人
    岗位职责 1、 根据业务需求,负责设计和开发短视频平台网络爬虫系统,并进行清洗提取; 2、 设计爬虫策略和防屏蔽规则,提升爬取的效率和质量; 任职要求 1、 计算机相关专业,本科以上学历,1年以上爬虫开发经验; 2、 熟悉Python、计算机网络,熟悉使用多线程,熟悉Scrapy等常用爬虫框架; 3、 有短视频平台的数据抓取经验、熟悉IP池、cookie池等使用; 4、 具有良好的沟通能力和团队合作意识;
  • 7k-10k·13薪 经验1-3年 / 本科
    企业服务,数据服务 / 不需要融资 / 15-50人
    岗位职责: 1、负责公司现有爬虫平台的维护、爬虫脚本开发等; 2、负责产品及研发的数据采集需求,研究网页特点,开发数据采集脚本,保证数据稳定、高效地采集和解析; 3、负责分布式数据采集平台的架构设计与研发落地,完善公司数据采集平台的建设; 岗位要求 1、计算机相关专业,一年及以上公司数据采集相关工作经验; 2、编程基本功扎实,熟悉常用数据结构, 熟悉Linux系统及其运维工作; 3、熟练Python、Java等语言;熟练掌握一种或多种数据采集框架; 4、熟悉WEB协议采集、多线程技术、分布式数据采集技术; 5、具备良好的分析解决问题能力,自我学习能力和钻研技术精神; 6、拥有自驱力,能够激发自己的创造力和对于本职工作的热情,充满热忱及正能量; 7、有大数据开发经验者优先。
  • 11k-22k·13薪 经验不限 / 本科
    企业服务 / A轮 / 15-50人
    职位描述 1、参与爬虫项目的架构设计、研发工作,改进和提升爬虫效率,对反反爬虫技术难点攻坚; 2、设计爬虫策略及系统监控,提升抓取效率和稳定性,参与分布式爬虫和数据采集系统的架构设计和开发 3、解决各类技术疑难问题,以及日常维护工作 4、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗 岗位要求: 1、本科及以上学历、计算机相关专业毕业; 2、熟悉Python-Scrapy、Selenium; 3、要有反爬经验,有滑块验证码经验者优先考虑; 4、对数据采集,浏览器原理等有经验者(尤其是对postgre sql或mysql有经验者 )优先考虑; 5、具备很强的责任心和使命感,深信以数据来分析和优化业务、提供决策支持具有重要价值; 6、对数据敏感,工作细致,能在大量数据中发现规律和异常。
  • 22k-25k 经验1-3年 / 本科
    软件服务|咨询 / C轮 / 500-2000人
    岗位描述: 负责爬虫策略与方案制定,爬虫系统架构设计与开发; 负责网站、APP等大规模文本、图片数据抓取,爬虫核心算法优化,提升爬虫效率和质量; 专注于垂直领域数据爬取,并进行多平台信息分析,参与企业数据建设。 任职要求: ***本科以上学历,3年以上开发经验,计算机相关专业优先。有爬虫和反爬虫经验者优先,有大数据爬虫经验尤佳; 熟悉HTTP、TCP等网络协议,精通httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等爬虫相关技术;掌握fiddler、charles等抓包工具;至少熟悉并使用过一种主流爬虫架构,如Scrapy、Gocolly、Webmagic等;有分布式爬虫或熟悉app逆向、反编译经验者优先; 熟悉Python/PHP/JavaScript等至少一种语言;熟悉Mysql、Nosql数据库设计,熟悉Redis技术和ElasticSearch; 积极正向,具备良好的沟通能力和团队合作能力。