• 20k-40k 经验在校/应届 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息,参与爬虫系统的建设与优化; 2、参与解决爬虫技术疑难问题,提升大规模分布式数据采集效果。 职位要求: 1、在读计算机相关专业**本科或研究生学历,对爬虫抓取相关技术感兴趣; 2、熟练Python/Java/C++其中一门语言,具备扎实的代码能力和数据结构算法功底; 3、良好的学习能力以及分析问题、解决问题的能力,主动性强; 4、有爬虫抓取相关项目经验者优先。
  • 20k-40k 经验3-5年 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1. 遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息,参与爬虫系统的建设与优化; 2. 负责分布式爬虫系统的建设,优化数据调度、抓取、解析、存储全栈流程; 3. 帮助团队攻克各种爬虫技术难关,提升海量数据系统的抓取效果与性能。 职位要求: 1. 本科及以上学历,2年以上爬虫抓取采集相关工作经验; 2. 熟悉主流爬取技术及爬虫框架工具,如Selenium/Puppeteer/Scrapy/PhantomJS等; 3. 熟悉Python/Java/Go/C++其中一种语言,具备扎实的编码能力; 4. 熟悉常见反爬封禁策略,并具备相关的实战经验; 5. 加分项:逆向、混淆、脱壳、分布式、数据分析、数据挖掘。
  • 25k-45k·16薪 经验3-5年 / 本科
    居住服务 / 上市公司 / 2000人以上
    【职位描述】 1、从web和APP端获取包括图片、文本等相关数据。 2、熟悉分布式爬虫、APP爬虫相关架构,设计爬虫策略和反爬规则。 3、参与业务功能需求探讨,理解系统数据处理流程,提升数据完整度。 【任职要求】 1、熟悉web、app抓取原理及技术,熟悉正则表达式,熟悉常用的爬虫网络框架及重要组件。 2、熟悉Linux开发环境和数据库、熟悉Java、Python、PHP中的一种、熟悉Http协议和REST。 3、有垂直领域数据爬取经验者优先、有反爬虫经验者优先。 4、两年以上的爬虫项目经验。
  • 13k-20k·13薪 经验1-3年 / 本科
    企业服务 / 不需要融资 / 500-2000人
    职位信息:1、负责业务所涉及数据的爬取、清洗、结构化、入库;2、负责设计、开发、维护爬虫项目并监控爬虫任务;3、负责爬虫的性能优化,如:处理性能,爬取策略,占用带宽,反爬虫机制等方面;岗位要求:1、本科及以上学历,优秀者,可接受专科,2年以上python爬虫经验。2、熟悉mysql/postgresql/redis等至少一种数据库。3、熟悉多进程编程、网络编程、http、tcp协议优先。4、有海量数据爬取、解析、清洗、存储相关项目经验优先。5、熟悉掌握至少一种开源爬虫框架(scrapy,appium,selenium等)。6、熟练掌握动态网页抓取,浏览器模拟抓取,app抓取等技术,熟悉使用fiddler或其他抓包工具。7、具有解决反爬限制实战经验,如图片验证滑块验证ip限制等问题。8、具有钻研精神,有解决技术难题的态度和决心。9、熟悉算法、有算法开发经验优先。福利待遇:1、零售信息化知名企业,B端业务,拥有一定品牌知名度,风口行业;2、全额五险二金(包含补充公积金),年终奖1-3个月,免费入职体检;3、办公环境良好,技术氛围浓厚,冰箱、微波炉一应俱全;4、年轻活力,高素质的90后团队,本科比例高达95%以上;5、不定期举办技术分享,一年两次晋升机会,重视内部晋升;6、丰富的公司及员工活动:年度旅游、每月团建、节假日福利、羽毛球赛、狼人杀比赛、桌球、篮球等;
  • 15k-30k 经验1-3年 / 本科
    人工智能服务 / B轮 / 150-500人
    工作职责:1. 负责电商网站爬虫项目的开发维护、性能优化等,。2. 研究和破解电商网站的反爬措施(如IP校验、自动登录、验证码、加密token等),保证爬取网页的速度和稳定性。3. 从网页数据中,提取、清洗、转换和存储数据,实时监控爬虫的进度并预警。4. 开发和维护爬虫框架,快速解决实际开发过程碰到的各类问题。任职条件:1. 了解常见的反爬虫机制,具有对抗电商网站反爬虫的项目经验,能攻破反爬虫并获取数据。2. 熟悉HTTP协议、网页动态渲染技术,能抓包分析数据接口。3. 至少熟练掌握Python/Java中的一门编程语言,良好的代码风格及编程能力。4. 熟悉MongoDB/MySQL/Redis等数据库的使用和优化。5. 具有良好的沟通能力、分析解决问题能力和团队协作精神。加分项:1. 熟悉主流电商网站的反爬措施,具有破解反爬经验;2. 使用或研究过常用的爬虫框架(如scrapy/pyspider等);3. 具有使用Docker/Kubernetes等Devops方式部署爬虫的经验;4. 熟悉手机爬虫且有相关经验。
  • 15k-30k 经验3-5年 / 本科
    金融 / 未融资 / 500-2000人
    岗位职责:1. 负责数据爬虫相关需求分析、方案设计、代码编写、代码评审、单元测试、文档编写等工作,对所负责业务模块的进度和质量负责;2. 对已上线爬虫项目的运行情况进行跟踪支持,升级维护;3. 协同开发总监进行开发团队的日常开发管理工作。任职资格:1. ***本科及以上学历, 3年以上使用Java语言开发经验,有独立系统架构设计经验;2. 熟悉java主流开发框架,对微服务框架SpringCloud、Dubbo框架有实践经验,具备开发部署高可用服务能力;3. 熟悉爬虫抓取原理及技术,熟悉搜索引擎,从结构化的和非结构化的数据中获取信息,有丰富巨量的数据爬取、解析、清洗、存储相关项目经验;4. 熟悉反爬虫、验证码识别技术,有能力破解复杂的图片验证码,有能力解决复杂的反爬限制;5. 熟悉python、golang、nodejs等语言者优先;有逆向工程经验者优先;6. 熟悉分布式架构,了解Docker,Kubernetes等容器相关经验者优先。
  • 15k-25k·13薪 经验3-5年 / 本科
    企业服务 / 不需要融资 / 500-2000人
    职位信息: 1、负责业务所涉及数据的爬取、清洗、结构化、入库; 2、负责设计、开发、维护爬虫项目并监控爬虫任务; 3、负责爬虫的性能优化,如:处理性能,爬取策略,占用带宽,反爬虫机制等方面; 岗位要求: 1、本科及以上学历,2年以上python爬虫经验。 2、熟悉mysql/postgresql/redis等至少一种数据库。 3、熟悉多进程编程、网络编程、http、tcp协议优先。 4、有海量数据爬取、解析、清洗、存储相关项目经验优先。 5、熟悉掌握至少一种开源爬虫框架(scrapy,appium,selenium等)。 6、熟练掌握动态网页抓取,浏览器模拟抓取,app抓取等技术,熟悉使用fiddler或其他抓包工具。 7、具有解决反爬限制实战经验,如图片验证滑块验证ip限制等问题。 8、具有钻研精神,有解决技术难题的态度和决心。 9、熟悉算法、有算法开发经验优先。
  • 15k-30k·13薪 经验不限 / 不限
    旅游 / D轮及以上 / 500-2000人
    【职位描述】:1.负责分布式网络爬虫系统的设计与开发工作;2.对多平台数据源(WEB/APP/H5/小程序等)进行数据采集及分析;3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破;4.设计数据采集策略,提升数据采集效率及质量。【职位要求】:1.计算机相关专业,本科及以上学历,3年以上工作经验,1年以上爬虫相关经验;2.掌握至少一种开发语言Java/Python,具备良好的编码能力、扎实的数据结构知识 ;3.熟悉TCP/IP,HTTP及相关网络协议;4.了解各种Web前端技术,包括XHTML/XML/CSS/JavaScript/AJAX等;5.有反爬相关问题处理经验,熟悉常用的爬虫技术及架构设计;6.对分布式、多线程、缓存、消息队列等常用互联网技术有一定了解;7.热爱技术开发,善于学习,善于团队协作,能积极主动地参与公司产品研发等相关工作;8.熟悉移动端APP安全及逆向技术、图像识别技术、WebKit或其他浏览器引擎、JavaScript逆向技术,有相关经验者优先考虑。
  • 20k-30k 经验3-5年 / 本科
    旅游 / D轮及以上 / 500-2000人
    【职位描述】: 1.负责分布式网络爬虫系统的设计与开发工作; 2.对多平台数据源(WEB/APP/H5/小程序等)进行数据采集及分析; 3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破; 4.设计数据采集策略,提升数据采集效率及质量。 【职位要求】: 1.计算机相关专业,本科及以上学历,3年以上工作经验,1年以上爬虫相关经验; 2.掌握至少一种开发语言Java/Python,具备良好的编码能力、扎实的数据结构知识 ; 3.熟悉TCP/IP,HTTP及相关网络协议; 4.了解各种Web前端技术,包括XHTML/XML/CSS/JavaScript/AJAX等; 5.有反爬相关问题处理经验,熟悉常用的爬虫技术及架构设计; 6.对分布式、多线程、缓存、消息队列等常用互联网技术有一定了解; 7.热爱技术开发,善于学习,善于团队协作,能积极主动地参与公司产品研发等相关工作; 8.熟悉移动端APP安全及逆向技术、图像识别技术、WebKit或其他浏览器引擎、JavaScript逆向技术,有相关经验者优先考虑。
  • 12k-18k 经验1-3年 / 本科
    企业服务 / 未融资 / 15-50人
    工作职责: 1.负责网络数据采集、采集平台的维护工作 2.按业务需求数据抽取、清洗及转换等工作 3.解决IP封禁、账号封禁、JS混淆、验证码等反爬问题 任职要求: 1.计算机相关专业本科及以上,1-3年相关工作经验 2.熟练使用Python语言,有Java开发经验更佳 3.熟练使用MySQL或其他关系型数据库 4.掌握常用的数据结构与算法 5.熟悉正则表达式和XPATH,能够从结构化或非结构化数据中抽取信息 6.具有较强责任心、良好的沟通能力与解决问题的能力,具有高效工作的习惯 #HR电话:1-77777-83094【base64: MTc3Nzc3ODMwOTQ=】 为方便沟通、快速得到回复,请直接打HR电话或加V,秒速响应。
  • 10k-15k 经验1-3年 / 本科
    企业服务 / 未融资 / 15-50人
    工作职责: 1.负责网络数据采集、采集平台的维护工作 2.按业务需求数据抽取、清洗及转换等工作 3.解决IP封禁、账号封禁、JS混淆、验证码等反爬问题 任职要求: 1.计算机相关专业本科及以上(优秀者可放宽到大专),1-3年相关工作经验 2.熟练使用Python语言,有Java开发经验更佳 3.熟练使用MySQL或其他关系型数据库 4.掌握常用的数据结构与算法 5.熟悉正则表达式和XPATH,能够从结构化或非结构化数据中抽取信息 6.具有较强责任心、良好的沟通能力与解决问题的能力,具有高效工作的习惯 #工作地址:1.渝北区互联网产业园; 2.南岸区河东大厦;3.可居家办公。 #HR电话:1-77777-83094【base64: MTc3Nzc3ODMwOTQ=】 为方便沟通、快速得到回复,请直接打HR电话或加V,秒速响应。
  • 20k-30k 经验3-5年 / 本科
    移动互联网,社交 / 不需要融资 / 150-500人
    职责描述:1、2-4年Python经验和爬虫开发经验,熟练应用多线程技术2、熟练使用正则表达式、css path、xpath等,能够从结构化的和非结构化的数据中获取信息3、熟练使用MongoDB,Mysql,Redis数据库4、精通一种开源爬虫框架,如scrapy、scrapy-redis、requests、selenium、puppeteer等5、熟练使用docker,会部署容器化爬虫6、熟悉至少一种消息队列7、有后端项目开发经历的优先任职要求:1、分布式网络爬虫系统的设计及开发2、互联网站、网页、链接的特征挖掘,进行网页抓取、数据提取、清洗、入库3、负责爬虫核心算法的策略优化研究,充分利用资源,避免限制4、优化搜索、匹配、抓取等关键程序的性能及效率
  • 2k-3k 经验在校/应届 / 本科
    电商平台 / 上市公司 / 500-2000人
    职业职责: 负责指定网站的数据的采集、清洗、入库 职位要求: 1、Python基础扎实(系统地学习/接受过系统培训者优先考虑) 2、熟练使用request、scrapy、selenium、appnium、xpath/re、pandas、numpy等工具 3、熟悉MySQL、MongoDB、Redis等数据库 4、积极学习、爱钻研、会独立思考解决问题者优先考虑
  • 15k-20k 经验3-5年 / 本科
    数据服务,人工智能 / 不需要融资 / 15-50人
    关于我们 Dashmote是一家总部位于荷兰阿姆斯特丹的AI技术公司。我们通过数据挖掘、建立数据算法模型,从而使饮料食品行业的公司能够了解交易市场并制定更明智的数据驱动型决策。目前,我们公司在阿姆斯特丹,上海,维也纳和纽约设有办公室。在过去的几年中,我们的团队帮助企业提供了各种各样的数据解决方案,例如通过使用我们的视觉识别工具来分析啤酒和发型趋势,以及通过生成智能仪表板来识别潜在的潜在客户。 角色描述 大规模收集和处理原始数据(包括编写脚本、Web抓取、调用API、编写SQL查询等) 研究防屏蔽规则,解决账号封禁、IP封禁、验证码等难题,提升数据采集的效率和质量。 监控性能,风险控制,并为任何必要的基础设施提供建议变化。 开发新的爬虫项目,对已有的爬虫进行维护,管理和更新。 测试和验证以支持机器学习中数据转换和验证的准确性。 为数据挖掘,数据建模和数据生产开发一套流程。 与团队成员一起合作以确保一致性并最大化数据的使用。 与队友紧密合作,确保一致性并最大程度地利用数据。 团队导向,协助并指导团队其他成员解决问题。 工作要求 3年以上工作经验,精通Python语言,了解Java、JavaScript,熟悉Linux环境下的程序开发和运维。用Python语言开发过大型系统或项目优先考虑 熟悉常见的数据结构和算法 熟悉SQL和NoSQL技术的经验 精通Scrapy开源项目,有大规模数据采集经验优先考虑,有阅读过源代码的优先考虑 熟悉Fiddler,Charles,BurpSuite,TCPDump,Wireshark,Mitmproxy等网络分析工具 熟悉JS逆向,熟悉Jeb,Jadx,Ida,Xposed,Frida等逆向工具优先考虑 熟悉安卓逆向,有过国内知名手机端软件数据爬取经验者优先考虑 熟悉爬虫风控,对IP封禁、账号封禁、验证码处理等 使用以下任何一种方法来构建数据管道的经验: Hadoop,Apache Spark,Apache Airflow,Docker和AWS服务 具有在软件/ ETL开发环境中工作的经验 对版本控制工具(例如git)有扎实的了解 在Github上面,发布过优质的开源项目者优先考虑 计算机科学,工程或相关学科本科及以上学历 英文熟练; 适应快节奏的工作环境 我们有: 在一支由65多人组成​​的国际团队中工作,您的一切努力都会被看到 我们曾被Google,麦肯锡和Rocket Internet授予欧洲最佳B2B创业公司 轻松自由热情的工作氛围 每月的团队活动和每周的周五公司啤酒会 我们没有996没有加班文化 办公室在静安寺附近,交通便利 最终薪资取决于候选人的技术技能和经验水平。
  • 9k-16k 经验不限 / 本科
    数据服务,人工智能 / 不需要融资 / 15-50人
    关于我们 Dashmote是一家总部位于荷兰阿姆斯特丹的AI技术公司。我们通过数据挖掘、建立数据算法模型,从而使饮料食品行业的公司能够了解交易市场并制定更明智的数据驱动型决策。目前,我们公司在阿姆斯特丹,上海,维也纳和纽约设有办公室。在过去的几年中,我们的团队帮助企业提供了各种各样的数据解决方案,例如通过使用我们的视觉识别工具来分析啤酒和发型趋势,以及通过生成智能仪表板来识别潜在的潜在客户。 角色描述 1. 收集和处理原始数据(包括编写脚本,Web抓取, API抓取, SQL查询)。 2. 将非结构化数据处理为适合分析的形式。 3. 监控性能并建议任何必要的基础架构更改。 4. 测试数据,以保证机器学习模型中使用的数据转换和数据验证的准确性。 5. 为数据挖掘,数据建模和数据生产开发一套流程。 6. 与队友紧密合作,确保一致性并最大程度地利用数据。 工作要求 1. 计算机科学,工程或相关学科本科及以上学历 2. 精通Python 3. 具有SQL和NoSQL技术的经验 4. 能够使用Scrapy/puppeteer开发网络爬虫 5. 熟悉基本的反爬虫原理 6. 英文熟练者优先 7. 具有在软件/ ETL开发环境中工作的经验 8. 对版本控制工具(例如git)有扎实的应用经历 9. 愿意学习和在短时间内掌握新的技能和方法 10. 擅长团队合作 加入我们你可以收获: - Dashmote曾被Google,麦肯锡和Rocket Internet授予欧洲最佳B2B创业公司; - 国际化的团队,扁平化管理; - 轻松自由的工作氛围,互帮互助的工作团队和不加班的弹性工作模式; - 各种有趣的团队活动和每周的周五公司啤酒会; - 办公室在中山公园附近,生活和交通便利。