• 30k-60k·15薪 经验5-10年 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位详情 1、负责公司移动产品的生活服务业务研发,编写高质量的代码; 2、和产品经理配合,深度参与手机产品需求讨论,功能定义等; 3、设计良好的代码结构,不断迭代重构。 职位要求 1、智能手机爱好者和使用者, 追求良好的用户体验; 2、热爱移动产品研发, 愿意在移动开发领域深入钻研, 并成为专家; 3、有良好的编程习惯, 代码结构清晰, 命名规范; 4、熟练掌握JAVA, 熟悉Android SDK, 熟悉Android的UI/网络/数据库框架; 5、具备Android开发经验, 能独立开发Android App; 6、对软件产品有强烈的责任心, 具备良好的沟通能力和优秀的团队协作能力。
  • 5k-7k 经验不限 / 不限
    硬件,信息安全 / 未融资 / 少于15人
    1. 根据客户需求及配置组装工业电脑。 2. 安装不同的操作系统,如win7,xp,win2000,server2003 3. 整机稳定性测试,烤机。 4. 打包发货 5. 负责装配间的整理和清洁。 6. 有电脑组装经验者优先。
  • 15k-30k·13薪 经验1-3年 / 本科
    移动互联网 / 不需要融资 / 50-150人
    平时可以阅读英文的计算机API文档,并且需要有一定的Java基础。对爬虫抓网页的工作内容感兴趣,如果不符合以上条件,请勿投递,谢谢。 工作职责: 1、IOS, Andriod APPs以及网站的逆向分析及漏洞挖掘,并对逆向数据进行采集抓取; 2、爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、有过Akamai,Perimeterx经验的优先; 任职需求: 1、应届毕业生,熟练掌握Java语言; 2、熟悉IDA、 JEB 、LLDB、JADX等常用逆向分析工具,具备逆向分析能力; 3、熟悉各种通用加解密算法,有一定的脱壳反混淆,反调试经验; 4、熟悉常见的Xposed hook技术,注入技术,常见安全产品绕过等技术; 5、做事有责任感,具有良好的逻辑思维,很强的执行力和自我驱动力。 【福利政策】 1、混合办公模式,根据工作年限每月可申请居家办公2-8天。 2、10天- 25天带薪年休假; 3、13薪及每年全员调薪,根据入职时间、工作表现和企业经营状况; 4、补充医疗保险及每年健康体检; 5、旅游补贴及公司团建; 6、每周供应2次免费午餐; 7、节假日礼品卡福利及节日下午茶供应。
  • 30k-50k·14薪 经验3-5年 / 本科
    工具 / 未融资 / 15-50人
    岗位职责 1.负责设计、开发和维护内容平台所需的分布式爬虫系统,支持从新闻、论坛、社交媒体等多渠道抓取海量数据并进行清洗、结构化和入库。 2.构建完整的数据采集与处理流程,包括网页解析、数据清洗、去重和入库等环节,确保采集数据的质量、准确性与一致性。 3.研究并应对各类反爬虫机制(如IP封禁、验证码、动态加载等),设计并实施反屏蔽策略,保证爬虫系统在复杂环境下稳定、高效运行。 4.搭建爬虫任务的监控与调度系统,实时跟踪抓取进度及性能指标,及时定位并修复抓取失败、异常或性能瓶颈等问题,持续优化爬虫效率和容错能力。 5.根据业务需求完成技术方案和系统设计,并撰写维护爬虫系统的技术文档,以支持内容分析和业务决策。 任职要求 1.精通 Golang 和 Python 编程语言,熟悉主流爬虫开发框架(如 Colly、Scrapy 等),具备较强的爬虫系统开发和维护能力。 2.具有分布式爬虫架构的设计与部署经验,能够搭建和运维分布式爬虫集群以应对海量抓取任务。 3.熟悉常见的数据处理流程,包括数据清洗、结构化及入库等,能够保证抓取数据的准确性和一致性。 4.熟练使用 Linux 操作系统及常用命令,了解自动化部署和运维流程(如 Docker、Shell 脚本等),具备独立调试和排错能力。 5.熟悉爬虫监控和任务调度工具,具备性能优化及容错设计能力,能够保证爬虫任务的高效稳定执行。 6.熟练掌握 MySQL 等关系型数据库,以及 MongoDB、Redis、Elasticsearch 等至少一种 NoSQL 存储技术。 7.熟悉代理池管理及 IP 轮换策略,能够有效应对 IP 封禁、请求限频等常见反爬虫问题。 8.具备一定的逆向工程能力,了解常见 JavaScript 混淆、接口加密方案和验证码破解技术,能够通过逆向分析提升爬取成功率。 9.理解常见的爬虫数据提取算法和反反爬策略,具备一定的算法能力,以优化数据抓取和解析效率 加分项 1.参与过海外社交项目优先 2.有过大型项目架构的优先 3.有相关开源项目的优先考虑
  • 8k-10k 经验1-3年 / 大专
    企业服务,工具 / 未融资 / 15-50人
    职责描述: 1、负责网络公开企业、政策信息的爬虫系统的设计与开发; 2、开发、维护爬虫系统,包括调度、抓取、维护、验证等爬虫工作; 3、负责爬虫算法的策略优化研究,提升爬虫抓取效率和质量 4、封禁与反封禁研究,在破解反爬虫方面有丰富经验; 5、负责爬虫技术难点的攻克; 任职要求 1、计算机或相关专业专科及以上学历,1年以上爬虫工作和内容提取工作经验,有良好的编码习惯; 2、熟练掌握JavaScript,善于逆向分析,具有跟踪分析研判源码的能力; 3、熟练掌握一种开源爬虫框架,如,Spidy.scrapy等,有研发爬虫框架经验者优先; 4、熟悉常见反爬机制,验证码识别,IP代理池应用lp池、headers认证和cookie等; 5、熟悉Javascript 、HTML、CSS、正则表达式、XPath等信息抽取技术熟悉抓包分析请求并模拟; 6、熟练掌握应用Selenium+PhantomJS或AI工具实施动态HTML抓取; 7、熟悉Selenium、Appium等技术 8、熟悉熟练使用http代理工具charles、fddler等 9、熟悉mysql,mongodb等常规数据库的常规使用 10、熟练掌握Linux平台开发,能独立安装、配置、搭建开发环境,编写shell脚本; 11、善于独立分析并解决问题,如反爬应对、爬虫策略、防屏蔽规则、验证码识别技术等,能独立解决实际开发过程碰到的各类问题;
  • 15k-25k 经验1-3年 / 本科
    软件服务|咨询 / 不需要融资 / 15-50人
    岗位职责: 1、参与设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟练掌握js反混淆,熟悉Rust语言有实操经验者优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 4、熟悉linux开发环境,熟悉js语言; 5、熟悉web常见的反爬机制,精通各种反爬破解,包括但不限于:js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能。 p.s. 如是**时间对于爬虫有更深度社群交流或项目实践的小伙伴,也欢迎分享项目简历,一同交流~
  • 15k-25k 经验1-3年 / 本科
    软件服务|咨询 / 不需要融资 / 15-50人
    非杭州伙伴可以线上办公!!! 岗位职责: 1.爬虫开发、与内部系统后端开发对接;负责爬虫系统构架的数据存储设计; 2.建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 3.理解系统数据处理流程以及业务功能需求; 4.保证数据的完整性和准确性。 岗位要求: 1、熟悉js逆向、js注入、反混淆、熟悉jsRPC服务; 2、计算机相关专业专科及以上学历(有项目经验可以放宽); 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、有一定的反爬虫对抗经验,分布式爬虫布局; 5、电商类网站爬虫经验优先,有高频爬虫工作经验者优先; 6、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先。
  • 12k-18k 经验3-5年 / 本科
    企业服务 / 未融资 / 15-50人
    岗位如下: 职位名称:高级爬虫工程师 公司:江涞互联 职位描述: 我们正在寻找一位经验丰富的高级爬虫工程师,负责开发和维护公司的爬虫程序,以及处理爬取到的数据。 工作职责: - 设计和开发爬虫程序,包括爬取网站数据、提取数据和清理数据等。 - 熟悉常用的爬虫框架,如Python中的Scrapy和BeautifulSoup等。 - 了解数据清洗和转换的技能,如pandas和NumPy等。 - 熟悉常用的数据库,如MySQL和Oracle等。 - 具有出色的代码能力,熟悉Git版本控制工具。 - 具备良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 职位要求: - 3年以上爬虫开发经验,有独立的爬虫项目开发经验。 - 熟悉常用的爬虫框架和数据清洗技能。 - 熟悉数据库和SQL语言,能够清洗和转换数据。 - 熟悉常用的开发工具和技术,如Python、JavaScript、HTML/CSS等。 - 具备良好的代码风格和规范,熟悉团队协作流程。 - 有良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 请注意,这只是一个示例职位描述,可能并不适用于所有公司。如果有任何疑问,请随时与我们联系。
  • 8k-15k 经验1-3年 / 大专
    企业服务 / 未融资 / 15-50人
    岗位职责 1、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等; 2、负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设; 3、负责Android、iOS 应用的逆向工作; 4、负责网页/APP 的数据抓取和爬取链路优化(包括 Android APP 反编译、脱壳、加密参数破解、抓取攻防等),提升抓取能力; 5、负责手机群控采集数据; 5、破解主流网站和app的反爬机制。 任职要求 1、熟练掌握Python,javascript,熟悉numpy,pandas和skiearn的使用,并有实际开发经验; 2、具备大规模通用爬虫开发经验,熟悉目前主流的一些爬虫框架; 3、熟悉HTTP、TCP等网络协议及数据抓包、分析; 4、熟练掌握至少一种数据库,有 MongoDB 或MySQL开发和维护经验者优先; 5、熟悉hive,Hadoop,spark,Hook,能独立解决实际开发过程碰到的各类问题; 6、加分项:精通软件逆向工程,精通软件加密解密知识,精通各种软件逆向工程开发工具的使用; 熟悉软件逆向分析流程,能够独立完成软件逆向工作;有成功逆向过的经历。
  • 10k-20k 经验3-5年 / 本科
    营销服务|咨询 / 不需要融资 / 150-500人
    岗位职责: 1. 负责设计、开发和维护高效、稳定的爬虫系统,从各种在线数据源中抓取和解析数据,以实现自动化数据采集和更新。 2. 熟练使用Python或其他相关语言进行爬虫开发,拥有扎实的编码和调试能力,并能够编写高质量的可维护代码。 3. 精通各种爬虫框架和工具,如Scrapy、BeautifulSoup、Selenium等,能够根据需求灵活选择和使用,同时熟悉反爬虫机制的解决方案。 4. 具备大规模分布式爬虫系统设计和开发经验,能够解决分布式爬虫中的挑战和问题,如任务调度、数据同步和去重等。 5. 深入理解网络协议和网页结构,能够处理复杂的页面结构和动态内容,熟悉前端技术和相关工具。 6. 熟悉数据库(如MySQL、MongoDB)的使用,能够设计和优化数据存储和查询方案,具备数据清洗和处理的能力。 7. 能够分析和解决爬虫中的技术难题,如验证码处理、IP代理池、请求优化、反反爬虫等,并具备相应的工程实践经验。 任职要求: 1.本科及以上学历,计算机科学等相关专业背景优先考虑. 2. 具备卓越的沟通和团队合作能力,能够与产品、运维等团队紧密合作,理解并满足业务需求,完成项目目标。 3. 对新技术和行业动态保持敏感,具备持续学习和创新的精神,能够应用新的爬虫技术和工具,推动技术的发展。 4.具备责任心和良好的团队协作精神,乐于沟通交流和分享,充满激情,乐于接受挑战。
  • 20k-30k·13薪 经验3-5年 / 本科
    企业服务,旅游,汽车|出行 / 不需要融资 / 15-50人
    工作职责 1、参与分布式爬虫平台架构、开发工作(如任务调度、多样化抓取、负载均衡、海量数据解析与处理、全链路追踪、指标监控及报警等); 2、根据公司各个业务需求,爬取全网来源的数据,解决各类反爬问题; 3、参与爬虫平台架构演进、稳定性治理及性能调优。 4、及时响应各目标迭代策略,保障数据精准。 职位要求 1、熟悉爬虫工作原理,深入了解至少一种主流爬虫框架的架构及原理,如 Scrapy;
 2、**本科及以上学历,三年以上爬虫工作经验,有大规模数据爬取经验; 
3、技术扎实,熟练掌握主流爬取技术,如协议破解、模拟点击等;熟悉掌握常用框架,如Selenium/Puppeteer/Splash等; 4、具备实际爬虫编写能力,至少熟练掌握Python/Go/Java等其中一种语言;
 5、具备良好的前端分析能力,对常见各类反爬方式(如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等)有一定解决经验; 6、具备良好的文档编写及协作能力。自我驱动,执行力强,有攻坚精神;对学习有热情,追求技术进步。 岗位亮点 1、公司核心业务的开发,工作饱和度高,成就感强; 2、集团公司重点项目研发,受到高层领导的高度关注和认可。
  • 25k-40k·14薪 经验3-5年 / 本科
    电商平台 / D轮及以上 / 500-2000人
    岗位职责: 1.负责分布式爬虫系统的建设、开发工作(如多样化抓取、任务调度、数据清洗、指标监控及报警等) 2.帮助团队攻克各种爬虫技术难关,提升海量数据系统的抓取效果与性能 3.持续跟踪分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进 职位要求: 1.熟悉JAVA/Python/go任意语言,有java开发经验更佳 2.熟悉常见反爬封禁策略,并具备相关的经验优先考虑 3.具备良好的沟通表达能力,有一定的产品意识 4.自我驱动,执行力强,有攻坚精神,能挑战自我不断追求卓越岗位职责: 1.负责分布式爬虫系统的建设、开发工作(如多样化抓取、任务调度、数据清洗、指标监控及报警等) 2.帮助团队攻克各种爬虫技术难关,提升海量数据系统的抓取效果与性能 3.持续跟踪分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进 职位要求: 1.熟悉JAVA/Python/go任意语言,有java开发经验更佳 2.熟悉常见反爬封禁策略,并具备相关的经验优先考虑 3.具备良好的沟通表达能力,有一定的产品意识 4.自我驱动,执行力强,有攻坚精神,能挑战自我不断追求卓越
  • 4k-6k 经验不限 / 本科
    企业服务 / 不需要融资 / 50-150人
    岗位职责: 1. 需要保证每天获取的总数居量的获取 2. 负责js逆向,能够在网站更新时,及时更新(极验,rs等)
  • 5k-10k 经验在校/应届 / 本科
    IT技术服务|咨询 / 不需要融资 / 50-150人
    工作职责: 1.负责规划、设计和开发爬虫相关系统,进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线,完成实时数据与离线数据的爬取与对接。 任职要求: 1.精通Python语言\MYSQL,熟练使用常用模块,使用过Flask web框架; 2.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理,深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理,有具体工程经验,如 scrapy / pyspider等 5.了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath等 6.对常见各类反爬方式(如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等)有一定解决经验
  • 7k-13k 经验不限 / 本科
    专业服务|咨询,数据服务|咨询,软件服务|咨询 / 未融资 / 少于15人
    公司简介: 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干,工程师远程办公,自由承接项目,薪资范围约为时薪200元,日薪600元,周薪4000元,月薪10000-20000元,具体与承接的项目有关。 招聘需求: 爬虫工程师 岗位职责:采集客户指定的网页/app/小程序/公众号等公开可见数据,编写客户指定的采集程序、源代码。 岗位要求:熟悉常见反爬封禁策略,并具备相关的实战经验,具有js逆向、app逆向、混淆、脱壳等应对能力。