• 金融业 / 未融资 / 500-2000人
    工作职责: 1、负责通达信、同花顺、钱龙网上交易系统运维,包括手机、pc端、条件单系统等; 2、负责网上交易系统主站规划、建设、维护工作; 3、负责相关项目建设,需求分析、测试上线等; 4、领导交办的其他工作。 任职资格: 1、***硕士研究生及以上学历,经济、金融、财务、管理、法学、统计、计算机、信息管理、自动化、工程管理、数学等相关专业,具备2年以上相关岗位工作经验者学历可放宽至***本科,年龄不超过35岁; 2、精通计算机,熟悉证券业务,丰富的证券行业IT管理经验优先; 3、具有证券系统运维管理1年及以上经验; 4、通过证券从业资格考试; 5、具有高度的责任心和良好的团队合作精神,工作积极主动、有韧性,能够适应较强的工作强度和工作压力。
  • 8k-15k 经验1-3年 / 本科
    软件服务|咨询 / A轮 / 50-150人
    岗位职责: 1.负责客户技术支持、介绍产品原理、最佳实践等; 2.负责交付期间的产品部署、培训、验收; 3.持续跟进客户需求,解答用户问题等售后工作; 4.与客户和开发持续有效沟通,解决客户问题,参与图数据库发展。 任职要求: 1.计算机、电子信息等相关专业,本科以上学历; 2.具有较强的理解能力和沟通能力; 3.乐于接受新事物,善于沟通,有耐心; 4.了解Java编程语言,有用代码解决问题的思维和习惯;了解常见的数据库系统、了解linux操作系统。 5.具有良好的敬业精神、团队精神,能接受出差 6.有客户成功、交付经验的优先
  • 15k-25k·15薪 经验3-5年 / 不限
    移动互联网,电商 / 上市公司 / 500-2000人
    工作职责: 1、负责设计、开发、维护分布式爬虫系统; 2、负责爬虫系统性能效果调优; 3、负责爬虫系统的后台监控、报警模块的开发。 任职资格: 1、精通Python ,3年以上爬虫及相关技术开发经验; 2、有1年以上App爬取经验,对so逆向有一定经验并独立做过相关分析; 3、 熟练掌握js逆向,熟悉js各种反爬措施,能解决js混淆等问题; 4、了解常见的App反爬策略,能解决IP封禁、参数加密、验证码、账号封禁等问题; 5、有大型爬虫平台开发经验,单个数据源爬取数量超过千万级; 6、工作积极主动、责任心强,具有较强的分析和解决问题的能力。 任职本岗位,你将获得如下技能: 1、如何设计实现大规模分布式爬虫系统(执行效率、资源调度策略、架构设计与优化); 2、如何处理海量数据(存储、清洗、分析); 3、如何进行特殊目标的定向分析; 4、其他不外传的技术秘笈。
  • 20k-30k 经验5-10年 / 本科
    移动互联网 / B轮 / 50-150人
    岗位职责: 1、从事网页及APP数据采集的技术工作; 2、负责设计爬虫策略及反爬规则,提升数据采集效率、完整度和稳定性; 3、负责智能采集系统设计与研发,如采集任务调度,页面解析和结构化抽取,海量数据存储和读取等。 4.、负责持续跟踪分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进,提升公司相关产品与服务的竞争力。 任职资格: 1、5年左右爬虫开发经验;能够独立承担爬虫工作; 2、熟悉JAVA/Python/go任意语言,熟悉常用的数据结构和算法;熟悉分布式、缓存、消息、搜索等机制; 3、熟悉爬虫原理、分布式架构,精通一种开源爬虫框架,熟练scrapy、feapder等一个或多个爬虫框架及原理,熟悉主流爬取技术,如协议破解、模拟点击、AST解混淆、app逆向等,能够解决封账号、封IP、验证码等问题; 4、熟悉Mysql、ES 和 kafka等使用; 5、有淘宝、拼多多等电商数据获取相关经验者优先。 6、熟悉Android逆向,有主流app逆向、风控对抗、算法破解经验
  • 20k-40k 经验3-5年 / 本科
    数据服务|咨询 / A轮 / 50-150人
    岗位职责: 1、 负责scrapy爬虫项目的运维工作,以及数据的清洗提取工作; 2、 根据需求,开发App或网站的数据爬取工作; 3、 独立解决实际开发过程中碰到的各类问题。 任职要求: 1、本科或以上学历,具有实际爬虫开发、内容提取工作经验3年以上,熟练掌握Python语言,对数据敏感,具有良好的逻辑分析能力; 2、 熟悉Linux系统,精通Python编程语言,熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理,掌握requests,selenium,scrapy,pandas等模块的用法, 3、 熟悉常见的数据库,如redis、mongodb和mysql等其中一种或几种,有数据清洗分析的工作经验,了解大数据平台的基本原理; 4、 熟悉html,css,JavaScript等前端知识,掌握Web界面的的分析方法,熟练掌握bs4,xpath,正则等其中一种或几种常用的信息抽取技术; 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题; 6、 掌握App数据采集的常用技术,能够爬取App的数据; 7、 热爱技术,喜欢钻研,有分享精神,注重代码质量,工作认真细致,主动性强,执行力强,抗压能力强,有良好的协作意识; 8、 有酒店行业经验者优先。
  • 20k-40k·13薪 经验3-5年 / 本科
    数据服务|咨询 / A轮 / 50-150人
    岗位职责: 1、 负责scrapy爬虫项目的运维工作,以及数据的清洗提取工作; 2、 根据需求,开发App或网站的数据爬取工作; 3、 独立解决实际开发过程中碰到的各类问题。 任职要求: 1、本科或以上学历,具有实际爬虫开发、内容提取工作经验3年以上,熟练掌握Python语言,对数据敏感,具有良好的逻辑分析能力; 2、 熟悉Linux系统,精通Python编程语言,熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理,掌握requests,selenium,scrapy,pandas等模块的用法, 3、 熟悉常见的数据库,如redis、mongodb和mysql等其中一种或几种,有数据清洗分析的工作经验,了解大数据平台的基本原理; 4、 熟悉html,css,JavaScript等前端知识,掌握Web界面的的分析方法,熟练掌握bs4,xpath,正则等其中一种或几种常用的信息抽取技术; 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题; 6、 掌握App数据采集的常用技术,能够爬取App的数据; 7、 热爱技术,喜欢钻研,有分享精神,注重代码质量,工作认真细致,主动性强,执行力强,抗压能力强,有良好的协作意识; 8、 有酒店行业经验者优先。
  • 20k-30k·13薪 经验3-5年 / 本科
    数据服务|咨询 / 未融资 / 15-50人
    岗位职责: 1、分布式爬虫系统和数据采集的规划、设计、开发; 2、爬虫策略和防屏蔽规则研究,提升网页抓取的效率和质量; 3、理解系统数据处理流程以及业务功能需求; 4、负责核心算法的设计与开发。 岗位要求: 1、了解各种加密算法,在破解验证码方面有丰富经验,能够独立解决js反爬和模拟登陆问题; 2、熟悉常见反爬机制,验证码识别,IP代理池、应用Ip池、headers认证和cookie等; 3、熟悉 Appium.Selenium.PhantomJS.Web Driver等技术; 4、熟悉熟练使用charles、fddler等抓包工具; 5、熟悉MySQL、MongoDB、Redis、Elasticsearch、Kafka等常用的中间件; 6、有国外社交网站Instagram、Youtube、Facebook、Tiktok爬虫经验优先。
  • 15k-30k 经验1-3年 / 本科
    电商 / 未融资 / 150-500人
    一、岗位职责: 1.负责数据系统架构和业务开发; 2.建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 3.解决常见的反爬虫问题,并建立相关的系统化策略系统; 4.深入理解系统数据处理流程以及业务功能需求; 5.保证数据的完整性和准确性; 二、任职资格要求: 1. 掌握scrapy等常用爬虫框架爬取数据; 2. 掌握常用的反爬取手段和策略; 3. 熟练使用python或者Javascript网络编程; 4. 熟悉至少一种关系型数据库(如mysql/postgresql); 5. 计算机基础扎实,对数据结构、操作系统、计算机网络知识有一定程度的掌握; 6. 两年以上的爬虫工作经验,有丰富的前端 JS 逆向工程经验; 7. 热衷接受以解决业务需求为目的的技术挑战和技术攻关,并以此为乐! 加分项: 1. 有大型B2C、C2C电商网站数据爬取、数据挖掘等实践经验者优先。 2. 有分布式计算框架的开发经验,如hadoop、spark、hive者优先 3. 有丰富的客户端app、小程序逆向技术开发经验者优先。
  • 15k-30k 经验1-3年 / 大专
    电商 / 未融资 / 150-500人
    一、岗位职责: 1.负责数据系统架构和业务开发; 2.建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 3.解决常见的反爬虫问题,并建立相关的系统化策略系统; 4.深入理解系统数据处理流程以及业务功能需求; 5.保证数据的完整性和准确性; 二、任职资格要求: 1. 掌握scrapy等常用爬虫框架爬取数据; 2. 掌握常用的反爬取手段和策略; 3. 熟练使用python或者Javascript网络编程; 4. 熟悉至少一种关系型数据库(如mysql/postgresql); 5. 计算机基础扎实,对数据结构、操作系统、计算机网络知识有一定程度的掌握; 6. 两年以上的爬虫工作经验,有丰富的前端 JS 逆向工程经验; 7. 热衷接受以解决业务需求为目的的技术挑战和技术攻关,并以此为乐! 加分项: 1. 有大型B2C、C2C电商网站数据爬取、数据挖掘等实践经验者优先。 2. 有分布式计算框架的开发经验,如hadoop、spark、hive者优先 3. 有丰富的客户端app、小程序逆向技术开发经验者优先。
  • 18k-30k 经验5-10年 / 本科
    数据服务|咨询,人工智能服务 / 不需要融资 / 150-500人
    职位描述: 1、负责攻克高难度的反爬,诸如人机识别、JS逆向、Android逆向等 2、负责开发及维护超大规模站点,深入挖掘站点有价值的数据 3、参与爬虫通用组件、工具、系统的设计开发 职位要求: 1、大专及以上学历,2年以上工作经验; 2、具备丰富的Python爬虫经验,熟悉JS逆向、Android逆向,有攻克高难度站点经验; 3、具备扎实的技术基础,如常见的网络协议、Linux操作系统、常用数据库等,可以独立分析解决新出现的技术问题; 4、有前后端开发经验; 5、缜密的逻辑思维能力; 6、热爱技术,喜欢钻研,注重代码质量;
  • 20k-40k·15薪 经验3-5年 / 本科
    工具 / 上市公司 / 500-2000人
    岗位职责: 1. 遵循robots协议,采集互联网/APP中的公开信息 2. 爬虫技术攻坚,提升海量数据系统的抓取效果与性能 3. 负责分布式爬虫系统的建设,优化数据调度、抓取、解析、存储全栈流程 职位要求: 1. 本科及以上学历,3年以上爬虫抓取采集相关工作经验 2. 熟悉主流爬取技术及爬虫框架工具 3. 熟悉Python/Java/Go/C++其中一种语言,具备扎实的编码能力 4. 熟悉常见反爬封禁策略和规则,并具备相关的应用经验 5. 加分项:逆向、分布式、数据分析、数据挖掘
  • 20k-30k 经验3-5年 / 本科
    移动互联网,消费生活 / A轮 / 150-500人
    工作职责: 1. 设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作,实时监控爬虫的进度和警报反馈; 2. 网页信息和APP数据抽取、清洗、消重等工作; 任职要求: 1. 本科以上学历,计算机相关专业,3-5年经验,至少有2年以上爬虫经验; 2. 有扎实的算法和数据结构能力,熟悉爬虫原理,熟悉常见的反爬虫技术; 3. 熟悉常用开源爬虫框架,如 scrapy / pyspider; 4. 掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术; 5. 有大规模数据处理、数据挖掘、信息提取等经验者优先; 6. 良好的学习、分析总结能力,同时具备良好的组织协调能力及团队合作意识。
  • 12k-18k 经验5-10年 / 本科
    移动互联网,金融 / A轮 / 50-150人
    base南京或苏州 职位描述: 1、负责爬虫功能的维护,各类爬虫脚本及组件的维护及升级 2、负责各类业务数据的清洗、统计、分析等相关工作 3、负责平台数据运营及数据质量的控,并配合业务人员进行数据提取、分析与验证 任职资格: 1、***本科以上学历,计算机及相关专业; 2、熟练掌握Python语言,熟练掌握JS语言、有APP数据采集经验者优先; 3、精通数据采集技术,熟悉各类反爬措施及应对策略,熟悉HTTP底层协议; 4、对数据敏感、熟悉数据分类,能结合业务目标独立对数据进行分析处理; 5、良好的数据处理能力,熟练使用pandas、numpy,有数据分析、数据挖掘经验者优先; 6、良好的编码能力,工作认真细致踏实,逻辑思维缜密,善于分析问题,具备良好的沟通交流能力。
  • 10k-13k 经验不限 / 本科
    数据服务、人工智能 / 未融资 / 150-500人
    (该岗位为外包岗位,优秀者入职后可转为正式员工) 职责描述: 1、负责网络爬虫,数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据,为业务部门提供数据支持。 技能要求: 1、会JS补环境; 2、会训练及协议过国内主流厂家的滑块,图标/文字点选验证码; 3、会使用docker容器; 4、计算机相关专业本科以上学历; 5、熟练的编程能力,熟悉数据结构;熟悉计算机网络的基础理论; 6、熟练的Python编程基础,熟练使用scrapy或feapder等爬虫框架;熟悉分布式爬虫;熟悉XPath等常用页面解析技术; 7、熟悉puppeteer等自动化工具的使用; 8、熟悉postgresql,mongodb等关系型或非关系型数据库; 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑;
  • 20k-35k·15薪 经验3-5年 / 本科
    内容社区 / 上市公司 / 2000人以上
    工作描述: 1、从事网页及 APP 数据采集的技术工作 2、负责设计爬虫策略及反爬突破,提升数据采集效率、完整度和稳定性; 3、爬虫系统以及相关工具设计与研发 任职要求: 1、3 年以上爬虫工作经验,本科及以上学历,能够独立承担爬虫工作; 2、熟悉整个爬虫的设计及实现流程,熟练掌握 Python 语言,熟悉常见的爬虫框架 3、有网站及APP相关逆向经验,对反爬虫技术有深入理解,具备应对反爬虫策略的能力 4、有良好的团队合作精神,能够主动学习、自我驱动, 能够协作完成任务