• 4k-8k 经验1-3年 / 本科
    移动互联网,信息安全 / 天使轮 / 15-50人
    职责描述: 1、负责各主流网站公开数据的爬取(文本,图片,视频) 2、负责网站数据采集,分析数据来源,提高数据质量。 任职要求: 1、熟练掌握Python开发,有扎实的编程功底,熟悉常用的数据结构和算法。 2、熟悉爬虫框架,熟练掌握多线程、多进程开发; 3、能处理常见的主流网站反爬机制,并制定相应的反爬措施; 4、至少掌握一种数据库的操作,如MySQL,Mongdb等。 5、掌握验证码识别技术,有过相关爬虫项目经历,掌握APP数据爬虫者优先; 6、一年以上爬虫工作经验。
  • 25k-50k 经验3-5年 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责反爬取和风控基础平台的架构、设计与实现; 2、负责风控数据平台和模型系统架构的建设; 3、跟踪反爬、反作弊技术的最新进展并应用于实践。 职位要求: 1、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题; 2、精通至少一门编程语言,熟练运用各种常用算法和数据结构,有独立的实现能力 ; 3、熟悉在线系统开发,流式计算,规则引擎及模型系统者优先; 4、有互联网反爬取,反作弊,账户安全等系统相关经验者优先。
  • 内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责反作弊、反爬取、模型服务等风控核心系统平台的需求分析、产品规划、产品设计,以及项目管理; 2、基于业务风控需求,规划外部数据源和系统的对接方案,推进相关系统工具的建设完善; 3、关注行业领先的风控产品,并能应用于实践。 职位要求: 1、***本科及以上学历,计算机/软件工程/信息安全/统计学/数学及相关专业优先,有技术背景优先; 2、3年以上互联网产品工作经验,有风控、反作弊、反欺诈及相关领域工作经验优先,具有较强的数据分析能力和逻辑判断能力,目标导向; 3、具备优秀的业务理解、分析能力,具备较强的平台规划和项目推进能力; 4、拥有强烈的责任心和团队合作精神,出色的学习能力; 5、具备强烈的好奇心和自我驱动力,喜欢接受挑战,追求极致。
  • 25k-50k 经验5-10年 / 不限
    工具类产品,内容社区,音频|视频媒体 / 上市公司 / 2000人以上
    岗位职责: 1.参与分布式爬虫系统的设计与开发; 2.负责平台外部数据覆盖,并解决高并发爬取、海量存储等问题; 3.负责监控框架的迭代和改进,维护所需资源池,并探索最新的技术能力。 岗位要求: 1.3年以上爬虫开发经验,熟悉linux平台开发、熟悉各类反爬手段,并具备反爬对应的实际经验或思路; 2.精通Python,熟练使用至少一种开源爬虫框架和请求库、熟练掌握Linux平台开发, 熟悉常用数据库; 3.有海量数据采集系统建设的经验,能自定义CNN训练验证码模型; 4.本科以上学历计算机相关专业,具有良好的沟通协作力。
  • 7k-12k 经验不限 / 本科
    物联网 / 未融资 / 15-50人
    1、负责爬取HTML页面所需数据,并对数据进行清洗、解析、归档、输出等; 2、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等; 3、负责实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取,反爬虫策略研究,验证码识别等采集支撑服务建设;  5、参与公司业务平台的数据的挖掘和分析,协助进行产品改进。 任职资格 1. 本科以上,计算机或相关专业毕业,扎实的Python基础,熟悉多线程编程环境,熟悉常见开源框架; 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术; 3、熟悉Scrapy、feapder等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验; 4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究,如协议破解、模拟点击等;  5、熟悉代理IP池、Headers认证和Cookie等;
  • 30k-50k 经验3-5年 / 本科
    工具 / 不需要融资 / 15-50人
    1、负责设计和开发分布式网络爬虫系统,进行数据抓取和分析; 2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、参与分布式爬虫和数据采集系统的架构设计和开发,快速响应业务变动; 4、负责网络数据抓取规划、定期爬取指定网站的数据; 5、参与数据层建设,专注于垂直领域数据爬取,进行多平台信息的抓取和分析; 6、实现数据提取、清洗、结构化、入库、统计分析等需求; 7、研究优化算法,提升爬虫系统的稳定性、可扩展性。 任职要求: 1、熟悉Python和常用的开源库,熟练使用Django/Flask等至少一种主流的web开发框架; 2、熟悉Mysql,mongoDB, Redis,Es,队列等数据库的使用和优化; 3、对进程、线程、协程、异步、非阻塞有一定了解和使用 4、对linux系统基础知识及原理了解较深入的,如linux软中断硬中断,服务器安全等 5、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly,webmagic等框架(深入了解其中一种)。 6、对相关算法有一定了解; 7、有大型项目管理经验优先。 8、熟悉应用IP代理池、Headers认证和Cookie等; 9、有分布式爬虫、反爬机制经验者优先 10、熟悉js逆向,js破解优先考虑 11、有参与实时监控爬虫的进度和警报反馈系统的优先考虑,如Prometheus+zabbix+granafa等服务器相关爬虫监控检测体系 12、有高可用分布式集群项目设计、开发经验,优先考虑,如K8S,docker,keepalived等 13、有多种语言,如GO、Python、Rust、php可作为加分项 14、有训练过自己的模型可作为加分项 15、github或者码云有相关开源项目可作为加分项
  • 40k-80k 经验不限 / 本科
    信息安全,物流|运输 / 未融资 / 少于15人
    需求任务: 负责爬虫插件(破解版)的开发与维护,要高手!高手!不懂下面技术的勿扰。 最好有独立制作过移动端脚本插件与移动端外挂的经验 让使用者绕过资料认证并解决虚拟号问题 通过技术爬取目标APP的订单信息与电话。并同步实时更新到破解APP上。 技术要求: 精通移动端爬虫熟练掌握Python、IOS逆向开发、协议抓包、APi渗透、静态分析、动态调试、HOOK等技术。、熟悉移动端HTTP等常见通信协议,有服务器端口漏洞发现利用经验。有移动端逆向开发经验,有移动端破解经验。能熟练使用以下工具Reqable、Stormsniffer 、Fiddler、Stream GENERATED 、Packet Capture、Bootstrap
  • 18k-35k 经验3-5年 / 本科
    移动互联网,数据服务 / C轮 / 50-150人
    岗位薪资open,欢迎沟通~ 职位描述: 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息,参与爬虫系统的建设与优化,满足各类业务数据需求; 2、负责分布式爬虫系统的建设,优化数据调度、抓取、解析、存储全栈流程; 3、帮助团队攻克各种爬虫技术难关,提升海量数据系统的抓取效果与性能。 职位要求: 1、本科及以上学历,3年以上爬虫抓取采集相关工作经验; 2、熟悉主流爬取技术及爬虫框架工具; 3、具备扎实的编码能力; 4、熟悉常见反爬封禁策略,并具备相关的实战经验; 5、加分项:逆向、混淆、脱壳、分布式、数据分析、数据挖掘。
  • 15k-25k 经验1-3年 / 本科
    软件服务|咨询,IT技术服务|咨询,营销服务|咨询 / D轮及以上 / 150-500人
    大模型数据采集与使用工程师(3名,初级,11月底前入职) 职责: 1、负责设计和实施数据爬取方案,包括各种攻关如爬虫验证码破解、模拟登录、数据签名解签、请求包解析等; 2、负责数据存储、管理,包括mysql、pgsql、ES、hadoop/spark、arangodb等; 3、负责使用大模型为业务场景赋能,挖掘大模型的潜能,使用场景知识+大模型为业务提效; 职位要求: 1、具有爬虫工作经验,熟悉http请求、加密解密签名基础理论、用户授权等技术,有使用深度学习算法模型经验优先; 2、熟练掌握Python、SQL语言,掌握JAVA或GO是加分项; 3、有使用过大模型并对大模型的prompt有调优经验者优先; 4、具备良好的逻辑思维和问题分析解决能力; 5、具备良好的沟通和团队合作能力,能够与其他团队合作完成项目。
  • 10k-12k·13薪 经验1-3年 / 大专
    信息安全 / 上市公司 / 50-150人
    工作内容: 1. 负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库; 2. 负责用python语言实现产品的后端研发; 3. 负责高质量的设计和编码; 4. 承担重难点技术攻坚任务; 5. 参与产品的讨论和开发实现; 岗位要求: 1. 二年以上工作经验良好的计算机基础知识,熟悉常用的数据结构和算法; 2. 能运用python进行各类数据处理,熟悉pandas、numpy等常用python数据处理包,有机器学习相关经验优先; 3. 熟悉python后台开发,有完整的项目开发经验,熟练使用Django或flask框架, 熟悉Restful设计规范; 4. 熟悉Windows及Linux下python的安装、部署及调试以及Docker部署; 5. 熟悉MySQL、SQL 和主流NoSQL数据库 6. 对项目安全性问题和并发问题有一定理解和相应的解决方法 7. 有良好的沟通能力,团队协作能力,对新技术敏感,有良好的代码习惯,结构清晰,命名规范,熟悉设计模式,随时贯彻最优开发思想。
  • 10k-13k 经验不限 / 本科
    数据服务、人工智能 / 未融资 / 150-500人
    (该岗位为外包岗位,优秀者入职后可转为正式员工) 职责描述: 1、负责网络爬虫,数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据,为业务部门提供数据支持。 技能要求: 1、会JS补环境; 2、会训练及协议过国内主流厂家的滑块,图标/文字点选验证码; 3、会使用docker容器; 4、计算机相关专业本科以上学历; 5、熟练的编程能力,熟悉数据结构;熟悉计算机网络的基础理论; 6、熟练的Python编程基础,熟练使用scrapy或feapder等爬虫框架;熟悉分布式爬虫;熟悉XPath等常用页面解析技术; 7、熟悉puppeteer等自动化工具的使用; 8、熟悉postgresql,mongodb等关系型或非关系型数据库; 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑;
  • 20k-40k·15薪 经验5-10年 / 本科
    软件服务|咨询,信息安全,IT技术服务|咨询 / 未融资 / 150-500人
    职位描述:  1. 负责Andriod/iOS/h5 App的加解密和数据传输分析、拆解、逆向等工作;  2. 负责大规模数据爬取工程的建立;  3. 负责行业新技术的调研和实践。  岗位要求:  1、本科及以上学历,至少3年以上逆向研发经验,有Andriod逆向或者开发经验者优先;  2、熟悉常见的编程语言Java,C/C++, ARM汇编语言,具备良好的工程素养;  3、熟练使用xposed、frida等常见的Hook技术,深入了解过技术原理的优先;  4、熟悉网络通信协议,常见的数据加解秘算法;  5、熟悉andriod系统的原理,对ROM改造有一定的了解,有群控系统开发经验的优先;  6、具备较强的技术钻研和学习能力以及良好的沟通能力和团队协作精神。
  • 15k-25k 经验1-3年 / 本科
    工具 / 未融资 / 少于15人
    本岗位适合利用**碎片化时间作为副业兼职接单赚钱的朋友,地点不限,时间自由,在家在校完成编程代做即可。 【岗位职责&要求】 1、精通Matlab/python优化、逆向爬取,以太坊区块链,机器学习、深度学习、仿真、复现、算法、神经网络、建模、数字图像识别、APP开发、电气、机械臂、simulink等其中一项或多项技术 2、愿意用专业的技能与经验帮助他人,个性严谨,为 人谦和,细心认真,责任心强,**时间较多。 3、愿意利用**碎片化时间赚取丰厚佣金。
  • 12k-20k 经验1-3年 / 本科
    数据服务 / 不需要融资 / 50-150人
    【工作职责】 1.独立完成软件系统代码的设计与实现; 2.根据需求完成设计、代码编写、调试、测试和维护; 3.使用Python语言对后台业务逻辑进行开发以及维护; 4.能根据实际需求,使用前沿第三方框架,如Django、Flask等实现各种功能。 【职位要求】 1.***本科及以上学历,软件工程、计算机相关专业,一年以上相关工作经验优先;有真实的 Python 项目经历优先; 2.能够在Unix/Linux进行服务器的开发; 3. 精通Python语言; 4.熟悉PEP8编程规范; 5.精通MySQL/PostgreSQL/MongoDB; 6. 具有良好的沟通能力、团队合作精神、优秀的分析问题和解决问题的能力。 优先条件:. 熟悉网页爬取、数据挖掘、数学建模和算法,熟悉Scrapy等相应的开源组件;有良好的设计能力,熟悉常用的设计模式和设计原则。 工作地点:深圳 工作时间:08:30-18:00 午休12:00-13:30 其他说明:食宿自理 【面试信息】 面试形式: 到场面试 面试轮数: 1-3轮 时间安排: 一天内完成 补充说明:包含笔试、上机操作 【福利待遇】 1. 入职即可购买五险一金,无论你是深户还是非深户,统统缴纳深圳一档社保; 2. 入职一个月以后报销体检费用; 3. 休假:享有11天国家法定有薪假期(元旦、春节、清明节、端午节、劳动节、中秋节、国庆节); 4. 节日福利:元旦、圣诞节、元宵节、三八妇女节、端午节、中秋节等发放水果/节日礼品/下午茶; 5. 特殊假期(比如婚假、生育假等有相应的慰问金); 6. 员工团建:定期组织员工活动,丰富员工**生活; 7. 一对一导师制,老带新,帮助你尽快融入公司; 8. 评优:对季度绩效优秀的员工给予额外的现金奖励; 9. 晋升:工作认真负责、能力突出者,公司主动评估给予晋升; 10. 年终奖,年度调薪。
  • 5k-10k 经验在校/应届 / 本科
    IT技术服务|咨询 / 不需要融资 / 50-150人
    工作职责: 1.负责规划、设计和开发爬虫相关系统,进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线,完成实时数据与离线数据的爬取与对接。 任职要求: 1.精通Python语言\MYSQL,熟练使用常用模块,使用过Flask web框架; 2.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理,深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理,有具体工程经验,如 scrapy / pyspider等 5.了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath等 6.对常见各类反爬方式(如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等)有一定解决经验
展开