-
岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
-
爬虫开发工程师(深圳) (MJ001447)
[深圳·福田区] 07:35发布20k-30k·13薪 经验3-5年 / 本科旅游|出行 / D轮及以上 / 500-2000人岗位职责: - 根据项目需求,负责爬虫调研、评估、开发及维护等全流程工作。 - 参与爬虫系统的架构设计、开发与优化。 - 负责攻克反爬风控手段。 - 实时监控爬虫状态,及时处理爬虫异常。 岗位要求: - 本科及以上学历,3年以上工作经验。 - 熟练掌握scrapy,selenium等相关框架,python及爬虫基础扎实。 - 熟悉各类常见的风控措施,熟悉js逆向,app逆向加分,熟悉web前端知识,能解决常见反爬问题。 - 有良好的沟通能力,及较强的责任心。 - 过往工作经历有电商、在线旅游行业爬虫经验者优先。 -
工作职责: 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究,难点攻关; 3、实时监控爬虫任务的执行状况,及时处理异常情况 任职要求: 1、**本科及以上学历,1年以上爬虫开发经验; 2、熟练掌握python,掌握selenium、scrapy等相关框架,爬虫基础扎实; 3、熟悉掌握MongoDB,有过数据库调优和海量数据存储经验优先; 4、精通JS防护、混淆、逆向分析等技能,熟悉各种浏览器检测/反检测手段;
-
岗位职责: 1. 负责爬虫业务线的开发迭代,完成多平台信息和页面内容、接口的抓取工作; 2. 负责信息数据的抽取、清洗、整理等工作; 3. 负责爬虫系统的优化,监控和报警,提高爬虫脚本的稳定性和抓取效率。 任职要求: 1. 本科及以上学历,2年以上独立Python爬虫开发经验; 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块; 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架,熟悉反爬策略与应对方案; 4. 熟悉Linux开发环境,熟悉 MySql / Mongodb / Redis的基本原理,有数据清洗经验的优先; 5. 有django、flask、tornado等web框架(之一即可)的使用经验,有web项目经验的优先; 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力; 7. 有责任心,能够积极主动的发现和解决问题,化解风险。 如果您成为我公司员工,您将获得: 薪资:中电博亚将为员工提供行业内有竞争力的薪酬,确保优秀员工获得更多的认可和激励; 奖金:优秀的您将共享公司的经营业绩,奖金额度与公司年度收益及个人绩效挂钩; 基本保障福利:公司按照国家规定为员工缴纳社会保险及公积金(五险一金); 额外补充福利:餐补、车补等日常津贴,下午茶零食咖啡无限量供应; 休假:相对弹性工作制;每周双休;除国家规定的法定节假日外,将给予额外的带薪年假和带薪病假。 我们虽然独树一帜,却并不冰冷; 我们虽然行事严谨,却并不死板; 我们不害怕年轻,只害怕创意枯竭; 我们不害怕失败,只害怕止步不前; 我们喜欢朝气蓬勃的你,一起用对游戏的热爱一起创造辉煌; 我们喜欢无所畏惧的你,前人没有走过的路就让我们来开辟; 那个关于游戏的梦想,你还记得吗? 我们期待你的加入!
-
职位职责: 1、负责脚本模板作者拉新与内容供给,基于案例分析与数据表现优化内容策略,对脚本模板的质量、数量和消费表现负责; 2、落地脚本模板站内外推广活动,提高模板使用与导出规模; 3、协同产品、研发等部门持续打磨AI算法能力,参与算法策略迭代,标准制定与效果评估; 4、搭建素材相关基建,包含定义内容标签、数据看板、后台运维提效等,提升模板的分发质量和运营效率。 职位要求: 1、本科及以上学历,拥有3年以上内容平台运营经验,有Vlog类视频剪辑经验优先; 2、熟悉社交媒体的热点趋势与审美偏好,有内容敏感度,可以抽象出套路范式和模板生产结合; 3、具备较强的数据分析能力、问题解决能力和用户产品思维; 4、细心踏实,注重细节,具备良好的跨团队沟通能力和项目管理经验,能高效推动项目落地; 5、英语听说读写优秀,可作为工作语言。
-
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产研团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、3年相关反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉 Web 安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
岗位职责: 1.参与数据安全相关系统/数据的开发和维护,保证系统的高可用性和稳定性; 2.参与AI相关数据处理和AI应用研发工作; 3.参与后台系统研效提升相关工作,协调并提升团队研发效率、质量。 岗位要求: 1.掌握Golang/python语言,具备开发能力,同时掌握c++者优先; 2.熟悉Linux操作系统、网络编程,具备调试能力、问题分析能力; 3.关注并了解AI算法和技术,对AI领域有探索热情; 4.具备强烈的进取心、求知欲及团队合作精神,有很强的责任心和较强的沟通协作能力;
-
## 岗位职责: 1. 参与公司产品的服务端开发工作,包括接口开发、数据库设计、系统架构设计等; 2. 参与Linux或Windows服务器的运维工作,包括服务端的安装、配置、部署、监控等; 3. 参与服务器性能优化工作,包括系统架构优化、配置优化、数据库优化、接口优化等; 4. 参与公司产品的客户交付和技术支持服务,包括版本升级、问题排查、用户培训等。 ## 岗位要求: 1. 本科以上学历,计算机/软件/信息安全等相关专业; 2. 熟悉Linux操作系统(Ubuntu或Debian),掌握常用的Linux命令,了解Web服务器、数据库、防火墙等软件配置; 3. 熟悉常用的Web开发技术,如HTML5、CSS、JavaScript、Ajax、JSON-RPC、WebSocket等; 4. 熟悉Node.js,熟悉常用的Node.js模块,熟悉Express、Koa等常用的Node.js开发框架; 5. 熟悉MySQL或PostgreSQL,熟悉常用的SQL语句,熟悉常用的数据库优化方法; 6. 热爱技术,有较强的自驱力和钻研精神,有一定的抗压能力,能够及时处理服务器突发问题。
-
网络信息安全,爬虫,攻防,全栈技术工程师
-
任职要求: 1. 本科及以上学历 2. 有Python爬虫相关经验,有web端JS逆向经验,熟练使用Scrapy框架 3. 熟悉HTML、XPath、正则表达式、AJAX、HTTP协议等 4. 熟悉MySQL、NoSQL等,了解Git版本管理工具 5. 熟悉分布式爬虫以及各种抓包工具 6. 熟悉消息队列,如rabbitmq,kafka等 加分项: 1. 有GUI工具pyqt开发经验 2. 有app逆向开发经验,熟悉ast,frida,objection,能够独立逆向小程序,app等 3. 有爬虫平台相关开发经验,如xxljob等
-
非杭州伙伴可以线上办公!!! 岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO或者RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
-
负责国外电商平台的数据采集 岗位职责: 1.爬虫开发、与内部系统后端开发对接;负责爬虫系统构架的数据存储设计; 2.建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 3.理解系统数据处理流程以及业务功能需求; 4.保证数据的完整性和准确性。 岗位要求: 1、熟悉js逆向、js注入、反混淆、熟悉jsRPC服务; 2、计算机相关专业专科及以上学历(有项目经验可以放宽); 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、有一定的反爬虫对抗经验,分布式爬虫布局; 5、电商类网站爬虫经验优先,有高频爬虫工作经验者优先; 6、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先。
-
【任职要求】 1、熟悉html/css/xpath/ajax/xml等技术,熟悉HTTP传输协议,精通网页抓取原理和整合技术,熟悉正则表达式; 2、熟悉基于COOKIE等网站登录原理,JS逆向; 3、精通Python,熟悉django框架 4、熟悉MySQL 5、熟悉linux系统环境、命令,shell、python脚本编写 6、熟悉fiddler抓包工具的使用 7、熟悉Git版本管理工具 【教育背景及从业经验】 1、计算机相关专业,大学专科及以上; 2、一年以上python开发经验,三个以上爬虫项目经验 【加分项】 善于以用户场景视角,理解功能需求。 【公司项目介绍】 自主研发车险管理ToB SaaS平台,商用10年,在车险垂直领域市场占有率高。 新人入职,一对一技术培训。 【福利】 国家规定的所有带薪假期;社保五险;零食;年度旅游;地铁口; 【上班时间】 早9晚6,双休
-
工作内容: 1、通过编写新的爬虫脚本、通过修复已有爬虫脚本对网站数据进行爬取采集 2、对爬取的速度、质量负责。 3、对爬取回来的数据进行清洗(去重、缺失值、空值、乱码异常值等处理),并且进行数据存储 工作要求: 1、会使用爬虫、能独立编写爬虫脚本爬取数据 2、能够解决爬取数据过程中的反爬机制(JS逆向、验证码、封IP等) 3、能够处理千万级以上数据,保证处理存储的有效性(速度+质量) 4、能接受应届生、勤奋好学、吃苦耐劳
-
负责为海外音乐项目搜索采集数据,为团队的海外运营提供决策支持(自有项目,非乙方)。 岗位职责∣Responsibilities: 1、熟练掌握Python,熟悉Linux开发环境; 2、负责设计和开发爬虫,精通海外网页(Youtube、Spotify、Google...)抓取原理及技术,从各种web页面、APP中获取目标信息; 3、负责爬虫团队的日常工作安排及管理。 4、解决技术疑难问题,包括各种反爬、压力控制等,提升网页抓取的效率和质量。有能力解决封账号、封IP、验证码识别、图像识别等问题,有能力解决复杂的反爬限制; 5、大规模爬虫系统的设计、数据REST API的设计、开发、维护、调优,第三方数据源的对接、预处理、入库; 6、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗;不限于使用代码规则类进行数据清理; 7、开发代码的维护更新,Linux服务器的维护,文档维护; 8、支持部门数据需求,包括但不限于搜索数据来源、数据清洗、数据挖掘、为团队提供决策支持; 履职要求∣Requirements: 1、大学本科及以上学历,计算机相关专业; 2、耐心、细心,有较强的逻辑思考能力,和良好的工作习惯。 3、有5-10年的爬虫、数据处理、数据分析经验; 有团队管理经验;有音乐行业经验优先; 4、掌握HTML,JS,及熟悉JS反扒破解;熟悉常见的反爬虫技术如文本混淆反爬虫、验证码等; 5、熟练掌握Python数据结构与常用算法;熟悉scrapy等爬虫框架,有scrapy-redis分布式爬虫经验;熟悉正则、xpath等提取方法; 6、了解pandas、numpy掌握网络爬虫开发原理,熟悉互联网各种类型数据交互模式; 7、熟悉MySQL部署、开发与维护; 8、熟悉Linux环境,使用脚本开发维护Linux服务器; 9、具有良好的表达能力,团队合作能力;具有很强的责任心,乐于挑战,有较强的深入学习理解业务的意愿。