-
岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
-
岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
-
1.负责垂直领域的定向爬虫引擎开发优化工作 2.负责HTTP、AJAX等各类网络请求分析 3.通过爬虫定向抓取数据和解析、抽取、去重、清洗和存储 4.根据应用场景封装服务接口给内部团队调用 5.负责反封禁的研究提升爬虫抓取效率和质量 任职要求 1、深入理解网络数据抓取的工作原理与工作流程; 2、熟悉HTML、DOM、XPATH,熟练使用正则表达式; 3、擅长分析HTTP协议,能够解析、模拟HTTP传输的报文 4、掌握HTTP相关调试、分析工具,能够对网页、APP数据抓包(有手机APP脱壳、反编译能力优先考虑) 5、精通Python/C#/Java等编程; 6、一年以上大规模网页爬虫开发经验,熟练使用关系数据库(如MySQL, MSSQLsql)或NoSql数据库(如Mongodb及Redis); 7、具备独立的破解各类网站封禁及各类验证码的能力,有多线程、分布式、网络数据抓取及处理经验优先; 8、熟练使用开源技术以及框架(Nutch、Scrapy、Heritrix等)者优先; 9、熟悉Unix/Linux操作系统者优先; 10、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力,抗压能力,目标执行力,对挑战性问题充满激情。
-
岗位职责: 1. 负责采集系统的架构设计,系统搭建 2. 负责各类数据源(API、数据库、网页)的数据采集、清洗、转换与入库; 3. 搭建与维护稳定高效的数据采集系统,确保数据采集的准确性、完整性与时效性; 4. 分析数据源结构与变化,制定字段映射、清洗规则和更新策略; 5. 针对目标站点的反爬策略设计并实现有效的绕过方案; 6. 编写数据采集文档与接口说明,支持数据管理与审计合规需求。 7. 及时解决爬取过程中出现的问题并不断优化程序 任职资格: 1. 计算机相关专业毕业,3年以上数据开发经验; 2. 熟练掌握 Python,具备丰富的 HTTP 请求模拟、抓包调试、异步编程、数据解析能力; 3. 熟悉常见数据采集方式(如 RESTful API 调用、网页爬虫、日志采集)与数据清洗与转换技术; 4. 熟悉数据采集相关框架或工具(如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink); 5. 熟悉 JavaScript 语言,具备 JS 加解密逆向能力,可独立实现复杂参数构造、签名还原、AES/MD5/RSA算法实现等; 6. 熟悉常见反爬机制及绕过方式,如验证码识别(图形/滑动/点选)、UA/IP切换、请求混淆、Headless Browser 等; 7. 具备小程序抓包与接口还原能力,了解小程序数据通信机制; 8. 有 App 采集经验,熟悉抓包工具(如 Charles、Fiddler、Wireshark、mitmproxy)、Hook 工具(如 Frida、Xposed); 9. 了解数据质量、数据安全与合规相关知识。
-
岗位职责: 1.发挥创造性思维,解决数据采集与应用难题; 2.与数据产品经理紧密配合,分析挖掘数据的价值;维护数据模块,确保数据更新快、准、全; 3.参与数据采集、统计分析、监控等相关系统架构设计和研发; 任职资格: l、本科以上学历,计算机相关专业,熟悉操作系统(多线程、多进程)、计算机网络编程、数据结构与算法等基础知识;、 2、3年以上Linux环境下常用语言(C/C++/JAVA/Python)开发经验,熟练使用常用Linux 命令; 3、3年以上大规模网页爬虫开发经验,熟悉浏览器原理、前端JS、AJAX; 4、深入了解前端JS反爬,能解决前端动态JS混淆问题; 5、深入了解非逆向、非侵入式手机APP采集方法;熟悉了解容器化编排技术(swarm/k8s/mesos);、 6、熟练使用一门以上脚本语言(Python/Javascript); 7、熟练使用一种以上的数据库(Mongodb/HBase/MySQL);
-
【岗位职责】 1、负责各大电商平台数据采集,主要是动态数据。 2、负责网页爬虫架构设计(包括基础资源,如代理池技术、反爬技术、浏览器采集技术等等)与核心技术研发。 3、负责API或者爬虫获取数据,数据解析和分析等功能的研发。 4、设计各种策略和算法,提升抓取效果;充分利用带宽资源,避免限制。 【任职资格】 1、大专以上学历,计算机及相关专业,5年以上工作经验;有大规模爬取电商(抖、快、拼、京、淘)的经验。 2、扎实的java或者python语言基础,熟悉linux平台下主流Java或者python应用开发框架及中间件,能够对Java进行代码级的调优和调试。 3、能够熟悉使用RPA工具。 4、熟悉常用的浏览器调试技术。 5、熟悉常见的反爬机制及对应的应对措施,如cookie识别。 6、精通网页爬虫、分布式、多线程开发技术。 7、能够解决封账号、封IP采集、验证码识别、图像识别等问题,解决网页抓取、信息抽取等问题,构建完善的网络信息收集平台。 8、善于主动学习,责任心强,能够承受较高的工作压力。 9、有AI营销经验优先。
-
岗位职责: 1、解决各类反爬问题,如JS混淆逆向、APP逆向、字体加密、极验验证码、瑞数等以及采集其它疑难杂症; 2、负责相关爬虫相关技术调研与应用,包括但不限于web/app的数据采集; 3、维护采集平台中站点的稳定采集; 4、开发和维护爬虫脚本和数据处理接口,确保系统稳定运行; 5、协助团队解决爬虫相关技术问题,完成上级安排的其他任务; 任职要求: 1、本科及以上学历,计算机相关专业; 2、3年以上大规模网页爬虫项目经验,2年以上Python开发经验,熟练掌握爬虫底层框架,如scrapy、scrapy-redis、feapder,阅读过如Scrapy-redis等底层代码实现,能够进行改写; 3、精通HTTP/HTTPS协议,能熟练使用Charles、Fiddler等抓包工具分析请求; 4、能够解决封账号、封IP、JS加密、JS混淆逆向、极验验证码、瑞数等采集等问题,具备较强的反爬能力,具备较强的提升爬虫效率的意识; 5、熟练掌握Redis及MongoDB等非关系型数据库,MySQL等关系型数据库的使用; 6、熟悉多种数据提取方法,能灵活运用JsonPath、XPath、CSS选择器和正则表达式;了解ES,Kibana; 7、熟悉HTTP/HTTPS和TCP/UDP协议以及数据抓包和分析、熟悉Linux系统和shell多线程编程; 8、优秀的分析问题和解决问题的能力、思维清晰,对解决具有挑战性问题充满激情,有极强的责任心。
-
岗位职责: 1,负责公司网络爬虫新产品的研发工作,参与基数架构建设; 2,研究爬虫策略和防屏蔽规则,功课技术难点; 3,分析和抓取网页内容,进行信息抽取等工作,构建高可用的信息收集平台; 4,持续对系统的基数架构进行改进,提升抓取数据的质量和效率; 5,探索和研究爬虫的新技术方案,应用于产品业务。 任职要求: 1,熟练掌握Python/Go/Java等(主要是python)至少一种编程语言,熟悉linux,3年以上爬虫开发相关经验; 2,理解HTTP、TCP/IP等网络通信协议,熟悉常见的反爬策略; 3,精通网页抓取原理与技术,熟悉JS逆向,扎实的网页/接口的分析能力; 4,有大规模网页爬虫开发经验者优先; 5,有机票相关工作者优先; 6,了解applepay流程优先; 7,了解AST反混淆JS代码优先; 8,有APP爬虫/逆向经验者优先。
-
岗位职责: 1.负责直播平台,短视频平台相关公开数据的爬取,譬如抖音、快手等等; 2.负责爬虫框架设计,支持多进程、分布式、可扩展; 3.负责将采集的原始数据处理为结构化数据; 4.与数据仓库团队做好采集数据流转的对接; 5.领导安排的其他工作。 任职资格: 1.二年以上网页爬虫开发经验,能独立完成全部爬虫的设计和开发; 2.熟悉浏览器原理、理解网站和Web服务的工作原理,理解tcp,http等协议原理; 3.扎实的Python编程基础,熟练使用PySpider,scrapy等爬虫框架及相关生态插件,熟悉XPath等常用数据选取技术; 4.熟悉多线程、网络编程,熟悉linux平台、shell编程等; 5.了解myql数据库,以及基本sql语法; 6.熟练使用selenium,实现常见自动化脚本; 7.有对接抖音,快手,巨量引擎等平台marketing api经验优先。
-
电子信息类/计算机类/人工智能类 岗位智责: 1.、负责少儿趣味编程类课程的研发、课程录制及课堂讲授,参与日常教学管理工作及教研工作; 2.、主持引导:引导孩子们做展示演讲、自由发言(老师担任主持人、评委、引导员角色); 3、答疑互动:及时解答学生们遇到的问题; 4、拓展学习:指导学生们开发制作有趣的软硬件创新项目。 岗位要求: 1、较强的合作能力,能够与其他教研老师充分沟通合作,共同高效的完成任务。 2、有责任心,有良好的敬业精神,认真耐心,逻辑清晰 3、精通python,精通网页爬虫原理,了解mysql数据库
-
工作职责 1、基于市场研究和用户反馈,制定产品路线图,定义产品功能和优先级,并理解相关NLP算法的实现和优化。解读最新竞品产品和流行算法的运作机制, 2、需求管理:撰写和维护产品需求文档,确保技术团队对产品目标有清晰的理解,并根据用户反馈调整产品方向。 3、项目协调:与工程、数据科学、设计、市场和销售团队紧密合作,确保产品按时发布并达到预期质量标准。 4、数据分析:利用数据分析工具监控智能客服产品的性能,基于对话日志和用户互动数据进行深入分析,以优化产品性能和用户体验。 5.开发协助:支持LLM、MLLM方向的新产品的研发,沟通业务需求,运行和测试最新的算法框架,确保算法的落地应用。 6、用户体验:密切关注智能客服产品的用户交互,确保提供流畅、自然和高效的对话体验。 7、.持续迭代:根据用户反馈、市场变化和技术进步,不断迭代和优化智能客服产品。 任职要求 1.教育背景:硕士及以上学历,计算机科学、人工智能、信息技术、数据科学或相关专业。 2.工作经验:1-3年产品管理经验,具有自然语义理解、大模型或算法平台产品背景者优先。同时,具有算法工程开发或应用经验者优先。具有部分咨询或者市场研究背景者优先。
-
工作职责 : 1、从事服务后台的架构设计、开发、优化等工作; 2、使用最优秀的架构设计及算法实现,在网络接入、业务运行逻辑、用户数据存储、业务数据分析等方向,为用户提供稳定、安全、高效和可靠的专业后台支撑体系。 任职资格 : 1、计算机或相关专业,本科及以上学历。全面、扎实的软件知识结构,掌握操作系统、软件工程、设计模式、数据结构、数据库系统、网络安全等专业知识; 2、精通JAVA,熟悉MVC/RESTful的架构;熟悉ORACLE/PG及SQL语言、编程,了解非关系型数据的原理和应用,了解springboot等微服务技术框架; 3、了解分布式系统的设计与开发、负载均衡技术,高可用系统等知识; 4、对于IT技术有持续好奇心,拥有良好的学习意愿和能力;有良好的团队合作能力和学习能力; 5、执行与推动力强,思维敏捷,具备系统思维,良好的人际理解能力,沟通协调能力强。
-
工作职责 1、带领算法团队,从业务需求和用户场景出发,搭建适合AIGC产品的AI架构,并持续优化,迭代算法模型; 2、负责垂类大模型的研发和训练、优化,包括但不限于Embedding、SFT、RLHF、Pre-trian、Prompt; 3、负责AI相关产品的全流程工作,包括但不限于数据、训练、评测、推理部署,保证数据的高质量和有效性; 4、设计与实现AI Agent框架,推动Agent在SAAS产品上的应用落地。 任职要求 1、硕士及以上学历,博士更优,计算机、数学、人工智能相关专业;8年以上算法工作经验,3年以上大模型领域相关技术研究、开发经验; 2、有过大模型产品架构设计经验,有Pre-trian、SFT、RLHF等实操经验,深入理解Agent与思维链的实现机制与框架,有模型架构优化经验者优先; 3、熟悉使用Tensorflow、Pytorch等深度学习框架,有丰富的机器学习和深度学习模型经验; 4、具备独立的算法实现能力,熟悉GPT、bert、T5等,对训练数据的组织以及测试数据集管理有深入的理解; 5、有AI产品的实际经验,有SaaS产品研发、业务流程设计、AI产品评价机制等相关经验优先; 6、有丰富成熟的算法工程与研发流程管理经验,领导过10人以上的算法团队者优先; 7、有相关大模型开源项目、有人工智能顶会论文发表者优先; 8、有AI产品思维能力,有实际AI产品端到端负责经验者优先。
-
职位职责: 1、负责安全事务离线与实时数据仓库数据模型构建; 2、负责数据模型的设计,ETL实施,性能优化,数据监控以及相关技术问题的解决; 3、深入理解业务需求,与相关团队紧密合作,推动内外部数据项目执行落地; 4、参与大数据应用规划,为数据产品、挖掘团队提供应用指导。 职位要求: 1、5年以上数据相关工作经验,计算机、数学、统计或相关专业; 2、有较为丰富的数据仓库及数据平台使用经验,精通数据资产建模及ETL设计开发(有笔试); 3、熟悉Hive/Hadoop/Map-Reduce/Spark分布式计算中的一种,有海量数据处理和实时计算经验; 4、掌握Python、Shell等编程能力; 5、有通过大数据平台,以数据能力解决风控、研判、决策、BI等项目经验; 6、良好的逻辑思维和沟通能力,能够有较强的产品服务意识,自驱力强,有面向外部客户的项目沟通、产品介绍等经验是加分项。
-
工作职责: 1.负责视频广告引擎系统的架构设计、核心模块研发与性能调优,支撑每日数亿级流量下的高并发广告请求,保障系统的极致性能与高可用性 2.根据视频广告业务发展的需求,主导重点业务和技术方向的项目:深入业务,通过策略优化驱动收入增长;攻克系统瓶颈,在底层性能优化等核心技术难题上有突破; 3.持续优化现有系统,包括品牌广告引擎和程序化交易平台系统,提高系统稳定性和性能,更好的支持广告业务的发展 4.持续完善广告后端服务的周边基础服务,包括但不限于高性能推理服务、自动化排查工具与全链路监控体系,提升团队整体研发效率与系统稳定性 任职要求: 1.**本科及以上学历,5年以上C/C++方向的大规模高并发系统开发背景,有广告/搜索/推荐系统开发经验优先,熟悉openresty者优先。 2.精通网络编程、多线程及并发技术,对系统性能调优有浓厚兴趣和丰富经验,能解决复杂的底层技术挑战。对数据敏感,可以通过技术手段提升核心业务指标。 3.具备优秀的技术架构能力、问题分析与解决能力,能独立负责复杂模块并从推动完成其高质量交付。 4.有大型分布式系统设计经验,参与过大型开源项目,具有并行计算开发经验的优先考虑 5.有良好的学习能力和团队协作精神,在技术方向有钻研精神,善于分享。工作积极有责任,认同企业文化,愿意拼搏努力。


