-
职位职责: 1、负责风控基础引擎和平台的架构、设计与实现,支持字节跳动旗下相关产品线风控需求; 2、负责高性能、高并发、低延迟的后台系统持续优化和演进; 3、洞察反爬虫、反作弊等风控技术的最新进展并应用于实践。 职位要求: 1、两年以上后端研发经历,计算机相关专业本科及以上学历; 2、精通 go/cpp/java/rust 等至少一门编程语言,熟练运用各种常用算法和数据结构,有独立实现能力; 3、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题; 4、熟悉在线系统开发,流式计算,规则引擎或模型系统者优先,有大流量系统开发经验者优先; 5、有互联网反爬取、反作弊、设备安全、账户安全等系统相关经验者优先。
-
职位职责: 1、负责反爬取和风控基础平台的架构、设计与实现; 2、负责风控数据平台和模型系统架构的建设; 3、跟踪反爬、反作弊技术的最新进展并应用于实践。 职位要求: 1、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题; 2、精通至少一门编程语言,熟练运用各种常用算法和数据结构,有独立的实现能力 ; 3、熟悉在线系统开发,流式计算,规则引擎及模型系统者优先; 4、有互联网反爬取,反作弊,账户安全等系统相关经验者优先。
-
■岗位职责 负责爬虫软件设计开发及系统维护工作; 根据业务需求完成数据采集与爬取、解析处理、入库及备份数据日常工作; 负责信息抽取、数据清洗等研发和优化工作,对数据结果进行解释和汇报,向相关部门提供数据分析技术支持; 负责python相关系统的开发、维护和优化。 ■岗位条件 (1)学历:普通高招大学本科及以上学历。 (2)年龄:原则上本科生不超过28周岁,硕士研究生不超过30岁,博士研究生不超过32岁,特别优秀者可适当放宽。 (3)专业:计算机科学与技术、软件工程、网络工程、信息与计算科学、信息安全、电子与计算机工程、信息与通信工程、网络空间安全、数据科学与大数据技术、人工智能等相关专业。 (4)基础能力: 熟练掌握Python编程语言及其主流框架和第三方库; 熟练使用爬虫相关技术,如scrapy、pyspider、appium、puppeteer等; 掌握Pyhton的Web框架Django、Flask等,并且有使用过其中一个框架开发; 具有扎实的数据结构和算法基础,深入理解面向对象编程思想及常用设计模式; 熟悉缓存、多线程、消息队列等相关技术; 具备较高的编程素养、良好的编码习惯。 (5)放宽及优先条件: 具有符合本岗位特殊才能的,学历和年龄可适当放宽; 具有互联网政务服务相关工作经验,或具有“大厂”工作经验者,学历和年龄可适当放宽,并优先考虑; 具有算法开发相关经验的优先; 具有Js逆向经验、App数据抓取经验者优先; 其他符合放宽或优先条件的。
-
工作职责: 负责设计、开发和维护高效、稳定的数据爬虫系统; 根据业务需求,制定数据抓取策略,处理反爬机制、验证码识别、IP代理等问题; 建立数据清洗、结构化处理及存储流程,保证数据质量; 持续优化爬虫性能,提升抓取速度与稳定性; 与数据分析、产品等团队紧密协作,理解数据需求,快速响应数据抓取任务; 关注行业动态,研究新的爬取技术和反爬手段,持续提升系统能力。 任职要求: 熟练掌握至少一种编程语言(Python优先,如:Scrapy、Selenium、Playwright、Requests 等常用库); 熟悉常见网站结构、前端技术(HTML、CSS、JavaScript),能够快速分析网页数据; 熟悉常用的反爬技术及应对手段(如IP代理池、UA池、验证码识别、动态渲染处理等); 熟悉异步爬虫、分布式爬虫开发,有 Scrapy-Redis / Playwright + 分布式实践经验者优先; 熟悉常用数据库(如MySQL、MongoDB)及缓存系统(如Redis); 有大型数据采集、数据清洗、数据处理项目经验优先; 具备良好的编码习惯和文档意识,责任心强,乐于学习新技术。 加分项: 有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验; 有云原生(如 Kubernetes、Docker)、大数据(如Spark、Kafka)相关技术栈经验; 有参与过爬虫平台化、数据中台建设项目经验; 有算法基础,了解简单的图像识别(如验证码OCR识别)优先。
-
岗位职责: 1.负责企业信息爬取和页面内容的提取分析,负责各类反爬机制; 2.研究爬虫策略和防频率规则; 3.负责协助项目经理进行技术评测,bug处理,代码开发; 4.负责网站数据库、栏目、程序模块的设计与开发; 5.负责根据公司要求进行crm系统迭代开发; 6.熟悉工商信息网、企查查、爱企查其中之一平台的API接口开发与维护; 任职资格: 1、本科及以上学历,有5年以上python爬虫工作经验 2、良好的代码习惯,结构清晰、命名规范、逻辑性强、代码冗余率低; 3、熟悉Mysql,有较为熟练地掌握mysql语言及编写存储过程、触发器等数据库开发的能力; 福利待遇: 带薪年假 每年调薪 五险一金 福利体检 节日福利 年终绩效 团建旅游 文体协会 季度之星 内推奖励 园区食堂 周年礼品 学历补贴:在职研补贴5万学费 工作时间:8:30-18:00,午休12:00-14:00
-
岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
-
岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
-
岗位职责: 目标网站数据爬取、解析、清洗、分析等ETL全流程。 任职要求: 熟练掌握在linux(centos,ubuntu)下开发。 熟练掌握mysql,postgresql数据库使用,redis,mongodb使用。 熟练掌握web页面结构分析,使用chrome,firefox,edge等进行包括html,css,js等的解析,抓包分析。 可以使用browser-use,craw4ai等进行页面模拟交互。 熟练掌握python,django进行数据分析,计算,数据库存取。 熟练掌握docker/git下的上述开发,部署,运维。 具备良好的编码习惯,结构清晰,命名规范,逻辑性强,代码冗余率低; 数据结构和算法基础扎实, ACM程序设计比赛获奖者优先; 熟悉分布式系统原理,熟练掌握一种以上服务框架和消息中间件者优先; 有实际项目经验者优先考虑。 具备良好代码书写规范,团队合作和分享精神。 对创新技术有着非常强烈的求知欲,愿意不断学习新知识,不断更新自己的技术储备。 有扎实的英语功底,并且能够轻松的阅读英文文档。 其他要求: 1.计算机相关专本科以上学历在校生,研二优先。 2.能够保证三个月及以上的实习时间,每周至少保证四天及以上出勤,欢迎寒暑期实习。 3. 执行力强,懂得要遵守企业价值观和工作纪律。 4. 工作地点在上海市松江区,外地同学可以提供住宿补贴。 5. 投递简历前请仔细阅读上述能力要求,避免浪费彼此时间。
-
岗位职责: 1. 负责采集系统的架构设计,系统搭建 2. 负责各类数据源(API、数据库、网页)的数据采集、清洗、转换与入库; 3. 搭建与维护稳定高效的数据采集系统,确保数据采集的准确性、完整性与时效性; 4. 分析数据源结构与变化,制定字段映射、清洗规则和更新策略; 5. 针对目标站点的反爬策略设计并实现有效的绕过方案; 6. 编写数据采集文档与接口说明,支持数据管理与审计合规需求。 7. 及时解决爬取过程中出现的问题并不断优化程序 任职资格: 1. 计算机相关专业毕业,3年以上数据开发经验; 2. 熟练掌握 Python,具备丰富的 HTTP 请求模拟、抓包调试、异步编程、数据解析能力; 3. 熟悉常见数据采集方式(如 RESTful API 调用、网页爬虫、日志采集)与数据清洗与转换技术; 4. 熟悉数据采集相关框架或工具(如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink); 5. 熟悉 JavaScript 语言,具备 JS 加解密逆向能力,可独立实现复杂参数构造、签名还原、AES/MD5/RSA算法实现等; 6. 熟悉常见反爬机制及绕过方式,如验证码识别(图形/滑动/点选)、UA/IP切换、请求混淆、Headless Browser 等; 7. 具备小程序抓包与接口还原能力,了解小程序数据通信机制; 8. 有 App 采集经验,熟悉抓包工具(如 Charles、Fiddler、Wireshark、mitmproxy)、Hook 工具(如 Frida、Xposed); 9. 了解数据质量、数据安全与合规相关知识。
-
岗位职责: 1、负责数据的采集与爬取、解析处理、入库等数据日常工作; 2、参与爬虫系统的数据抓取架构设计与开发 3、设计爬取、调度和抽取算法,优化系统 岗位要求: 1、熟练掌握python语言,有使用python写过爬虫经验者更佳; 2、了解scrapy或其他爬虫框架,熟悉网页抓取原理; 3、熟悉正则表达式、xpath(或Beautiful Soup4),能够从结构化和非结构化的数据中获取信息; 4、熟悉Linux,熟悉至少一种主流数据库,如Mysql、MongoDB、redis等; 5、良好的沟通和团队合作能力,主动的学习意愿和良好的学习习惯,认真负责的工作态度; 6、有强大的抗压能力及独立快速解决问题的能力。
-
岗位职责: 结合LinkedIn、Facebook、Google等平台,开发海外客户并挖掘订单机会。 基于IT/AI技术背景,分析外贸业务痛点,参与设计自动化工具(如智能邮件营销、客户画像生成、供应链流程优化等)。 协助开发AI Copilot系统,探索AI Agent在外贸场景的落地应用(如自动跟进、谈判辅助、数据爬取与分析)。 对大宗贸易(工业矿产原料)的RWA上链、DAO平台构建提出技术解决方案。 任职要求: 1.985高校大三大四学生优先(东北地区更佳),211研究生亦可;专业要求:软件工程、人工智能、计算机等相关领域。 2.技术能力:精通Python/Java/PHP/Vue中的至少一种,熟悉OAuth2协议及社交媒体API(如LinkedIn、Twitter等)。 3.时间投入:每周≥20小时,单次工作连续3小时以上(远程灵活,不干扰课业)。 4.核心特质:对AI技术商业化有强烈热情,逻辑清晰,能快速学习业务知识。 5.加分项:了解区块链/RWA/DAO概念,或有外贸/供应链相关经验。 团队优势: 1. 高回报:周薪600-1000元+月度奖金1000-4000元(考核制),全职实习生可谈更高薪资。 2.零成本成长:20年经验外贸负责人手把手培训,盛和塾经营哲学分享,AI+行业实战机会。 3. 未来潜力:提供实习证明,优秀者转正;参与从0到1的AI产品孵化,积累跨境复合型经验。 4.赛道前瞻:工业矿产是稳定刚需市场,结合AI Agent与区块链技术,布局RWA万亿赛道。
-
1.参与公司AI项目的设计、调试、研发; 2.负责数据爬取、数据标注、模型训练、数据处理及分析推理工作; 3.负责编写设计文档以及说明文档。任职要求: 1、精通自然语言分析、语音处理技术、熟悉RAG下 KAG垂端领域模型设计。 2、对知识图谱、数据挖掘分析、自然语言处理 (NLP)等技术有浓厚的兴趣,熟悉至少一个深度学习框架如tensorflow、transformer、keras或者 pytorch,简历附相关研究成果。 3、了解CNN,RNN等相关视觉分析技术。 4、精通Python编程语言,掌握Django框架应用设计,有Hadoop经验者优先。 5、数学专业优先。
-
1.参与公司AI项目的设计、调试、研发; 2.负责数据爬取、数据标注、模型训练、数据处理及分析推理工作; 3.负责编写设计文档以及说明文档。 任职要求: 1、精通自然语言分析、语音处理技术、熟悉RAG下KAG垂端领域模型设计。 2、对知识图谱、数据挖掘分析、自然语言处理(NLP)等技术有浓厚的兴趣,熟悉至少一个深度学习框架如tensorflow、transformer、keras或者pytorch,简历附相关研究成果。 3、了解CNN,RNN等相关视觉分析技术。 4、精通Python编程语言,掌握Django框架应用设计,有Hadoop经验者优先。 5、数学专业优先。
-
岗位职责: 1. 负责公司数据采集系统的设计与开发,实现高效、稳定的数据爬取; 2. 根据业务需求,制定数据抓取策略,优化爬虫算法,提高数据抓取速度和准确性; 3. 负责数据清洗、去重、存储等后端处理工作,确保数据质量; 4. 跟踪分析爬虫技术的发展趋势,对现有系统进行优化升级; 5. 与其他团队密切配合,完成数据挖掘、分析等相关工作; 6. 遵守相关法律法规,确保数据采集的合规性。 岗位要求: 1. 计算机相关专业本科及以上学历,2年以上爬虫相关工作经验; 2. 熟练掌握Python、Java、C++等至少一种编程语言,具备良好的编程基础; 3. 熟悉主流的爬虫框架,如Scrapy、requests等; 4. 熟悉Web前端技术,如HTML、CSS、JavaScript等; 5. 熟悉数据库技术,如MySQL、MongoDB等; 6. 熟悉Linux操作系统,能熟练使用shell脚本; 7. 具备良好的数据结构和算法基础,能独立解决复杂问题; 8. 具备良好的沟通能力和团队协作精神,能承受工作压力; 9. 有以下经验者优先: - 有大规模分布式爬虫开发经验; - 熟悉反爬虫技术,能应对网站反爬措施; - 熟悉大数据处理技术,如Hadoop、Spark等。 薪资待遇: 1. 薪资范围:面议,根据个人能力及经验水平; 2. 享有五险一金、年终奖、项目奖金等; 3. 提供完善的职业发展路径和晋升机会; 4. 提供良好的工作环境和发展空间。 联系方式: 有意者请将个人简历发送至:[邮箱地址],邮件主题请注明“爬虫工程师+姓名”。我们会尽快回复您的邮件,谢谢!
-
岗位职责 1.负责设计、开发和维护内容平台所需的分布式爬虫系统,支持从新闻、论坛、社交媒体等多渠道抓取海量数据并进行清洗、结构化和入库。 2.构建完整的数据采集与处理流程,包括网页解析、数据清洗、去重和入库等环节,确保采集数据的质量、准确性与一致性。 3.研究并应对各类反爬虫机制(如IP封禁、验证码、动态加载等),设计并实施反屏蔽策略,保证爬虫系统在复杂环境下稳定、高效运行。 4.搭建爬虫任务的监控与调度系统,实时跟踪抓取进度及性能指标,及时定位并修复抓取失败、异常或性能瓶颈等问题,持续优化爬虫效率和容错能力。 5.根据业务需求完成技术方案和系统设计,并撰写维护爬虫系统的技术文档,以支持内容分析和业务决策。 任职要求 1.精通 Golang 和 Python 编程语言,熟悉主流爬虫开发框架(如 Colly、Scrapy 等),具备较强的爬虫系统开发和维护能力。 2.具有分布式爬虫架构的设计与部署经验,能够搭建和运维分布式爬虫集群以应对海量抓取任务。 3.熟悉常见的数据处理流程,包括数据清洗、结构化及入库等,能够保证抓取数据的准确性和一致性。 4.熟练使用 Linux 操作系统及常用命令,了解自动化部署和运维流程(如 Docker、Shell 脚本等),具备独立调试和排错能力。 5.熟悉爬虫监控和任务调度工具,具备性能优化及容错设计能力,能够保证爬虫任务的高效稳定执行。 6.熟练掌握 MySQL 等关系型数据库,以及 MongoDB、Redis、Elasticsearch 等至少一种 NoSQL 存储技术。 7.熟悉代理池管理及 IP 轮换策略,能够有效应对 IP 封禁、请求限频等常见反爬虫问题。 8.具备一定的逆向工程能力,了解常见 JavaScript 混淆、接口加密方案和验证码破解技术,能够通过逆向分析提升爬取成功率。 9.理解常见的爬虫数据提取算法和反反爬策略,具备一定的算法能力,以优化数据抓取和解析效率 加分项 1.参与过海外社交项目优先 2.有过大型项目架构的优先 3.有相关开源项目的优先考虑


