-
职位职责: 1、负责反爬取和风控基础平台的架构、设计与实现; 2、负责风控数据平台和模型系统架构的建设; 3、跟踪反爬、反作弊技术的最新进展并应用于实践。 职位要求: 1、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题; 2、精通至少一门编程语言,熟练运用各种常用算法和数据结构,有独立的实现能力 ; 3、熟悉在线系统开发,流式计算,规则引擎及模型系统者优先; 4、有互联网反爬取,反作弊,账户安全等系统相关经验者优先。
-
职位职责: 1、负责风控基础引擎和平台的架构、设计与实现,支持字节跳动旗下相关产品线风控需求; 2、负责高性能、高并发、低延迟的后台系统持续优化和演进; 3、洞察反爬虫、反作弊等风控技术的最新进展并应用于实践。 职位要求: 1、两年以上后端研发经历,计算机相关专业本科及以上学历; 2、精通 go/cpp/java/rust 等至少一门编程语言,熟练运用各种常用算法和数据结构,有独立实现能力; 3、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题; 4、熟悉在线系统开发,流式计算,规则引擎或模型系统者优先,有大流量系统开发经验者优先; 5、有互联网反爬取、反作弊、设备安全、账户安全等系统相关经验者优先。
-
■岗位职责 负责爬虫软件设计开发及系统维护工作; 根据业务需求完成数据采集与爬取、解析处理、入库及备份数据日常工作; 负责信息抽取、数据清洗等研发和优化工作,对数据结果进行解释和汇报,向相关部门提供数据分析技术支持; 负责python相关系统的开发、维护和优化。 ■岗位条件 (1)学历:普通高招大学本科及以上学历。 (2)年龄:原则上本科生不超过28周岁,硕士研究生不超过30岁,博士研究生不超过32岁,特别优秀者可适当放宽。 (3)专业:计算机科学与技术、软件工程、网络工程、信息与计算科学、信息安全、电子与计算机工程、信息与通信工程、网络空间安全、数据科学与大数据技术、人工智能等相关专业。 (4)基础能力: 熟练掌握Python编程语言及其主流框架和第三方库; 熟练使用爬虫相关技术,如scrapy、pyspider、appium、puppeteer等; 掌握Pyhton的Web框架Django、Flask等,并且有使用过其中一个框架开发; 具有扎实的数据结构和算法基础,深入理解面向对象编程思想及常用设计模式; 熟悉缓存、多线程、消息队列等相关技术; 具备较高的编程素养、良好的编码习惯。 (5)放宽及优先条件: 具有符合本岗位特殊才能的,学历和年龄可适当放宽; 具有互联网政务服务相关工作经验,或具有“大厂”工作经验者,学历和年龄可适当放宽,并优先考虑; 具有算法开发相关经验的优先; 具有Js逆向经验、App数据抓取经验者优先; 其他符合放宽或优先条件的。
-
岗位职责: 1、负责数据的爬取与清洗; 2、文本数据结构化; 3、数据实时汇集与处理框架开发。 任职要求: 1、熟练掌握Python,以及Pandas等相关数据分析框架; 2、熟练掌握requests、scrapy、beautifulsoup、xpath、selenium等爬虫框架和技巧,熟悉HTML与JS语法; 3、熟练使用mysql、postgresql等数据库; 4、熟悉Linux、正则表达式、HTTP协议等; 5、熟练使用git。 有以下经验者优先: 1、有Docker、K8S使用,或者Flask、Fastapi等后端开发经验; 2、有文本分类等NLP任务或者OCR开发经验; 3、了解Redis,Kafka,图数据库等; 4、了解Scikit-learn,Pytorch或者TensorFlow。 岗位福利: 1、入职即缴纳五险一金,每年有商业保险; 2、八小时工作制,双休不加班,休国家法定节假日; 3、生日,节日员工福利,定期公司聚餐。
-
工作职责: 负责设计、开发和维护高效、稳定的数据爬虫系统; 根据业务需求,制定数据抓取策略,处理反爬机制、验证码识别、IP代理等问题; 建立数据清洗、结构化处理及存储流程,保证数据质量; 持续优化爬虫性能,提升抓取速度与稳定性; 与数据分析、产品等团队紧密协作,理解数据需求,快速响应数据抓取任务; 关注行业动态,研究新的爬取技术和反爬手段,持续提升系统能力。 任职要求: 熟练掌握至少一种编程语言(Python优先,如:Scrapy、Selenium、Playwright、Requests 等常用库); 熟悉常见网站结构、前端技术(HTML、CSS、JavaScript),能够快速分析网页数据; 熟悉常用的反爬技术及应对手段(如IP代理池、UA池、验证码识别、动态渲染处理等); 熟悉异步爬虫、分布式爬虫开发,有 Scrapy-Redis / Playwright + 分布式实践经验者优先; 熟悉常用数据库(如MySQL、MongoDB)及缓存系统(如Redis); 有大型数据采集、数据清洗、数据处理项目经验优先; 具备良好的编码习惯和文档意识,责任心强,乐于学习新技术。 加分项: 有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验; 有云原生(如 Kubernetes、Docker)、大数据(如Spark、Kafka)相关技术栈经验; 有参与过爬虫平台化、数据中台建设项目经验; 有算法基础,了解简单的图像识别(如验证码OCR识别)优先。
-
岗位职责: 1.负责企业信息爬取和页面内容的提取分析,负责各类反爬机制; 2.研究爬虫策略和防频率规则; 3.负责协助项目经理进行技术评测,bug处理,代码开发; 4.负责网站数据库、栏目、程序模块的设计与开发; 5.负责根据公司要求进行crm系统迭代开发; 6.熟悉工商信息网、企查查、爱企查其中之一平台的API接口开发与维护; 任职资格: 1、本科及以上学历,有5年以上python爬虫工作经验 2、良好的代码习惯,结构清晰、命名规范、逻辑性强、代码冗余率低; 3、熟悉Mysql,有较为熟练地掌握mysql语言及编写存储过程、触发器等数据库开发的能力; 福利待遇: 带薪年假 每年调薪 五险一金 福利体检 节日福利 年终绩效 团建旅游 文体协会 季度之星 内推奖励 园区食堂 周年礼品 学历补贴:在职研补贴5万学费 工作时间:8:30-18:00,午休12:00-14:00
-
岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
-
岗位职责 ● 根据业务需求开发网页爬虫 ● 对爬取的数据进行标注与清洗 ● 负责爬虫项目的部署与运维 任职要求 1. 技术能力 ● 熟练掌握 Python/PHP,具备扎实的编程基础与数据结构知识 ● 熟悉 HTTP/HTTPS 协议、TCP/IP 网络模型,能使用抓包工具(如 Charles、Fiddler)分析请求 ● 熟悉 PostgreSQL/Mysql 数据库开发,掌握 SQL 优化与索引设计 ● 熟悉 Scrapy、Selenium、Playwright 等框架,了解分布式爬虫框架(如 Scrapy-Redis) 2. 经验要求 ● 1 年以上爬虫开发经验,有海外社媒类数据抓取项目经验者优先 3. 其他要求 ● ***本科及以上学历 ● 通过 CET-4 或以上英语等级认证 加分项 ● 了解前端技术(HTML/CSS/JavaScript),能逆向分析动态渲染页面 ● 熟悉常见反爬措施(如 JS 混淆、验证码识别、IP 限频),具备实战对抗经验
-
岗位职责: 目标网站数据爬取、解析、清洗、分析等ETL全流程。 任职要求: 熟练掌握在linux(centos,ubuntu)下开发。 熟练掌握mysql,postgresql数据库使用,redis,mongodb使用。 熟练掌握web页面结构分析,使用chrome,firefox,edge等进行包括html,css,js等的解析,抓包分析。 可以使用browser-use,craw4ai等进行页面模拟交互。 熟练掌握python,django进行数据分析,计算,数据库存取。 熟练掌握docker/git下的上述开发,部署,运维。 具备良好的编码习惯,结构清晰,命名规范,逻辑性强,代码冗余率低; 数据结构和算法基础扎实, ACM程序设计比赛获奖者优先; 熟悉分布式系统原理,熟练掌握一种以上服务框架和消息中间件者优先; 有实际项目经验者优先考虑。 具备良好代码书写规范,团队合作和分享精神。 对创新技术有着非常强烈的求知欲,愿意不断学习新知识,不断更新自己的技术储备。 有扎实的英语功底,并且能够轻松的阅读英文文档。 其他要求: 1.计算机相关专本科以上学历在校生,研二优先。 2.能够保证三个月及以上的实习时间,每周至少保证四天及以上出勤,欢迎寒暑期实习。 3. 执行力强,懂得要遵守企业价值观和工作纪律。 4. 工作地点在上海市松江区,外地同学可以提供住宿补贴。 5. 投递简历前请仔细阅读上述能力要求,避免浪费彼此时间。
-
岗位职责: 1. 负责采集系统的架构设计,系统搭建 2. 负责各类数据源(API、数据库、网页)的数据采集、清洗、转换与入库; 3. 搭建与维护稳定高效的数据采集系统,确保数据采集的准确性、完整性与时效性; 4. 分析数据源结构与变化,制定字段映射、清洗规则和更新策略; 5. 针对目标站点的反爬策略设计并实现有效的绕过方案; 6. 编写数据采集文档与接口说明,支持数据管理与审计合规需求。 7. 及时解决爬取过程中出现的问题并不断优化程序 任职资格: 1. 计算机相关专业毕业,3年以上数据开发经验; 2. 熟练掌握 Python,具备丰富的 HTTP 请求模拟、抓包调试、异步编程、数据解析能力; 3. 熟悉常见数据采集方式(如 RESTful API 调用、网页爬虫、日志采集)与数据清洗与转换技术; 4. 熟悉数据采集相关框架或工具(如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink); 5. 熟悉 JavaScript 语言,具备 JS 加解密逆向能力,可独立实现复杂参数构造、签名还原、AES/MD5/RSA算法实现等; 6. 熟悉常见反爬机制及绕过方式,如验证码识别(图形/滑动/点选)、UA/IP切换、请求混淆、Headless Browser 等; 7. 具备小程序抓包与接口还原能力,了解小程序数据通信机制; 8. 有 App 采集经验,熟悉抓包工具(如 Charles、Fiddler、Wireshark、mitmproxy)、Hook 工具(如 Frida、Xposed); 9. 了解数据质量、数据安全与合规相关知识。
-
岗位职责: 1、负责数据的采集与爬取、解析处理、入库等数据日常工作; 2、参与爬虫系统的数据抓取架构设计与开发 3、设计爬取、调度和抽取算法,优化系统 岗位要求: 1、熟练掌握python语言,有使用python写过爬虫经验者更佳; 2、了解scrapy或其他爬虫框架,熟悉网页抓取原理; 3、熟悉正则表达式、xpath(或Beautiful Soup4),能够从结构化和非结构化的数据中获取信息; 4、熟悉Linux,熟悉至少一种主流数据库,如Mysql、MongoDB、redis等; 5、良好的沟通和团队合作能力,主动的学习意愿和良好的学习习惯,认真负责的工作态度; 6、有强大的抗压能力及独立快速解决问题的能力。
-
岗位职责: 结合LinkedIn、Facebook、Google等平台,开发海外客户并挖掘订单机会。 基于IT/AI技术背景,分析外贸业务痛点,参与设计自动化工具(如智能邮件营销、客户画像生成、供应链流程优化等)。 协助开发AI Copilot系统,探索AI Agent在外贸场景的落地应用(如自动跟进、谈判辅助、数据爬取与分析)。 对大宗贸易(工业矿产原料)的RWA上链、DAO平台构建提出技术解决方案。 任职要求: 1.985高校大三大四学生优先(东北地区更佳),211研究生亦可;专业要求:软件工程、人工智能、计算机等相关领域。 2.技术能力:精通Python/Java/PHP/Vue中的至少一种,熟悉OAuth2协议及社交媒体API(如LinkedIn、Twitter等)。 3.时间投入:每周≥20小时,单次工作连续3小时以上(远程灵活,不干扰课业)。 4.核心特质:对AI技术商业化有强烈热情,逻辑清晰,能快速学习业务知识。 5.加分项:了解区块链/RWA/DAO概念,或有外贸/供应链相关经验。 团队优势: 1. 高回报:周薪600-1000元+月度奖金1000-4000元(考核制),全职实习生可谈更高薪资。 2.零成本成长:20年经验外贸负责人手把手培训,盛和塾经营哲学分享,AI+行业实战机会。 3. 未来潜力:提供实习证明,优秀者转正;参与从0到1的AI产品孵化,积累跨境复合型经验。 4.赛道前瞻:工业矿产是稳定刚需市场,结合AI Agent与区块链技术,布局RWA万亿赛道。
-
1.参与公司AI项目的设计、调试、研发; 2.负责数据爬取、数据标注、模型训练、数据处理及分析推理工作; 3.负责编写设计文档以及说明文档。任职要求: 1、精通自然语言分析、语音处理技术、熟悉RAG下 KAG垂端领域模型设计。 2、对知识图谱、数据挖掘分析、自然语言处理 (NLP)等技术有浓厚的兴趣,熟悉至少一个深度学习框架如tensorflow、transformer、keras或者 pytorch,简历附相关研究成果。 3、了解CNN,RNN等相关视觉分析技术。 4、精通Python编程语言,掌握Django框架应用设计,有Hadoop经验者优先。 5、数学专业优先。
-
1.参与公司AI项目的设计、调试、研发; 2.负责数据爬取、数据标注、模型训练、数据处理及分析推理工作; 3.负责编写设计文档以及说明文档。 任职要求: 1、精通自然语言分析、语音处理技术、熟悉RAG下KAG垂端领域模型设计。 2、对知识图谱、数据挖掘分析、自然语言处理(NLP)等技术有浓厚的兴趣,熟悉至少一个深度学习框架如tensorflow、transformer、keras或者pytorch,简历附相关研究成果。 3、了解CNN,RNN等相关视觉分析技术。 4、精通Python编程语言,掌握Django框架应用设计,有Hadoop经验者优先。 5、数学专业优先。
-
岗位职责: 1. 负责公司数据采集系统的设计与开发,实现高效、稳定的数据爬取; 2. 根据业务需求,制定数据抓取策略,优化爬虫算法,提高数据抓取速度和准确性; 3. 负责数据清洗、去重、存储等后端处理工作,确保数据质量; 4. 跟踪分析爬虫技术的发展趋势,对现有系统进行优化升级; 5. 与其他团队密切配合,完成数据挖掘、分析等相关工作; 6. 遵守相关法律法规,确保数据采集的合规性。 岗位要求: 1. 计算机相关专业本科及以上学历,2年以上爬虫相关工作经验; 2. 熟练掌握Python、Java、C++等至少一种编程语言,具备良好的编程基础; 3. 熟悉主流的爬虫框架,如Scrapy、requests等; 4. 熟悉Web前端技术,如HTML、CSS、JavaScript等; 5. 熟悉数据库技术,如MySQL、MongoDB等; 6. 熟悉Linux操作系统,能熟练使用shell脚本; 7. 具备良好的数据结构和算法基础,能独立解决复杂问题; 8. 具备良好的沟通能力和团队协作精神,能承受工作压力; 9. 有以下经验者优先: - 有大规模分布式爬虫开发经验; - 熟悉反爬虫技术,能应对网站反爬措施; - 熟悉大数据处理技术,如Hadoop、Spark等。 薪资待遇: 1. 薪资范围:面议,根据个人能力及经验水平; 2. 享有五险一金、年终奖、项目奖金等; 3. 提供完善的职业发展路径和晋升机会; 4. 提供良好的工作环境和发展空间。 联系方式: 有意者请将个人简历发送至:[邮箱地址],邮件主题请注明“爬虫工程师+姓名”。我们会尽快回复您的邮件,谢谢!
热门职位


