岗位职责： 1. 负责设计和实施复杂的分布式网络数据采集系统，包括财经及其他相关信息的深度抓取、分析和处理； 2. 研发先进的爬虫策略和防反爬策略，持续优化数据抓取效率和准确性，抵御各类屏蔽和反爬措施； 3. 领导爬虫项目的开发工作，制定和评审技术文档，确保代码质量和系统稳定性； 4. 督导和指导团队成员针对复杂场景进行问题分析和解决，快速定位并修复爬虫系统中的技术难题； 5. 与团队协作，参与新技术调研和前瞻性技术方案的设计，提供技术咨询和支持。 岗位要求： 1. 具备5年以上的爬虫开发经验，深入了解Python和至少一个主流的爬虫框架，如Scrapy、BeautifulSoup等； 2. 精通网络协议，有丰富的模拟请求、浏览器模拟、人机交互对抗、移动App逆向分析、JavaScript/AST解混淆等经验； 3. 有处理大规模数据采集和处理经验的候选人优先考虑； 4. 精通数据结构和算法设计，有解决高并发、数据一致性等复杂技术问题的实战经验； 5. 具有优秀的分析问题和解决问题的能力，能独立作业并具备良好的指导与团队协作精神； 6. 对爬虫技术发展保持持续关注，能快速学习并应用新技术解决实际问题； 7. 具备node.js开发经验以及参与过开源爬虫项目的候选人优先考虑； 8. 强烈的责任心以及扎实的编码规范意识，能够承担项目的核心开发和技术攻关工作。 公司福利： 1、周末双休，国家法定节假日休假，员工带薪年假； 2、试用期开始购买五险一金； 3、公司提供午餐补贴； 4、茶水间饮料零食；节日福利，生日福利； 5、个人评优奖； 6、公司年会活动，抽奖礼物等。

职位描述 1、遵循robots协议，爬取互联网上允许搜索爬虫采集的公开信息，参与爬虫系统的建设与优化，满足各类业务数据需求； 2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程； 3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能。 职位要求 1、 本科及以上学历，2年以上爬虫抓取采集相关工作经验； 2、熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等； 3、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力； 4、熟悉常见反爬封禁策略，并具备相关的实战经验； 5、加分项：逆向、混淆、脱壳、分布式、数据分析、数据挖掘。

岗位职责： 1.发挥创造性思维，用专业技术攻坚数据采集与应用难题； 2.用技术赋能数据采集，帮助数据产品经理稳靠把握数据情况，确保数据更新快、准、全； 3.设计搭建大规模分布式爬虫系统、大规模APP采集系统，以及其他相关服务系统； 4.分析开发效率瓶颈，利用devops手段，实现爬虫采集工具化、自动化、平台化，提高爬虫团队生产效率； 5.使用容器化技术，解决系统自动化部署及爬虫资源分配问题； 任职要求： 1.本科以上学历，计算机相关专业； 2.5年以上Linux 环境下常用语言（C/C++/JAVA/Python）开发经验; 3.熟悉操作系统（多线程、多进程）、计算机网络编程、数据结构与算法等基础知识,熟练使用常用 Linux 命令； 4.5年以上大规模网页爬虫开发经验，熟悉浏览器原理、前端 JS、AJAX； 5.深入了解前端JS反爬，能解决前端动态 JS 混淆问题； 6.深入了解非逆向、非侵入式手机APP采集方法； 7.熟悉了解容器化编排技术（swarm/k8s/mesos）； 8.熟练使用一门以上脚本语言（Python/Javascript）； 9.熟练使用一种以上的数据库（Mongodb/HBase/MySQL）； 10.有前后端或大数据项目开发经验优先； 11.有分布式系统设计开发落地经验优先。

岗位职责： 1、负责抖音/淘宝/拼多多/1688等热门电商平台的爬取工作，包括数据抓取和爬取链路优化，提升抓取能力； 2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设； 3、负责大规模文本、图像数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作； 任职要求： 1、三年以上大规模爬虫/反爬经验，熟悉HTTP协议/浏览器原理/前端JS/APP抓取； 2、有解决复杂的反爬限制实践经验， 能解决如图片验证码/滑块/账号限制/ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先； 3、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI、frida、ida等工具，能独立完成主流电商平台和主流app软件大量级的数据抓取优先； 4、有电商数据爬虫经验优先；

岗位职责 1、遵循robots协议，爬取互联网上允许搜索爬虫采集的公开信息； 2、研发爬虫系统，对自动爬取、数据提取的核心算法和性能效果调优； 3、负责爬虫可视化系统的后台监控、报警模块的开发； 4、优化爬虫算法，增加爬虫成功率，突破各种爬虫难点； 5、确保爬虫系统稳定性，降低系统成本； 岗位要求 1、本科及以上学历，计算机相关专业，3年以上爬虫开发经验； 2、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架； 3、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等； 4、熟练掌握 Python/Java/JavaScript 任意语言，Python 优先； 5、熟悉代理池、Cookie池搭建和使用以及账号登录认证。 加分项 实践过大型爬虫项目； 有知名项目贡献Commit经历； 有高质量的个人技术博客； 具备前端（App、Web）或后端开发能力；

岗位职责： 1、负责相关网站、App的爬虫设计和开发，定制实现批量采集，增量采集以及采集策略持续优化； 2、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗； 3、解决反爬疑难问题; 任职要求： 1、能够熟练使用Python或者Go等开发语言，了解网络爬虫开发原理，了解相关爬虫框架； 2、掌握HTML，JS，熟悉JS逆向；了解常见的反爬虫技术如文本混淆反爬虫、验证码等； 3、了解App逆向，反编译，抓包等。对于抖音、微信、小红书App、YouTube、Facebook至少有两种每天大数据量爬取的经验； 4、具备良好的沟通能力和团队协作能力。

工作职责： 1.配合公司业务，负责设计和开发分布式网络爬虫系统； 2.负责多平台信息的数据采集、抽取、去重、分类、垃圾过滤、质量识别等工作； 3.关注数据质量，建立完整的数据获取、解析、入库和监控流程。 职位要求 1.大专及以上学历，3年及以上Python相关岗位工作经验； 2.熟悉Linux系统，熟悉Python语言，熟悉常用爬虫框架，如Scrapy等，并有实际项目经验； 3.熟悉JavaScript/xpath/Ajax等web知识, 熟悉WebDriver，phantomjs等工具； 4.掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术； 5.熟悉mysql，redis，mongodb，ES等数据库，以及对应数据的抽取入库等； 6.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验。

岗位职责： 1、设计和搭建大规模分布式爬虫系统、大规模APP采集系统、以及其他相关服务系统； 2、协助数据产品经理全面掌握数据情况，确保数据及时、准确、全面更新； 3、分析开发效率瓶颈，应用devops手段，实现爬虫采集工具化、自动化、平台化，提高团队生产效率； 4、利用容器化技术，解决系统自动化部署及爬虫资源分配问题。 任职资格： 1、本科及以上学历，计算机或相关领域专业，熟练掌握操作系统（多线程、多进程）、计算机网络编程、数据结构与算法等基础知识； 2、4年以上的Linux环境下常用语言（C/C++/JAVA/Python）的开发经验，能够熟练使用常用的Linux命令； 3、3-5年以上的大规模网页爬虫开发经验，熟悉浏览器原理、前端JS、AJAX； 4、深入了解前端JS反爬的机制，并能够解决前端动态JS混淆问题； 深入了解非逆向、非侵入式手机APP采集方法； 5、熟悉并了解容器化编排技术（如swarm、k8s、mesos）； 6、熟练使用一门或多门脚本语言（如Python、JavaScript）； 7、熟练使用一种或多种数据库（如MongoDB、HBase、MySQL）； 8、具有前后端或大数据项目开发经验者优先考虑； 9、具备分布式系统设计开发落地经验者优先。

岗位职责： 1、负责多平台信息爬取和页面内容的提取分析，负责解决各类反爬机制； 2、编写抓取互联网爬虫代码，负责数据采集，参与需求分析和梳理，爬虫采集策略制定和实现； 3、负责网页的数据抓取和爬取链路优化（包括逆向分析、脱壳、加密参数破解、抓取攻防等），提取抓取能力； 4、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量。 岗位要求： 1、3年及以上python爬虫经验，本科及以上学历，计算机相关专业； 2、熟悉掌握至少一种开源爬虫框架（scrapy、appium、selenium等）； 3、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术，熟悉使用fiddler或其他抓包工具； 4、具有js逆向，app逆向实际解决经验。熟悉js hook原理，熟悉各种反爬风控常见手段； 5、具有团队合作精神，有责任感，对工作认真负责，有较强的协调和沟通能力。

工作职责： 1、负责设计、开发、维护分布式爬虫系统； 2、负责爬虫系统自动爬取、数据提取的核心算法和性能效果调优； 3、负责爬虫系统的后台监控、报警模块的开发。 任职要求： 1、计算机相关专业； 2、熟练掌握 Python/Java/JavaScript 任意语言，Python 优先； 3、3年以上python及相关技术开发经验，熟悉爬虫抓取原理，了解反爬策略； 4、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架； 5、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等； 6、熟悉关系型数据库(MySQL/PostgreSQL)、非关系型数据库(MongoDB/HBase/Elasticsearch)、缓存数据库(Redis/Memcached)； 7、有良好的逻辑思维能力、沟通能力、学习能力、团队合作精神。 加分项： 1、有爬虫开发经历，掌握各种爬虫技巧； 2、具有分布式、多线程/协程/进程的编程经验； 3、有自己的一套"兵器库"。

岗位描述： 1、分布式网络爬虫系统的设计及开发 2、互联网站、网页、链接的特征挖掘，进行网页抓取、数据提取、清洗、入库 3、负责爬虫核心算法的策略优化研究，充分利用资源，避免限制 4、优化搜索、匹配、抓取等关键程序的性能及效率 任职要求： 1、3年以上爬虫独立开发经验，熟练应用多线程技术 2、熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息 3、熟练使用MongoDB，Mysql，Redis数据库 4、精通一种开源爬虫框架，如scrapy、scrapy-redis、requests、selenium、puppeteer等 5、熟练使用docker，会部署容器化爬虫 6、熟悉至少一种消息队列

【工作职责】 1. 负责设计和开发爬虫系统，提取分析各种千形万态的平台页面内容； 2. 研究各种网站、链接的形态，发现它们的特点和规律； 3. 解决技术疑难问题，包括反爬**、反爬风控； 4. 搭建通用爬虫监控、消息推送分布式系统。 【任职要求】 1. 精通python、计算机网络，熟练使用多线程，熟悉常用爬虫框架； 2. 熟悉常用代理软件部署，底层实现逻辑； 3. 熟悉Linux操作、正则表达式，MySQL、MongoDB等常用数据库，了解各种Web前端技术； 4. 熟悉js逆向，混淆原理，js AST语法树，客户端常用签名算法等。熟悉移动端逆向或者PC端逆向更优（IOS Android Windows 二进制逆向； 5. 能够解决网络链路分析、流量识别、验证码识别、图像识别等问题； 6. 熟悉wireshark tcpdump等进行流量分析。 【盯链福利】 我们是90后年轻化团队，一线大厂背景管理团队，扁平化管理，团队氛围融洽。在盯潮，我们为您提供： 1.完善的薪资构成：固定月薪+年终奖金的收入结构，全年累计12-16个月月薪。 2.广阔的发展空间：科学的晋升发展通道，年度两次晋升机会， 3.文化建设：各类荣誉激励奖项、盯潮联盟日、盯潮图书角、入职周年礼； 4.年度旅行：面向全员的旅游基金； 5.节假日和贴心福利：带薪年假、半薪病假，免费饮料零食、年度体检、节日礼品红包、生日礼包、季度团建、节日活动。

1. 熟悉 web、APP 抓取原理及技术，熟悉常用的爬虫网络框架及重要组件； 2. 至少熟悉 Java、Python、C++ 等一种编程语言，熟练掌握 MySQL、Redis等数据库的使用 3. 了解常见的反爬机制，能够破解常见的反爬机制 4. 了解抓包技巧，突破抓包验证 5. 具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题解决问题 加分项（非必须）： 1. 了解相关 APP 逆向技术、js 逆向和相关调试工具 2. 掌握软件加密解密知识 3. 了解反爬虫相关技术栈

目前招聘画像： 1.资深数据爬取经验 2.数据清洗，数据处理（体量在1 T以上） 3.有算法背景，数据挖掘经验 数据处理 了解NLP算法 岗位职责： 1. 负责研究院数据采集工作，包括文本、图片、视频等多种类型数据，持续更新和扩大数据集规模； 2. 根据项目需求，快速进行数据抓取代码和清洗代码开发； 3. 协助研究团队对数据进行清洗、过滤、存储等处理工作； 4. 对数据平台存储的海量数据进行管理和维护。 岗位要求： 1. 985 211优先考虑，计算机相关专业，熟悉计算机基础知识，具有3年及以上爬虫与反爬工作经验； 2. 熟悉linux平台开发，精通Python，熟悉各种爬虫框架和工具，掌握验证码识别技术、js逆向等常用反爬技能； 3. 熟悉大数据处理的流程以及熟练使用相关的工具，具备使用、维护、调优的能力，包括但不限于Hadoop、Spark、Kafka、ELK、Flink、ClickHouse、kettle等； 4. 熟悉Socket网络编程，多线程/进程/异步code的开发，掌握TCP/IP，UDP及常见变种网络通信协议，熟练使用工具对网络协议进行报文分析和调试，熟练使用正则表达式，xpath等匹配方法，能够快速从原始数据中提取有用信息； 5. 良好的沟通能力，抗压能力强，能独立解决开发过程遇到的各类问题； 6. 有大规模项目爬取工作经验优先，有大数据处理工作经验优先。

岗位职责： 1、负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量 2、负责大规模数据爬虫的性能优化、监控和报警，提高爬虫产品的稳定性和抓取效率 3、实时监控爬虫的状态和警报反馈   任职要求： 1、计算机或相关专业本科以上学历，5年以上爬虫工作经验； 2、熟练掌握Python开发，有代码规范和质量意识 3、有日千万级及以上的大规模数据爬虫项目经验 4、有实际大规模使用过消息队列经验，如RabitMq、Kafka等 5、了解并使用过ElasticSearch等分布式搜索引擎库 6、熟悉常见反爬机制，验证码识别，IP代理池、headers认证、cookie等 7、熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本 8、对以下社媒平台（快手、红书等）数据有实际抓取经验的优先 9、工作地点可选：北京、上海、合肥、成都、杭州、厦门、广州（公司均有办公室）