工作职责： 1、负责设计、开发、维护分布式爬虫系统； 2、负责爬虫系统自动爬取、数据提取的核心算法和性能效果调优； 3、负责爬虫系统的后台监控、报警模块的开发。 任职要求： 1、计算机相关专业； 2、熟练掌握 Python/Java/JavaScript 任意语言，Python 优先； 3、3年以上python及相关技术开发经验，熟悉爬虫抓取原理，了解反爬策略； 4、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架； 5、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等； 6、熟悉关系型数据库(MySQL/PostgreSQL)、非关系型数据库(MongoDB/HBase/Elasticsearch)、缓存数据库(Redis/Memcached)； 7、有良好的逻辑思维能力、沟通能力、学习能力、团队合作精神。 加分项： 1、有爬虫开发经历，掌握各种爬虫技巧； 2、具有分布式、多线程/协程/进程的编程经验； 3、有自己的一套"兵器库"。

base南京或苏州 职位描述： 1、负责爬虫功能的维护，各类爬虫脚本及组件的维护及升级 2、负责各类业务数据的清洗、统计、分析等相关工作 3、负责平台数据运营及数据质量的控，并配合业务人员进行数据提取、分析与验证 任职资格： 1、***本科以上学历，计算机及相关专业； 2、熟练掌握Python语言，熟练掌握JS语言、有APP数据采集经验者优先； 3、精通数据采集技术，熟悉各类反爬措施及应对策略，熟悉HTTP底层协议； 4、对数据敏感、熟悉数据分类，能结合业务目标独立对数据进行分析处理； 5、良好的数据处理能力，熟练使用pandas、numpy，有数据分析、数据挖掘经验者优先； 6、良好的编码能力，工作认真细致踏实，逻辑思维缜密，善于分析问题，具备良好的沟通交流能力。

岗位职责: 1、从事网页及APP数据采集的技术工作； 2、负责设计爬虫策略及反爬规则，提升数据采集效率、完整度和稳定性； 3、负责智能采集系统设计与研发，如采集任务调度，页面解析和结构化抽取，海量数据存储和读取等。 4.、负责持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进，提升公司相关产品与服务的竞争力。 任职资格: 1、5年左右爬虫开发经验；能够独立承担爬虫工作； 2、熟悉JAVA/Python/go任意语言，熟悉常用的数据结构和算法；熟悉分布式、缓存、消息、搜索等机制； 3、熟悉爬虫原理、分布式架构，精通一种开源爬虫框架，熟练scrapy、feapder等一个或多个爬虫框架及原理，熟悉主流爬取技术，如协议破解、模拟点击、AST解混淆、app逆向等，能够解决封账号、封IP、验证码等问题； 4、熟悉Mysql、ES 和 kafka等使用； 5、有淘宝、拼多多等电商数据获取相关经验者优先。 6、熟悉Android逆向，有主流app逆向、风控对抗、算法破解经验

工作职责: 1、负责设计、开发、维护分布式爬虫系统； 2、负责爬虫系统性能效果调优； 3、负责爬虫系统的后台监控、报警模块的开发。 任职资格: 1、精通Python ，3年以上爬虫及相关技术开发经验； 2、有1年以上App爬取经验，对so逆向有一定经验并独立做过相关分析； 3、 熟练掌握js逆向，熟悉js各种反爬措施，能解决js混淆等问题； 4、了解常见的App反爬策略，能解决IP封禁、参数加密、验证码、账号封禁等问题; 5、有大型爬虫平台开发经验，单个数据源爬取数量超过千万级； 6、工作积极主动、责任心强，具有较强的分析和解决问题的能力。 任职本岗位，你将获得如下技能： 1、如何设计实现大规模分布式爬虫系统(执行效率、资源调度策略、架构设计与优化)； 2、如何处理海量数据(存储、清洗、分析)； 3、如何进行特殊目标的定向分析； 4、其他不外传的技术秘笈。

岗位职责： 1、 负责scrapy爬虫项目的运维工作，以及数据的清洗提取工作； 2、 根据需求，开发App或网站的数据爬取工作； 3、 独立解决实际开发过程中碰到的各类问题。 任职要求： 1、本科或以上学历，具有实际爬虫开发、内容提取工作经验3年以上，熟练掌握Python语言，对数据敏感，具有良好的逻辑分析能力； 2、 熟悉Linux系统，精通Python编程语言，熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理，掌握requests，selenium，scrapy，pandas等模块的用法， 3、 熟悉常见的数据库，如redis、mongodb和mysql等其中一种或几种，有数据清洗分析的工作经验，了解大数据平台的基本原理； 4、 熟悉html，css，JavaScript等前端知识，掌握Web界面的的分析方法，熟练掌握bs4，xpath，正则等其中一种或几种常用的信息抽取技术； 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题； 6、 掌握App数据采集的常用技术，能够爬取App的数据； 7、 热爱技术，喜欢钻研，有分享精神，注重代码质量，工作认真细致，主动性强，执行力强，抗压能力强，有良好的协作意识； 8、 有酒店行业经验者优先。

岗位职责： 1、 负责scrapy爬虫项目的运维工作，以及数据的清洗提取工作； 2、 根据需求，开发App或网站的数据爬取工作； 3、 独立解决实际开发过程中碰到的各类问题。 任职要求： 1、本科或以上学历，具有实际爬虫开发、内容提取工作经验3年以上，熟练掌握Python语言，对数据敏感，具有良好的逻辑分析能力； 2、 熟悉Linux系统，精通Python编程语言，熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理，掌握requests，selenium，scrapy，pandas等模块的用法， 3、 熟悉常见的数据库，如redis、mongodb和mysql等其中一种或几种，有数据清洗分析的工作经验，了解大数据平台的基本原理； 4、 熟悉html，css，JavaScript等前端知识，掌握Web界面的的分析方法，熟练掌握bs4，xpath，正则等其中一种或几种常用的信息抽取技术； 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题； 6、 掌握App数据采集的常用技术，能够爬取App的数据； 7、 热爱技术，喜欢钻研，有分享精神，注重代码质量，工作认真细致，主动性强，执行力强，抗压能力强，有良好的协作意识； 8、 有酒店行业经验者优先。

一、岗位职责： 1.负责数据系统架构和业务开发； 2.建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 3.解决常见的反爬虫问题，并建立相关的系统化策略系统； 4.深入理解系统数据处理流程以及业务功能需求； 5.保证数据的完整性和准确性； 二、任职资格要求： 1. 掌握scrapy等常用爬虫框架爬取数据； 2. 掌握常用的反爬取手段和策略； 3. 熟练使用python或者Javascript网络编程； 4. 熟悉至少一种关系型数据库（如mysql/postgresql）； 5. 计算机基础扎实，对数据结构、操作系统、计算机网络知识有一定程度的掌握； 6. 两年以上的爬虫工作经验，有丰富的前端 JS 逆向工程经验； 7. 热衷接受以解决业务需求为目的的技术挑战和技术攻关，并以此为乐！ 加分项： 1. 有大型B2C、C2C电商网站数据爬取、数据挖掘等实践经验者优先。 2. 有分布式计算框架的开发经验，如hadoop、spark、hive者优先 3. 有丰富的客户端app、小程序逆向技术开发经验者优先。

岗位职责: 1、分布式爬虫系统和数据采集的规划、设计、开发; 2、爬虫策略和防屏蔽规则研究，提升网页抓取的效率和质量; 3、理解系统数据处理流程以及业务功能需求; 4、负责核心算法的设计与开发。 岗位要求: 1、了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决js反爬和模拟登陆问题; 2、熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等; 3、熟悉 Appium.Selenium.PhantomJS.Web Driver等技术; 4、熟悉熟练使用charles、fddler等抓包工具; 5、熟悉MySQL、MongoDB、Redis、Elasticsearch、Kafka等常用的中间件; 6、有国外社交网站Instagram、Youtube、Facebook、Tiktok爬虫经验优先。

一、岗位职责： 1.负责数据系统架构和业务开发； 2.建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 3.解决常见的反爬虫问题，并建立相关的系统化策略系统； 4.深入理解系统数据处理流程以及业务功能需求； 5.保证数据的完整性和准确性； 二、任职资格要求： 1. 掌握scrapy等常用爬虫框架爬取数据； 2. 掌握常用的反爬取手段和策略； 3. 熟练使用python或者Javascript网络编程； 4. 熟悉至少一种关系型数据库（如mysql/postgresql）； 5. 计算机基础扎实，对数据结构、操作系统、计算机网络知识有一定程度的掌握； 6. 两年以上的爬虫工作经验，有丰富的前端 JS 逆向工程经验； 7. 热衷接受以解决业务需求为目的的技术挑战和技术攻关，并以此为乐！ 加分项： 1. 有大型B2C、C2C电商网站数据爬取、数据挖掘等实践经验者优先。 2. 有分布式计算框架的开发经验，如hadoop、spark、hive者优先 3. 有丰富的客户端app、小程序逆向技术开发经验者优先。

职位描述： 1、负责攻克高难度的反爬，诸如人机识别、JS逆向、Android逆向等 2、负责开发及维护超大规模站点，深入挖掘站点有价值的数据 3、参与爬虫通用组件、工具、系统的设计开发 职位要求： 1、大专及以上学历，2年以上工作经验； 2、具备丰富的Python爬虫经验，熟悉JS逆向、Android逆向，有攻克高难度站点经验； 3、具备扎实的技术基础，如常见的网络协议、Linux操作系统、常用数据库等，可以独立分析解决新出现的技术问题； 4、有前后端开发经验； 5、缜密的逻辑思维能力； 6、热爱技术，喜欢钻研，注重代码质量；

岗位职责： 1. 遵循robots协议，采集互联网/APP中的公开信息 2. 爬虫技术攻坚，提升海量数据系统的抓取效果与性能 3. 负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程 职位要求： 1. 本科及以上学历，3年以上爬虫抓取采集相关工作经验 2. 熟悉主流爬取技术及爬虫框架工具 3. 熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力 4. 熟悉常见反爬封禁策略和规则，并具备相关的应用经验 5. 加分项：逆向、分布式、数据分析、数据挖掘

职位描述： 1、运用现有的开发框架，完成数据爬取、解析及后续的维护工作 2、解决常见的反爬问题 职位要求： 1. 大专及以上学历； 2. 熟悉 Linux 下的 Python 和 NodeJS开发； 3. 熟练使用 Requests、Scrapy、XPath、Bs4 等常用爬虫框架工具进行开发; 4. 熟练使用 Puppeteer 等模拟浏览器工具进行开发; 5. 了解常见的反爬手段及其应对措施； 6. 熟练使用常用数据库，包括 MySQL 、Redis、MongoDB 等； 7. 熟练使用各类抓包工具，如 Charles、Fiddler、Wireshark、Mitmproxy 等； 8. 了解常见的消息队列使用； 9. 有Web前后端经验优先。

工作职责： 1、主导和参与爬虫系统的架构设计、开发与优化； 2、负责海内外电商平台及海外主流社交平台博文帖子等数据爬虫的开发与维护； 3、负责进行前沿技术研究，难点攻关； 4、实时监控爬虫任务的执行状况，及时处理爬虫异常； 任职要求： 1、**本科及以上学历，3年以上爬虫开发经验；； 2、熟练掌握python，掌握selenium、scrapy等爬虫相关框架，爬虫基础扎实； 3、熟悉掌握MongoDB，有过数据库调优和海量数据存储经验优先； 4、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段； 5、熟悉各类代理的使用，有海量代理池搭建经验； 6、熟悉前沿的反爬风控手段，对电商行业的反爬对抗有深入的理解； 7、在手机群控、App逆向方面有深入研究者优先； 8、工作认真细致、积极主动、责任心强；

工作职责： 1. 设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作，实时监控爬虫的进度和警报反馈； 2. 网页信息和APP数据抽取、清洗、消重等工作； 任职要求： 1. 本科以上学历，计算机相关专业，3-5年经验，至少有2年以上爬虫经验； 2. 有扎实的算法和数据结构能力，熟悉爬虫原理，熟悉常见的反爬虫技术； 3. 熟悉常用开源爬虫框架，如 scrapy / pyspider； 4. 掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术； 5. 有大规模数据处理、数据挖掘、信息提取等经验者优先； 6. 良好的学习、分析总结能力，同时具备良好的组织协调能力及团队合作意识。

岗位职责： 1. 定向数据采集分析和结构化映射 2. 及时解决数据业务所需的数据转换和抓取； 3. 研究主流公链的节点维护、智能合约/跨链等机制研究； 4. 配合业务需要开发数据接口应用 职位要求： 1. 计算机相关专业本科及以上学历； 2. 要求极强的信息收集和获取能力； 3. 要求极强的逻辑分析和数据分析能力; 精通Python，熟悉Linux操作系统优先。 4. 熟练掌握爬虫相关技能优先； 5. 对web3、区块链行业有浓厚兴趣加分;