一、岗位职责： 1.负责数据系统架构和业务开发； 2.建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 3.解决常见的反爬虫问题，并建立相关的系统化策略系统； 4.深入理解系统数据处理流程以及业务功能需求； 5.保证数据的完整性和准确性； 二、任职资格要求： 1. 掌握scrapy等常用爬虫框架爬取数据； 2. 掌握常用的反爬取手段和策略； 3. 熟练使用python或者Javascript网络编程； 4. 熟悉至少一种关系型数据库（如mysql/postgresql）； 5. 计算机基础扎实，对数据结构、操作系统、计算机网络知识有一定程度的掌握； 6. 两年以上的爬虫工作经验，有丰富的前端 JS 逆向工程经验； 7. 热衷接受以解决业务需求为目的的技术挑战和技术攻关，并以此为乐！ 加分项： 1. 有大型B2C、C2C电商网站数据爬取、数据挖掘等实践经验者优先。 2. 有分布式计算框架的开发经验，如hadoop、spark、hive者优先 3. 有丰富的客户端app、小程序逆向技术开发经验者优先。

岗位职责： 1、 负责scrapy爬虫项目的运维工作，以及数据的清洗提取工作； 2、 根据需求，开发App或网站的数据爬取工作； 3、 独立解决实际开发过程中碰到的各类问题。 任职要求： 1、本科或以上学历，具有实际爬虫开发、内容提取工作经验3年以上，熟练掌握Python语言，对数据敏感，具有良好的逻辑分析能力； 2、 熟悉Linux系统，精通Python编程语言，熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理，掌握requests，selenium，scrapy，pandas等模块的用法， 3、 熟悉常见的数据库，如redis、mongodb和mysql等其中一种或几种，有数据清洗分析的工作经验，了解大数据平台的基本原理； 4、 熟悉html，css，JavaScript等前端知识，掌握Web界面的的分析方法，熟练掌握bs4，xpath，正则等其中一种或几种常用的信息抽取技术； 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题； 6、 掌握App数据采集的常用技术，能够爬取App的数据； 7、 热爱技术，喜欢钻研，有分享精神，注重代码质量，工作认真细致，主动性强，执行力强，抗压能力强，有良好的协作意识； 8、 有酒店行业经验者优先。

职位描述： 1、运用现有的开发框架，完成数据爬取、解析及后续的维护工作 2、解决常见的反爬问题 职位要求： 1. 大专及以上学历； 2. 熟悉 Linux 下的 Python 和 NodeJS开发； 3. 熟练使用 Requests、Scrapy、XPath、Bs4 等常用爬虫框架工具进行开发; 4. 熟练使用 Puppeteer 等模拟浏览器工具进行开发; 5. 了解常见的反爬手段及其应对措施； 6. 熟练使用常用数据库，包括 MySQL 、Redis、MongoDB 等； 7. 熟练使用各类抓包工具，如 Charles、Fiddler、Wireshark、Mitmproxy 等； 8. 了解常见的消息队列使用； 9. 有Web前后端经验优先。

职位描述： 1、负责攻克高难度的反爬，诸如人机识别、JS逆向、Android逆向等 2、负责开发及维护超大规模站点，深入挖掘站点有价值的数据 3、参与爬虫通用组件、工具、系统的设计开发 职位要求： 1、大专及以上学历，2年以上工作经验； 2、具备丰富的Python爬虫经验，熟悉JS逆向、Android逆向，有攻克高难度站点经验； 3、具备扎实的技术基础，如常见的网络协议、Linux操作系统、常用数据库等，可以独立分析解决新出现的技术问题； 4、有前后端开发经验； 5、缜密的逻辑思维能力； 6、热爱技术，喜欢钻研，注重代码质量；

岗位职责： 1、 负责scrapy爬虫项目的运维工作，以及数据的清洗提取工作； 2、 根据需求，开发App或网站的数据爬取工作； 3、 独立解决实际开发过程中碰到的各类问题。 任职要求： 1、本科或以上学历，具有实际爬虫开发、内容提取工作经验3年以上，熟练掌握Python语言，对数据敏感，具有良好的逻辑分析能力； 2、 熟悉Linux系统，精通Python编程语言，熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理，掌握requests，selenium，scrapy，pandas等模块的用法， 3、 熟悉常见的数据库，如redis、mongodb和mysql等其中一种或几种，有数据清洗分析的工作经验，了解大数据平台的基本原理； 4、 熟悉html，css，JavaScript等前端知识，掌握Web界面的的分析方法，熟练掌握bs4，xpath，正则等其中一种或几种常用的信息抽取技术； 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题； 6、 掌握App数据采集的常用技术，能够爬取App的数据； 7、 热爱技术，喜欢钻研，有分享精神，注重代码质量，工作认真细致，主动性强，执行力强，抗压能力强，有良好的协作意识； 8、 有酒店行业经验者优先。

职位描述： 工作职责: 1、负责编写爬虫脚本； 2、负责现有爬虫系统的维护与优化； 3、负责爬虫系统的后台监控、报警模块的开发。 任职资格: 1、2年以上Python开发经验，熟悉爬虫抓取原理，了解常见反爬策略； 2、有JS 逆向工程经验； 3、熟练掌握 HTML、XPath、正则表达式、AJAX、HTTP协议等； 4、至少掌握 MySQL/MongoDB/Elasticsearch中的一种； 6、有良好的逻辑思维能力、沟通能力、学习能力、团队合作精神。 加分项： 1、有APP、小程序逆向经验，或了解相关知识； 2、有大数据量爬虫系统开发经验。

岗位职责: 1、分布式爬虫系统和数据采集的规划、设计、开发; 2、爬虫策略和防屏蔽规则研究，提升网页抓取的效率和质量; 3、理解系统数据处理流程以及业务功能需求; 4、负责核心算法的设计与开发。 岗位要求: 1、了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决js反爬和模拟登陆问题; 2、熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等; 3、熟悉 Appium.Selenium.PhantomJS.Web Driver等技术; 4、熟悉熟练使用charles、fddler等抓包工具; 5、熟悉MySQL、MongoDB、Redis、Elasticsearch、Kafka等常用的中间件; 6、有国外社交网站Instagram、Youtube、Facebook、Tiktok爬虫经验优先。

一、岗位职责： 1.负责数据系统架构和业务开发； 2.建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 3.解决常见的反爬虫问题，并建立相关的系统化策略系统； 4.深入理解系统数据处理流程以及业务功能需求； 5.保证数据的完整性和准确性； 二、任职资格要求： 1. 掌握scrapy等常用爬虫框架爬取数据； 2. 掌握常用的反爬取手段和策略； 3. 熟练使用python或者Javascript网络编程； 4. 熟悉至少一种关系型数据库（如mysql/postgresql）； 5. 计算机基础扎实，对数据结构、操作系统、计算机网络知识有一定程度的掌握； 6. 两年以上的爬虫工作经验，有丰富的前端 JS 逆向工程经验； 7. 热衷接受以解决业务需求为目的的技术挑战和技术攻关，并以此为乐！ 加分项： 1. 有大型B2C、C2C电商网站数据爬取、数据挖掘等实践经验者优先。 2. 有分布式计算框架的开发经验，如hadoop、spark、hive者优先 3. 有丰富的客户端app、小程序逆向技术开发经验者优先。

岗位职责： 1. 遵循robots协议，采集互联网/APP中的公开信息 2. 爬虫技术攻坚，提升海量数据系统的抓取效果与性能 3. 负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程 职位要求： 1. 本科及以上学历，3年以上爬虫抓取采集相关工作经验 2. 熟悉主流爬取技术及爬虫框架工具 3. 熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力 4. 熟悉常见反爬封禁策略和规则，并具备相关的应用经验 5. 加分项：逆向、分布式、数据分析、数据挖掘

（该岗位为外包岗位，优秀者入职后可转为正式员工） 职责描述： 1、负责网络爬虫，数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据，为业务部门提供数据支持。 技能要求： 1、会JS补环境； 2、会训练及协议过国内主流厂家的滑块，图标/文字点选验证码； 3、会使用docker容器； 4、计算机相关专业本科以上学历； 5、熟练的编程能力，熟悉数据结构；熟悉计算机网络的基础理论； 6、熟练的Python编程基础，熟练使用scrapy或feapder等爬虫框架；熟悉分布式爬虫；熟悉XPath等常用页面解析技术； 7、熟悉puppeteer等自动化工具的使用； 8、熟悉postgresql，mongodb等关系型或非关系型数据库； 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑；

工作职责： 1、主导和参与爬虫系统的架构设计、开发与优化； 2、负责海内外电商平台及海外主流社交平台博文帖子等数据爬虫的开发与维护； 3、负责进行前沿技术研究，难点攻关； 4、实时监控爬虫任务的执行状况，及时处理爬虫异常； 任职要求： 1、**本科及以上学历，3年以上爬虫开发经验；； 2、熟练掌握python，掌握selenium、scrapy等爬虫相关框架，爬虫基础扎实； 3、熟悉掌握MongoDB，有过数据库调优和海量数据存储经验优先； 4、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段； 5、熟悉各类代理的使用，有海量代理池搭建经验； 6、熟悉前沿的反爬风控手段，对电商行业的反爬对抗有深入的理解； 7、在手机群控、App逆向方面有深入研究者优先； 8、工作认真细致、积极主动、责任心强；

工作职责： 1. 设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作，实时监控爬虫的进度和警报反馈； 2. 网页信息和APP数据抽取、清洗、消重等工作； 任职要求： 1. 本科以上学历，计算机相关专业，3-5年经验，至少有2年以上爬虫经验； 2. 有扎实的算法和数据结构能力，熟悉爬虫原理，熟悉常见的反爬虫技术； 3. 熟悉常用开源爬虫框架，如 scrapy / pyspider； 4. 掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术； 5. 有大规模数据处理、数据挖掘、信息提取等经验者优先； 6. 良好的学习、分析总结能力，同时具备良好的组织协调能力及团队合作意识。

岗位职责： 1. 定向数据采集分析和结构化映射 2. 及时解决数据业务所需的数据转换和抓取； 3. 研究主流公链的节点维护、智能合约/跨链等机制研究； 4. 配合业务需要开发数据接口应用 职位要求： 1. 计算机相关专业本科及以上学历； 2. 要求极强的信息收集和获取能力； 3. 要求极强的逻辑分析和数据分析能力; 精通Python，熟悉Linux操作系统优先。 4. 熟练掌握爬虫相关技能优先； 5. 对web3、区块链行业有浓厚兴趣加分;

【技能要求】 1.熟悉java和python，熟悉常用爬虫框架中的一种或多种； 2.熟悉HttpClient、jsoup、WebDriver、phantomjs等工具； 3.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题,构建完善的网络信息收集平台; 4.有大型网站采集经验，攻克过有一定难度网站的采集； 5.掌握常用数据库，如redis，mysql等； 6.熟悉HTML/JavaScript/CSS/xpath/url/Ajax/xml等web技知识； 7.做过线上office/word二次开发，如曾二次开发过only office、毕胜、石墨文档、WPS、page office等类似经验； 8.英文达大学六级或以上。

【工作职责】 1、负责公司大规模数据采集系统的开发，设计整体技术方案及实施规范 2、独立完成新功能新模块的开发，研究新技术以不断满足新的产品需求 3、与技术团队进行沟通，快速响应各种临时爬虫需求 4、持续提升输出产品的质量、性能和稳定性并进行优化 【任职基本要求】 1、***本科及以上学历，计算机或通信相关专业 2、熟练使用python或java开发语言，对代码流程有一定的优化能力 3、三年以上爬虫相关开发经验，熟练掌握至少一种爬虫框架，如scrapy/pyspider/wemagic，熟练掌握至少一种web框架，如Django/Flask 4、具备独立的反爬解决能力，如ua，ip，字体解密，js逆向等 5、熟悉常见的数据库，如mysql，mongodb，redis等，具备一定对接能力 6、熟练使用xpath、css选择器、正则等解析模块一种或多种，有数据清洗的能力； 7、熟练掌握git版本管理工具，有良好的代码规范与代码优化能力； 8、有较强的学习能力和技术钻研能力，积极主动，思维灵活开放，有良好的沟通能力。 【具备以下者优先】 1、基于scrapy二次开发过高性能爬虫框架，有架构思维及落地能力； 2、基于js逆向、app逆向、手机群控、web自动化等方式对较高难度的采集源有实际破解采集经验； 3、参与过大规模数据采集的项目，对大规模数据采集有优化经验；