【岗位职责】 负责财务税务相关业务系统研发，分析第三方站点的业务数据格式化和预处理，通过脚本实现数据抽取、转换、格式化、装载等功能，最终实现业务操作的自动化； 基于开源的机器学习算法进行简单的算法二次开发和调测； 能够根据客户需求，进行需求分析，完成软件架构设计、接口设计、详细设计以及相应的开发测试任务； 根据项目需求对现有产品进行开发与维护； 【任职要求】 正规大学专科以上学历。 一年及以上Python开发经验，熟练Python爬虫开发。 熟悉HTML5，Javascript，Json，熟悉Mysql数据库，熟练使用SQL。 学习能力强，能够快速消化和理解新的编程语言和领域知识。

岗位职责： 1、编写抓取互联网爬虫代码，负责数据采集，参与需求分析和梳理，爬虫采集策略制定和实现； 2、研究各种网页、app、小程序端接口，提高网页抓取效率和质量； 3、攻克爬虫难题。 任职资格： 1、熟练使用python，熟练爬虫开发，熟练使用scrapy开源框架，3年及以上python爬虫经验，至少一年海量互联网数据采集经验； 2、熟悉fiddler，charles，mitmproxy等抓包工具（其中一种即可）。熟悉pyppeteer，WebDriver等技术； 3、熟悉redis，MySQL，MongoDB等基本使用； 4、对HTTP协议及HTML有深入理解，精通正则，xpath等，熟练从结构化和非结构化的数据中获取信息； 5、熟悉js解密逆向反混淆，有电商网站及其他大型网站爬取经验； 6、熟悉APP的抓包、加密参数等识别。具备APP去壳、反编译等逆向工程能力，熟悉常见Hook技术，熟练使用常见的Android反编译工具者优先； 7、积极主动，愿意接受挑战，抗压性强。

工作内容： 基于Python进行网站与APP的数据采集。 岗位要求： 1. 编程基础扎实，熟悉常见数据结构、算法、及面向对象设计； 2. 熟悉Mysql与Redis数据库； 3. 熟悉Scrapy、Selenium采集框架与aiohttp、xpath等技术； 4. 熟悉常见反爬手段，可进行JS逆向； 5. 具备日采集量至少在百万或千万以上的系统运营经验。

工作职责： 1.使用爬虫技术采集指定的互联网数据 2.对采集的数据进行清洗治理 3.根据项目需求导指定的项目数据 4.维护采集框架平台，维护采集脚本 5.根据公司内部的需求编写一些数据处理小工具 任职要求： 1.本科以上学历，3年以上相关工作经验； 2.计算机相关专业 3.精通Python语言，熟练掌握主流爬虫框架中的一种；熟悉常用的库requests/gevent等； 4.了解各种加密算法，能够独立解决js反爬和模拟登陆问题； 5.熟练掌握正则表达式、XPath、CSS等网页信息抽取技术； 6. 熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等； 7. 熟练使用应用Selenium实施动态抓取； 8.熟悉熟练使用charles、fiddler等抓包工具者优先； 9. 熟悉数据清洗，能够用numpy、pandas、jieba等工具对数据进行处理者优先; 10.熟练使用sqlserver、mysql、mongodb、redis； 11.熟悉掌握rabbitMQ、kafka、spark 优先； 12.具有DBA工作经验者优先； 13.具有团队精神、积极的工作态度和对工作的责任心，有一定的稳定性。

工作职责： 1、配合逆向工程师，完成数据抓取项目的代码编写 2、负责日常的项目维护、功能迭代及优化 3、负责简单站点的数据抓取 职位描述： 1、3年以上Python开发经验，熟悉掌握python语言 2、熟悉scrapy等爬虫框架 3、熟悉redis、mongodb、mysql、es等存储方案 4、熟悉rabbitmq等消息队列 5、熟悉k8s、docker的使用 6、熟悉Linux常用命令，独立完成日常部署更新等 7、熟悉分布式爬虫架构和基本爬虫知识 8、互联网大厂工作经验 【工作地址】上海市杨浦区黄兴路221号互联宝地

职位描述： 工作内容： 1、根据客户提出的具体要求，使用指定程序语言进行编程。 3、所编程序非商用，一般较为基础。 任职要求 1、雅思6.5分以上或英语六级450分以上，英语的阅读能力较强。能看懂英文需求，能阅读英文文献。 2、学历要求硕士及以上，计算机科学类专业，欢迎海外归来的优秀留学生，国内优秀的大学毕业也可。 3、具有较强的学习和举一反三能力。 4、有以下其中一个经验或技能： （1）、熟悉任一编程语言，C/C++/Python/java； （2）、掌握HTML、CSS、JavaScript、Jquery等； （3）、熟练使用数据库者（例如：MySQL、Oracle、SQL Server等）； 工作地址

岗位职责:1. 设计并开发票税相关业务系统的网站接口抓取、逆向分析或自动化登录服务维护；2.负责机器人弹性伸缩开关机与登录服务运行监控与预警;3、针对存在规范、设计、性能和安全问题的代码进行重构和优化任职资格:1、 三年以上基于Python的后端开发工作经验，计算机相关专业本科以上学历2、熟悉Flask或Tornado开发框架，有爬虫、验证码识别或大数据分析统计等相关工作经验优先考虑3、 掌握html、js、css等前端开发技术4、熟悉Oracle,MySQL至少一种数据库的设计和开发5、良好的沟通能力及团队合作精神，能承担较强工作压力

岗位职责: 1、从事网页及APP数据采集的技术工作； 2、负责设计爬虫策略及反爬规则，提升数据采集效率、完整度和稳定性； 3、负责智能采集系统设计与研发，如采集任务调度，页面解析和结构化抽取，海量数据存储和读取等。 4.、负责持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进，提升公司相关产品与服务的竞争力。 任职资格: 1、5年左右爬虫开发经验；能够独立承担爬虫工作； 2、熟悉JAVA/Python/go任意语言，熟悉常用的数据结构和算法；熟悉分布式、缓存、消息、搜索等机制； 3、熟悉爬虫原理、分布式架构，精通一种开源爬虫框架，熟练scrapy、feapder等一个或多个爬虫框架及原理，熟悉主流爬取技术，如协议破解、模拟点击、AST解混淆、app逆向等，能够解决封账号、封IP、验证码等问题； 4、熟悉Mysql、ES 和 kafka等使用； 5、有淘宝、拼多多等电商数据获取相关经验者优先。 6、熟悉Android逆向，有主流app逆向、风控对抗、算法破解经验

工作职责: 1、负责设计、开发、维护分布式爬虫系统； 2、负责爬虫系统性能效果调优； 3、负责爬虫系统的后台监控、报警模块的开发。 任职资格: 1、精通Python ，3年以上爬虫及相关技术开发经验； 2、有1年以上App爬取经验，对so逆向有一定经验并独立做过相关分析； 3、 熟练掌握js逆向，熟悉js各种反爬措施，能解决js混淆等问题； 4、了解常见的App反爬策略，能解决IP封禁、参数加密、验证码、账号封禁等问题; 5、有大型爬虫平台开发经验，单个数据源爬取数量超过千万级； 6、工作积极主动、责任心强，具有较强的分析和解决问题的能力。 任职本岗位，你将获得如下技能： 1、如何设计实现大规模分布式爬虫系统(执行效率、资源调度策略、架构设计与优化)； 2、如何处理海量数据(存储、清洗、分析)； 3、如何进行特殊目标的定向分析； 4、其他不外传的技术秘笈。

岗位职责： 1、 负责scrapy爬虫项目的运维工作，以及数据的清洗提取工作； 2、 根据需求，开发App或网站的数据爬取工作； 3、 独立解决实际开发过程中碰到的各类问题。 任职要求： 1、本科或以上学历，具有实际爬虫开发、内容提取工作经验3年以上，熟练掌握Python语言，对数据敏感，具有良好的逻辑分析能力； 2、 熟悉Linux系统，精通Python编程语言，熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理，掌握requests，selenium，scrapy，pandas等模块的用法， 3、 熟悉常见的数据库，如redis、mongodb和mysql等其中一种或几种，有数据清洗分析的工作经验，了解大数据平台的基本原理； 4、 熟悉html，css，JavaScript等前端知识，掌握Web界面的的分析方法，熟练掌握bs4，xpath，正则等其中一种或几种常用的信息抽取技术； 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题； 6、 掌握App数据采集的常用技术，能够爬取App的数据； 7、 热爱技术，喜欢钻研，有分享精神，注重代码质量，工作认真细致，主动性强，执行力强，抗压能力强，有良好的协作意识； 8、 有酒店行业经验者优先。

工作内容 1.参与RPA系统的架构设计、开发与优化 3. 实时监控任务的执行状况，及时处理采集异常 2.采集数据的清洗入库 任职要求： 1.**本科及以上学历 2.熟练掌握Python，掌握selenium、scrapy、RPA等相关框架 3.深入理解HTTP等网络协议 4.2年及以上爬虫或者RPA开发经验 5. 有过高性能数据采集、海量数据存储项目经验，懂得一定反反爬者优先

岗位职责： 1、 负责scrapy爬虫项目的运维工作，以及数据的清洗提取工作； 2、 根据需求，开发App或网站的数据爬取工作； 3、 独立解决实际开发过程中碰到的各类问题。 任职要求： 1、本科或以上学历，具有实际爬虫开发、内容提取工作经验3年以上，熟练掌握Python语言，对数据敏感，具有良好的逻辑分析能力； 2、 熟悉Linux系统，精通Python编程语言，熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理，掌握requests，selenium，scrapy，pandas等模块的用法， 3、 熟悉常见的数据库，如redis、mongodb和mysql等其中一种或几种，有数据清洗分析的工作经验，了解大数据平台的基本原理； 4、 熟悉html，css，JavaScript等前端知识，掌握Web界面的的分析方法，熟练掌握bs4，xpath，正则等其中一种或几种常用的信息抽取技术； 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题； 6、 掌握App数据采集的常用技术，能够爬取App的数据； 7、 热爱技术，喜欢钻研，有分享精神，注重代码质量，工作认真细致，主动性强，执行力强，抗压能力强，有良好的协作意识； 8、 有酒店行业经验者优先。

职位描述： 1、负责攻克高难度的反爬，诸如人机识别、JS逆向、Android逆向等 2、负责开发及维护超大规模站点，深入挖掘站点有价值的数据 3、参与爬虫通用组件、工具、系统的设计开发 职位要求： 1、大专及以上学历，2年以上工作经验； 2、具备丰富的Python爬虫经验，熟悉JS逆向、Android逆向，有攻克高难度站点经验； 3、具备扎实的技术基础，如常见的网络协议、Linux操作系统、常用数据库等，可以独立分析解决新出现的技术问题； 4、有前后端开发经验； 5、缜密的逻辑思维能力； 6、热爱技术，喜欢钻研，注重代码质量；

工作职责： 1、负责内容中台分布式网络爬虫系统的设计与研发工作，进行多平台信息的抓取和分析工作； 2、根据业务需求进行网页信息和APP数据的抽取、清晰、消重等工作，提升平台的抓取效率； 3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略； 4、实时监控爬虫的进度和警报反馈； 岗位要求： 1、熟悉多线程、网络编程，精通网页抓取原理及技术，精通正则表达式； 2、熟悉并熟练应用各种常见加密算法； 3、熟悉Linux平台，熟练掌握Python/GoJava等至少一种编程语言，对数据结构和算法设计有较为深刻的理解； 4、有移动平台（安卓、IOS）开发经验优先； 5、良好的团队合作，较强的沟通能力，对解决挑战型问题充满激情。

岗位职责： 1、发挥创造性思维，用专业技术攻坚数据采集与应用难题； 2、用技术赋能数据采集，帮助数据产品经理稳靠把握数据情况，确保数据更新快、准、全； 3、设计搭建大规模分布式爬虫系统、大规模APP采集系统，以及其他相关服务系统； 4、分析开发效率瓶颈，利用devops手段，实现爬虫采集工具化、自动化、平台化，提高爬虫团队生产效率； 5、使用容器化技术，解决系统自动化部署及爬虫资源分配问题； 任职资格： 1、本科以上学历，计算机相关专业，熟悉操作系统（多线程、多进程）、计算机网络编程、数据结构与算法等基础知识； 2、4年以上Linux 环境下常用语言（C/C++/JAVA/Python）开发经验，熟练使用常用 Linux 命令； 3、3年以上大规模网页爬虫开发经验，熟悉浏览器原理、前端 JS、AJAX； 4、深入了解前端JS反爬，能解决前端动态 JS 混淆问题； 5、深入了解非逆向、非侵入式手机APP采集方法； 6、熟悉了解容器化编排技术（swarm/k8s/mesos）； 7、熟练使用一门以上脚本语言（Python/Javascript）； 8、熟练使用一种以上的数据库（Mongodb/HBase/MySQL）； 9、有前后端或大数据项目开发经验优先； 10、有分布式系统设计开发落地经验优先.