-
岗位职责: 1、 负责scrapy爬虫项目的运维工作,以及数据的清洗提取工作; 2、 根据需求,开发App或网站的数据爬取工作; 3、 独立解决实际开发过程中碰到的各类问题。 任职要求: 1、本科或以上学历,具有实际爬虫开发、内容提取工作经验3年以上,熟练掌握Python语言,对数据敏感,具有良好的逻辑分析能力; 2、 熟悉Linux系统,精通Python编程语言,熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理,掌握requests,selenium,scrapy,pandas等模块的用法, 3、 熟悉常见的数据库,如redis、mongodb和mysql等其中一种或几种,有数据清洗分析的工作经验,了解大数据平台的基本原理; 4、 熟悉html,css,JavaScript等前端知识,掌握Web界面的的分析方法,熟练掌握bs4,xpath,正则等其中一种或几种常用的信息抽取技术; 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题; 6、 掌握App数据采集的常用技术,能够爬取App的数据; 7、 热爱技术,喜欢钻研,有分享精神,注重代码质量,工作认真细致,主动性强,执行力强,抗压能力强,有良好的协作意识; 8、 有酒店行业经验者优先。
-
职位描述: 1、负责攻克高难度的反爬,诸如人机识别、JS逆向、Android逆向等 2、负责开发及维护超大规模站点,深入挖掘站点有价值的数据 3、参与爬虫通用组件、工具、系统的设计开发 职位要求: 1、大专及以上学历,2年以上工作经验; 2、具备丰富的Python爬虫经验,熟悉JS逆向、Android逆向,有攻克高难度站点经验; 3、具备扎实的技术基础,如常见的网络协议、Linux操作系统、常用数据库等,可以独立分析解决新出现的技术问题; 4、有前后端开发经验; 5、缜密的逻辑思维能力; 6、热爱技术,喜欢钻研,注重代码质量;
-
职位描述: 1、运用现有的开发框架,完成数据爬取、解析及后续的维护工作 2、解决常见的反爬问题 职位要求: 1. 大专及以上学历; 2. 熟悉 Linux 下的 Python 和 NodeJS开发; 3. 熟练使用 Requests、Scrapy、XPath、Bs4 等常用爬虫框架工具进行开发; 4. 熟练使用 Puppeteer 等模拟浏览器工具进行开发; 5. 了解常见的反爬手段及其应对措施; 6. 熟练使用常用数据库,包括 MySQL 、Redis、MongoDB 等; 7. 熟练使用各类抓包工具,如 Charles、Fiddler、Wireshark、Mitmproxy 等; 8. 了解常见的消息队列使用; 9. 有Web前后端经验优先。
-
(该岗位为外包岗位,优秀者入职后可转为正式员工) 职责描述: 1、负责网络爬虫,数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据,为业务部门提供数据支持。 技能要求: 1、会JS补环境; 2、会训练及协议过国内主流厂家的滑块,图标/文字点选验证码; 3、会使用docker容器; 4、计算机相关专业本科以上学历; 5、熟练的编程能力,熟悉数据结构;熟悉计算机网络的基础理论; 6、熟练的Python编程基础,熟练使用scrapy或feapder等爬虫框架;熟悉分布式爬虫;熟悉XPath等常用页面解析技术; 7、熟悉puppeteer等自动化工具的使用; 8、熟悉postgresql,mongodb等关系型或非关系型数据库; 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑;
-
岗位职责: 1、 负责scrapy爬虫项目的运维工作,以及数据的清洗提取工作; 2、 根据需求,开发App或网站的数据爬取工作; 3、 独立解决实际开发过程中碰到的各类问题。 任职要求: 1、本科或以上学历,具有实际爬虫开发、内容提取工作经验3年以上,熟练掌握Python语言,对数据敏感,具有良好的逻辑分析能力; 2、 熟悉Linux系统,精通Python编程语言,熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理,掌握requests,selenium,scrapy,pandas等模块的用法, 3、 熟悉常见的数据库,如redis、mongodb和mysql等其中一种或几种,有数据清洗分析的工作经验,了解大数据平台的基本原理; 4、 熟悉html,css,JavaScript等前端知识,掌握Web界面的的分析方法,熟练掌握bs4,xpath,正则等其中一种或几种常用的信息抽取技术; 5、 能破解js混淆、处理账号限制、复杂验证码、模拟登录等其中一种或几种疑难问题; 6、 掌握App数据采集的常用技术,能够爬取App的数据; 7、 热爱技术,喜欢钻研,有分享精神,注重代码质量,工作认真细致,主动性强,执行力强,抗压能力强,有良好的协作意识; 8、 有酒店行业经验者优先。
-
职位描述 1. 参与爬虫系统的开发和日常维护; 2. 负责开发分布式网络爬虫系统,进行多平台信息的抓取和分析; 3. 负责网页信息和APP数据抽取、清洗、消重等工作,提升平台的抓取效率; 4. 参与爬虫核心算法和策略优化,熟悉采集系统的调度策略; 任职资格: 1. 本科以上学历,2年以上爬虫开发相关经验,精通Python进行开发; 2. 熟练使用正则表达式、css path、xpath等,能够从结构化的和非结构化的数据中获取信息; 3. 熟练使用MySQL数据库,掌握redis、mongodb、hive等常用nosql技术并具有实战经验; 4. 熟悉各种抓取技术,包括代理、PhantomJS/selenium/Playwright、验证码处理; 5. 具有js、app逆向经验,熟悉IDA Pro、GDB、JEB等常用逆向分析工具,具备一定的逆向分析能力; 6. 热爱互联网大数据抓取相关技术,能够不断的学习和探索; 7. 具备良好的团队协作和沟通能力,责任心强并能承受较大的工作压力。
-
1、负责PDF/Word/Excel等格式图文识别、分类、入库; 2、负责内外部网页内容抓取、去除干扰数据、标准化入库; 3、负责图片中文字内容识别、排版、纠错、标准化入库; 4、编写公共接口,为公司其他项目提供 PDF解析、网页解析、图文解析 等接口服务; 5、跟进OCR、爬虫、NLP前沿技术,将其工程化应用到公司产品中; 6、支持公司相关产品的研发工作。 任职要求: 1、**本科及以上学历;计算机、数学、信息技术、自然语言处理、数据挖掘相关专业;3年以上工作经验; 2、熟练使用 Python,熟悉相关环境部署,熟悉Linux常用命令; 3、熟悉 PyPDF2、PyMuPDF、Borb 等开源库,在项目中有实际使用经验; 4、熟悉 PaddleOCR、EasyOCR、Chineseocr、Tesseract、OpenCV 等开源库,有实际使用经验; 5、熟悉 Scrapy、Pyppeteer、Selenium,有实际使用经6、熟练使用SQL,熟悉MySQL等关系型数据库; 7、有Django、Docker经验者优先; 8、工作积极主动,富有学习精神,愿意挑战高难度任务,编码规范。
-
为了更好地提升城市即时配送的效率与体验,美团于2017年启动了无人机配送服务的探索,通过科技创新推动履约工具变革,加快建设空地协同的本地即时配送网络,致力于为用户提供3公里、15分钟的标准配送服务。通过发展飞行器、导航控制、AI算法、航线管理、通讯系统五大自研技术能力,并适应社区、商场、写字楼等多种场景,让无人机与骑手形**机协同的配送,真正实现“万物到家”。 截至2022年6月,美团无人机已在深圳落地10个社区,4个商圈,完成面向真实用户的订单超6.2万单,并在北京、深圳等地测试机场完成了超过40万架次的飞行测试,配送飞行总时长1万小时以上。此外,2022年5月下旬,美团无人机开始在杭州进行常态化核酸样本运输,截至7月中旬,已配送超200万人次的核酸样本。 我们的使命是建设高效便捷的城市低空物流网络。加入我们,一同探索广阔蓝天,把路修到天上去,用科技帮大家吃得更好,生活更好。 岗位职责 1. 负责无人机配送业务的商务工作,制定渠道拓展方案,在城市场景中落地无人机配送业务,重点合作伙伴方向为地产/物业公司; 2. 负责重点客户关系维护、提升合作深度,具备对接客户多个部门的沟通手段,支撑业务增长及运营; 3. 负责在营航线的商务沟通,支持商圈内产品迭代和运营优化的相关工作; 4. 对行业资源进行整合,对优质商圈资源进行储备。 岗位基本需求 1. 本科及以上学历,有3年以上商业地产、地产行业工作经验优先,具备华东资源优先; 2. 熟悉地产企业的组织体系和沟通链路,具备较丰富的地产企业资源; 3. 良好的沟通能力、跨部门沟通及协调能力、文字表达能力及方案演示能力; 4. 学习能力强,对科技行业有兴趣,有较高的行业敏锐度和适应性。 具备以下者优先 熟悉地产企业的组织体系和沟通链路,具备较丰富的地产企业资源,优先考虑。 岗位亮点 无人配送行业发展过程中的深度参与者,与团队一同见证科技照进现实。
-
岗位职责: 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息; 2、研发爬虫系统,对自动爬取、数据提取的核心算法和性能效果调优; 3、负责爬虫可视化系统的后台监控、报警模块的开发; 4、优化爬虫算法,增加爬虫成功率,突破各种爬虫难点; 5、确保爬虫系统稳定性,降低系统成本; 岗位要求: 1、本科及以上学历,计算机相关专业,3年以上爬虫开发经验; 2、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架; 3、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等; 4、熟练掌握 Python/Java/JavaScript 任意语言,Python 优先; 5、熟悉代理池、Cookie池搭建和使用以及账号登录认证。 加分项: 实践过大型爬虫项目; 有知名项目贡献Commit经历; 有高质量的个人技术博客; 具备前端(App、Web)或后端开发能力;
-
岗位职责: 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息; 2、研发爬虫系统,对自动爬取、数据提取的核心算法和性能效果调优; 3、负责爬虫可视化系统的后台监控、报警模块的开发; 4、优化爬虫算法,增加爬虫成功率,突破各种爬虫难点; 5、确保爬虫系统稳定性,降低系统成本; 岗位要求: 1、本科及以上学历,计算机相关专业,3年以上爬虫开发经验; 2、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架; 3、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等; 4、熟练掌握 Python/Java/JavaScript 任意语言,Python 优先; 5、熟悉代理池、Cookie池搭建和使用以及账号登录认证。 加分项: 实践过大型爬虫项目; 有知名项目贡献Commit经历; 有高质量的个人技术博客; 具备前端(App、Web)或后端开发能力;
-
岗位要求: 1、负责爬虫和数据采集系统的维护和开发; 2、负责海内外大型电商平台信息爬取和页面内容的提取分析; 3、定期爬取指定网站的数据,能高效爬取数据,为业务部门提供数据支持。 任职要求: 1、大专及以上学历,计算机或相关专业; 2、有过大型平台及海量数据的爬取经验,例如*宝、*东、易贝、亚马逊等; 3、有3年以上python爬虫开发经验,能独立完成爬虫任务; 4、熟悉HTTP、HTTPS原理,理解Cookie机制,能够进行请求抓包; 5.熟悉cms建站系统,实现数据抓取并通过cms系统快速同步数据以网页形式呈现。
-
岗位职责 1、 根据业务需求,负责设计和开发短视频平台网络爬虫系统,并进行清洗提取; 2、 设计爬虫策略和防屏蔽规则,提升爬取的效率和质量; 任职要求 1、 计算机相关专业,本科以上学历,1年以上爬虫开发经验; 2、 熟悉Python、计算机网络,熟悉使用多线程,熟悉Scrapy等常用爬虫框架; 3、 有短视频平台的数据抓取经验、熟悉IP池、cookie池等使用; 4、 具有良好的沟通能力和团队合作意识;
-
工作内容: 基于Python进行网站与APP的数据采集。 岗位要求: 1. 编程基础扎实,熟悉常见数据结构、算法、及面向对象设计; 2. 熟悉Mysql与Redis数据库; 3. 熟悉Scrapy、Selenium采集框架与aiohttp、xpath等技术; 4. 熟悉常见反爬手段,可进行JS逆向; 5. 具备日采集量至少在百万或千万以上的系统运营经验。
-
工作内容: 1. 负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库; 2. 负责用python语言实现产品的后端研发; 3. 负责高质量的设计和编码; 4. 承担重难点技术攻坚任务; 5. 参与产品的讨论和开发实现; 岗位要求: 1. 二年以上工作经验良好的计算机基础知识,熟悉常用的数据结构和算法; 2. 能运用python进行各类数据处理,熟悉pandas、numpy等常用python数据处理包,有机器学习相关经验优先; 3. 熟悉python后台开发,有完整的项目开发经验,熟练使用Django或flask框架, 熟悉Restful设计规范; 4. 熟悉Windows及Linux下python的安装、部署及调试以及Docker部署; 5. 熟悉MySQL、SQL 和主流NoSQL数据库 6. 对项目安全性问题和并发问题有一定理解和相应的解决方法 7. 有良好的沟通能力,团队协作能力,对新技术敏感,有良好的代码习惯,结构清晰,命名规范,熟悉设计模式,随时贯彻最优开发思想。
-
python爬虫工程师 岗位职责: 1、编写抓取互联网爬虫代码,负责数据采集,参与需求分析和梳理,爬虫采集策略制定和实现; 2. 负责网页信息抽取、简单清洗、数据入库等开发; 3. 提升爬虫稳定性及可扩展性,充分利用资源,优化爬虫效率和质量。 任职资格: 1、本科及以上,计算机及相关专业; 2.、至少1年爬虫项目开发经验; 3.、熟悉爬虫原理及常见的反爬虫技术,如cookie、js加密、base64等; 4、 熟练运用python语言, 熟悉常用的开发框架; 5、掌握常用数据库(如:MySQL,Mongodb)及相应DDL/DML,熟悉索引及常规SQL调优。 6、善于沟通,工作积极,态度认真,有主动学习精神;