-
公司位于佛山乐从新城世纪莲地铁广佛线,交通便利。请确定考虑到佛山发展再聊,谢谢! 兼职也可以 1爬虫框架与工具 熟练掌握 Scrapy、Pyspider 等主流框架,能够搭建分布式爬虫系统 熟悉 Selenium、PhantomJS 等自动化工具,应对动态渲染页面和反爬机制 2反爬对抗与逆向技术 具备验证码破解、JS逆向、APP逆向(如 Frida、Xposed)APP脱壳等实战经验 熟悉抓包工具(Charles、Fiddler)和协议分析(HTTP/HTTPS、WebSocket) 3数据处理与存储 精通数据清洗、结构化提取技术(如 XPath、BeautifulSoup),熟练使用 Pandas、NumPy 处理海量数据 掌握 MySQL、MongoDB、Redis 等数据库,具备调优及高并发存储经验 4系统架构与性能优化 熟悉分布式架构(如 Kubernetes、Docker Swarm),能够设计高可用、高性能的爬虫系统 具备实时监控、预警处理及日志分析能力,保障爬虫稳定性 通用技术要求 1编程基础 扎实的 Python 开发能力,熟悉多线程、异步编程及设计模式 了解其他语言(如 Java、JavaScript)及前端框架(Vue、React)为加分项 2运维与工程化 熟练使用 Linux 环境,掌握 Docker、Kubernetes 容器化技术 熟悉云服务(AWS、阿里云)及 DevOps 工具链(CI/CD) 交通便利,公司楼下就是地铁广佛线世纪莲地铁站
-
岗位描述 1.构建并优化大规模分布式数据采集系统,协助建设统一的数据采集、处理、查询、治理平台。 2.负责多渠道、多平台的各类数据源抓取,持续提升数据质量,包括数据时效性和完整性。 3.研究并分析目标站点/平台的反爬机制,设计策略规避限制;制定反爬策略,包括IP池、账号池、验证码识别等,并持续优化策略。 4.建立爬虫数据质量监控和应急响应机制,发现并解决数据采集中的异常情况(如数据缺失、重复、错误),确保采集的数据符合业务需求和质量标准,确保业务连续性。 岗位要求 1.3年及以上爬虫开发经验,本科及以上学历。 2.熟练使用Python,具备良好的编码和调试能力,具备扎实的计算机网络基础知识,了解HTTP协议和相关技术。 3.熟悉常见的爬虫框架,如Scrapy、feapder等;熟悉常用的消息组件和数据存储工具,如RabbitMQ、Kafka、MySQL、Redis、MongoDB等。 4.熟悉APP逆向,熟练使用抓包、反编译、Hook工具等,具备APP端数据抓取经验。 5.熟悉JS逆向,熟悉WEB常用反爬技术,具备通用网站数据爬取及解析经验。 6.具备良好的团队沟通能力、较强的问题解决能力和学习能力,能够独立思考和解决技术难题。 加分项 1.了解并使用过AI相关技术,有大模型采集框架使用经验的优先。 2.有通用、高效、稳定的分布式采集系统设计和开发经验的优先。
-
1、精通python语言,精通scrapy爬虫框架; 2、 精通web抓取原理及技术,从结构化和非机构化数据中获取信息; 3. 精通Html、JavaScript、XML等知识,熟悉前端异步请求方式; 4、精通自动化测试工具; 5、 熟悉一种或多种开源技术; 6、 具备一定的数据挖掘能力; 任职要求: 1、 负责为各个业务线提供垂直,精准的数据采集,抽取,存储服务 2、 设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量 3、 解决网页抓取,信息抽取等问题,构建高可用性,高扩展性网络信息采集平台 4、 能独立解决实际开发过程碰到的各类问题
-
岗位职责: 1.负责网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取),技术选型; 2.研究爬虫策略和防屏蔽规则,解决封账号,封IP,验证码,混淆加密,页面跳转等难点攻克,提升网页抓取效率和质量。 任职要求: 1.熟练掌握Python语言,有良好的编码习惯。 2.熟悉HTML,JavaScript,xpath,css selector,熟悉HTTP协议;熟悉WebDriver,phantomjs等工具; 3.掌握网页抓取原理及技术,了解基于Cookie的登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;有解决封账号、封IP、网页抓取、信息抽取等问题的经验 4.熟悉mysql,redis,mongodb,ES等数据库,以及对应数据的抽取入库等; 5.熟悉正则表达式、Xpath等数据提取技术。 6.了解常见的爬虫对抗技巧 7.了解抓包工具、如Fiddler、Charles、Mitmproxy 8.熟悉python web后端框架Django、flask、fastapi其中的一种优先 9.熟悉Linux常用命令、docker容器技术和git技术者优先; 有API对接经验优先 10.能对目前主流网站、APP数据进行抓取,有外贸跨境商城,抖音,小红书爬虫经验者优先。 11.有RPA、手机端自动化、浏览器自动化、PC自动化开发经验的优先 薪资待遇: 8K-13K;****。 上班时间: 上午 : 9:30-12:00;下午 13:30-19:00;
-
岗位职责: 1、维护优化爬虫系统 2、满足公司数据的爬取需求; 3、参与爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率 岗位要求: 1、2年以上工作经验; 2、深入理解python的常用的爬虫框架; 3、熟悉正则表达式、xpath、css、html等网页相关基础知识,具有一定的web逆向能力; 4、熟悉MySQL、Redis数据库; 5、熟悉Flask接口编写 6、有参与研发爬虫中台经验优先。
-
【工作职责】 1.根据公司项目要求完成模块详细设计和编码实现; 2.保证项目系统的高性能和高可用以及代码质量和维护性; 3.落实承接项目相关技术文档的整理和维护。 【任职要求】 1.2年以上网络相关开发工作经验; 2.了解大语言模型的网络架构,熟悉glm、百川等开源性项目; 3.较强的编码能力,熟悉Python 开发语言、Linux 操作系统和 Docker 工具链; 4.具备较强独立分析、解决问题的能力,能够承受较大的工作压力,学习沟通能力强,具有团队合作精神和创新意识,乐于接受技术革新,保持技术更迭; 5.具备良好的客户服务意识及团队协作精神。
-
【工作职责】 1.根据公司项目要求完成模块详细设计和编码实现; 2.保证项目系统的高性能和高可用以及代码质量和维护性; 3.落实承接项目相关技术文档的整理和维护。 【任职要求】 1.2年以上网络相关开发工作经验; 2.了解大语言模型的网络架构,熟悉glm、百川等开源性项目; 3.较强的编码能力,熟悉Python 开发语言、Linux 操作系统和 Docker 工具链; 4.具备较强独立分析、解决问题的能力,能够承受较大的工作压力,学习沟通能力强,具有团队合作精神和创新意识,乐于接受技术革新,保持技术更迭; 5.具备良好的客户服务意识及团队协作精神。
-
▋工作年限 5年工作经验以上 ▋年龄要求 28-35之间 ▋学历要求 大专及本科以上 ▋岗位要求 1.熟练使用Python语言和PyQt界面开发,能够独立解决问题 2.有数据采集、手机端/PC端/WEB网页浏览器自动化经验 3.熟悉HTTP(s)、WEBSOCKET(s)协议,熟悉抓包分析数据 4.有Playwright、Airtest、Appium、Selenium、Uiautomation、UIAutomator2、PyAutoGUI其中一个框架的使用经验 5.熟练使用MySQL/SqlServer/Oracle/MangoDB任一数据库,和RestAPI开发 6.对Windows/Linux/Android操作系统的基本操作 7.能够独立调试代码和分析测试失败的原因,具备解决复杂问题的能力 8.与开发团队、产品团队及其他相关方有效沟通,确保测试需求和结果被正确理解 9.软件开发和测试技术不断更新,保持学习新工具和技术的能力非常重要 ▋岗位职责 负责甲方的推广引流软件开发(用户采集、拉人进群、建立社群、自动推广) ▋试用期 3个月
-
网络信息安全,爬虫,攻防,全栈技术工程师
-
任职要求: 1. 本科及以上学历 2. 有Python爬虫相关经验,有web端JS逆向经验,熟练使用Scrapy框架 3. 熟悉HTML、XPath、正则表达式、AJAX、HTTP协议等 4. 熟悉MySQL、NoSQL等,了解Git版本管理工具 5. 熟悉分布式爬虫以及各种抓包工具 6. 熟悉消息队列,如rabbitmq,kafka等 加分项: 1. 有GUI工具pyqt开发经验 2. 有app逆向开发经验,熟悉ast,frida,objection,能够独立逆向小程序,app等 3. 有爬虫平台相关开发经验,如xxljob等
-
app逆向,网站爬虫,app爬虫。看个人工作经验。
-
特别提醒:人不在深圳的不要随便投递简历。谢谢。 1、负责业务端数据稳定抓取、存储; 2、沟通产品需求,建立机器学习模型并不断优化 3、能够独立完成系统模块开发; 4 年及以上实际开发经验,精通python语言开发,同时掌握其他语言优先; 5、精通爬虫和反爬技术,精通http底层协议,linux基本命令;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术; 6、熟练使用mysql数据库、ES集群、redis、js逆向、正则提取; 7、熟悉机器学习,了解深度学习框架,有实际开发者优先; 8、有开发爬虫框架经验优先,熟悉反爬虫、验证码识别技术者优先; 9、逻辑清晰,专注技术有追求有热情,良好的团队合作精神及学习能力;
-
工作职责: 1、独立负责网络爬虫系统的设计与开发; 2、负责和业务沟通抓取需求,满足业务的发展需要; 3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作; 任职要求: 1. 计算机或相关专业,本科及以上学历; 2. 熟悉软件工程,熟悉常用数据结构和算法; 3. 熟悉Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis 4. 熟悉Linux操作系统以及shell脚本; 5. 熟悉HTML,JavaScript,xpath,css selector,熟悉HTTP协议; 6. 英语水平达到CET6或以上; 7. 工作细心,认真负责,具备较强的学习能力; 8.了解Git版本管理工具。
-
岗位职责: 1、与业务团队沟通,明确爬虫项目的目标和需求,确定要抓取的数据范围、格式和用途,为产品业务提供数据支持。 2、编写高效、稳定的 Python 爬虫代码,挖掘并整合外部第三方数据,并对抓取到的数据进行的清洗和整理,增强数据分析的广度与深度; 3、优化爬虫程序的性能,提高抓取速度和效率; 4、建立和完善公司内部的知识图谱体系,提高数据的可访问性和价值。 任职资格: 1、**本科及以上,数学、统计学、计算机科学等相关专业优先,拥有5年以上金融或科技行业的相关工作经验。 2、精通python语言,具备扎实的编程功底,具有良好的程序设计能力; 3、精通爬虫原理,精通Scrapy、pyspider等主流爬虫框架框架;具有RPA项目经验; 4、精通常用的反扒技术,对互联网各种类型数据交互模式熟悉,知道如何处理需登录网站、动态网页等各种情况下的数据采集方法。 5、熟悉常见ip限制、滑块、UA限制、验证码反爬、登录限制、headers认证和cookie限制等反爬套路及破解方法,且有实际经验; 6、熟练使用MySQL、MongoDB,熟悉Hadoop、ElasticSearch等技术; 7、熟练使用Pandas, NumPy等进行数据清洗、处理,提供数据服务以及数据管理; 8、能独立完成爬虫系统的搭建和运维。
-
Python科目现在也需要一名直播运营,需要懂IT 如果你: 喜欢与人沟通, 热爱讲师工作, 在大厂996干够了,拥有出色的Python技能及沟通能力; 渴望丰厚的奖金收入,专注自己的目标并坚持不懈; 具有良好的团队合作意识并具有强烈的责任感与客户服务意识;; 想要有更宽阔的长期职业发展; 欢迎加入我们! 1、熟悉分布式系统、多线程,精通scrapy、selenium框架以及原理 2、熟悉TCP/IP、HTTP、XPath、beautifulsoup4、正则表达式等相关技术 3、精通爬虫和反爬技术、精通JS逆向、APP逆向,精通http底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术 4、沟通表达佳,有授课经验 有博客撰写习惯或者在企业内外部有技术分享经验者优先


