公司位于佛山乐从新城世纪莲地铁广佛线，交通便利。请确定考虑到佛山发展再聊，谢谢！ 兼职也可以 1爬虫框架与工具 熟练掌握 Scrapy、Pyspider 等主流框架，能够搭建分布式爬虫系统 熟悉 Selenium、PhantomJS 等自动化工具，应对动态渲染页面和反爬机制 2反爬对抗与逆向技术 具备验证码破解、JS逆向、APP逆向（如 Frida、Xposed）APP脱壳等实战经验 熟悉抓包工具（Charles、Fiddler）和协议分析（HTTP/HTTPS、WebSocket） 3数据处理与存储 精通数据清洗、结构化提取技术（如 XPath、BeautifulSoup），熟练使用 Pandas、NumPy 处理海量数据 掌握 MySQL、MongoDB、Redis 等数据库，具备调优及高并发存储经验 4系统架构与性能优化 熟悉分布式架构（如 Kubernetes、Docker Swarm），能够设计高可用、高性能的爬虫系统 具备实时监控、预警处理及日志分析能力，保障爬虫稳定性 通用技术要求 1‌编程基础‌ 扎实的 Python 开发能力，熟悉多线程、异步编程及设计模式 了解其他语言（如 Java、JavaScript）及前端框架（Vue、React）为加分项 2‌运维与工程化‌ 熟练使用 Linux 环境，掌握 Docker、Kubernetes 容器化技术 熟悉云服务（AWS、阿里云）及 DevOps 工具链（CI/CD） 交通便利，公司楼下就是地铁广佛线世纪莲地铁站

1、精通python语言，精通scrapy爬虫框架； 2、 精通web抓取原理及技术，从结构化和非机构化数据中获取信息； 3. 精通Html、JavaScript、XML等知识，熟悉前端异步请求方式； 4、精通自动化测试工具； 5、 熟悉一种或多种开源技术； 6、 具备一定的数据挖掘能力； 任职要求： 1、 负责为各个业务线提供垂直，精准的数据采集，抽取，存储服务 2、 设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量 3、 解决网页抓取，信息抽取等问题，构建高可用性，高扩展性网络信息采集平台 4、 能独立解决实际开发过程碰到的各类问题

工作职责： 1、独立负责网络爬虫系统的设计与开发； 2、负责和业务沟通抓取需求，满足业务的发展需要； 3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作； 任职要求： 1. 计算机或相关专业，本科及以上学历； 2. 熟悉软件工程，熟悉常用数据结构和算法； 3. 熟悉Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis 4. 熟悉Linux操作系统以及shell脚本； 5. 熟悉HTML，JavaScript，xpath，css selector，熟悉HTTP协议； 6. 英语水平达到CET6或以上； 7. 工作细心，认真负责，具备较强的学习能力； 8.了解Git版本管理工具。

公司简介： 《消费者报道》杂志社创建于1998年，是中国内地率先采用商品和服务对比测评、研究商品评价体系的专业机构，多年来专注并坚持在市场消费现象、行业服务及消费维权方面进行深入的研究、分析和应用，持续向公众传播科学消费与责任消费的理念，目前已形成全媒体、研究中心、数据中心三位一体的调研架构，为政府部门、社会组织、企业和消费者提供全面、科学、权威的调研和资讯服务。这里很纯粹，就是做事的地方——我们热衷于解决问题。 正选数据中心是消费者报道旗下独立事业部。2018年起，团队吸收了来自广东省重点电子政务项目“粤省事”、“营商环境”的技术骨干，专注于研发面向各行业垂直领域的大数据、算法、应用软件产品，先后研发上线了产品质量监测与分析系统、企业信用风险模型管理系统、企业生产销售产品库等，在各领域已逐步实现常态化、主题化、智能化的数据应用场景。本次python爬虫工程师岗位为正选数据中心招聘岗位。 正选数据官网：https://www.ccrdata.cn/ 岗位职责： 1、负责分布式网络数据采集系统及数据库的设计与开发； 2、设计数据采集策略和防屏蔽规则，解决封账号、封IP、验证码等技术问题； 3、维护和优化已有数据采集服务； 4、负责数据采集服务核心算法的策略优化研究，充分利用资源，提升网页抓取的效率和质量。 6、与团队其他人员高效沟通合作完成团队目标； 7、完成上级交办的其他工作任务。 任职要求： 1、大专及以上学历，2年及以上工作经验，计算机软件相关专业，具有扎实的操作系统、网络、数据库相关基础知识； 2、熟练掌握python多进程、多线程、协程、网络编程； 3、熟悉Linux操作系统，熟练使用常用命令；熟练掌握MySQL、MongDB、Redis开发经验者优先； 4、精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术，从结构化的和非结构化的数据中获取信息；熟悉Scrapy、Pyppeteer、Selenium、playwright等爬虫框架/工具中的一种或多种； 5、了解常用验证码识别技术，熟悉行为验证码识别、模拟登陆，熟悉各种反爬机制和解决措施； 6、对经手的工作理解深入，有团队观念，具备独立解决问题的能力，善于学习提升。

职位描述: 1、负责网络爬虫系统平台的架构设计与开发(如抓取调度，多样化抓取，页面解析和结构化抽取)、技术选型; 2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、混淆加密，算法还原，so层，页面跳转等难点攻克，提升网页抓取的效率和质量; 3、对抓取后的数据进行清洗、存储等，并持续优化 平台，以便满足各种爬取业务需求。岗位要求: 1.精通Linux/UNIX，精通Python语言，至少熟练掌 握主流爬虫框架中的一种; 2.了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决is反爬和模拟登陆问题; 3.熟练掌握正则表达式、XPath、CSS等网页信息抽 取技术; 4.熟悉常见反爬机制，验证码识别，IP代理池、应用 lp池、headers认证和cookie等; 5.熟练掌握应用Selenium、PhantomJS、Splash Puppeteer实施动态抓取; 6.熟悉熟练使用charles、fiddler等抓包工具者优先 7.熟悉数据清洗，能够用numpy、pandas、jieba等 8.熟悉mysal、mongodb、redis、rabbitMQ、kafk a、spark者优先; 9.对有金融数据抓取清洗经验优先; 工作时间: 8小时工作制，周一至周五(双休、国家法定节假日 )。 薪资待遇: 试用期3个月，正式入职工资6000~11000。 条件优异者，****

岗位职责： 1、负责公司的爬虫核心技术研究，爬虫框架架构，策略优化； 2、根据业务需求，实现大规模文本、图片、视频数据抓取、清洗、存储等工作； 3、对数据质量负责，提供数据分析报告，优化数据应用架构，支持产品研发。 任职要求： 1、计算机、数学或统计等相关专业，3年以上数据相关工作经验； 2、熟悉linux平台，掌握Python/Java/PHP或某种编程语言； 3、熟悉主流爬虫框架以及对爬虫分布式有相关研究； 4、熟悉基于正则表达式、CSS、http协议、ml等的网页信息抽取技术； 5、具有钻研精神，对数据驱动业务有深入理解，对数据与业务方面有足够的敏感性，独立思考能力和逻辑分析能力强。 我司已在公安局备案：网络安全公司。经营地址位于天府怡兴湖对面，电子科技大学成都研究院，可乘坐地铁5号线南湖站下，A口出。

一、岗位职责： 1、负责爬虫系统架构和业务开发； 2、建立完整的数据采集、解析、入库和监控流程，并不断优化迭代完善； 3、解决常见的反爬虫问题，并建立相关的系统化策略； 4、深入理解系统数据处理流程以及业务功能需求； 5、保证数据的完整性和准确性； 6、对高难度的技术问题的探索和解决有着极强的自我驱动力。 二、任职资格要求： 1、掌握Frida、XPosed、APKTool、JADX等常用逆向工具； 2、熟悉常见的Web和APP反爬手段和策略； 3、熟练掌握Python或者Javascript网络编程； 4、熟悉至少一种关系型数据库（如mysql/postgresql等）； 5、计算机基础扎实，对数据结构、操作系统、计算机网络等技术技术有一定程度的掌握； 6、两年以上的爬虫开发经验，有丰富的前端JS及APP逆向工程经验； 7、热衷接受以解决业务需求为目的的技术挑战和技术攻关，并以此为乐！ 加分项： 1、有大型B2C、C2C电商网站数据爬取、数据挖掘等实践经验者优先。 2、有丰富的客户端app、小程序逆向技术开发经验者优先。

岗位职责： 1、负责开发网络爬虫系统以及优化爬虫策略，进行多平台信息的抓取和分析； 2、完成数据采集与爬取、解析处理、入库等数据日常工作； 3、积极主动思考探索爬虫在实际业务中的价值，参与设计数据有效利用策略，从数据合理性、完整性角度提供建议； 4、把握网络爬虫核心技术研究方向，研究优化方向，提升爬虫系统的稳定性、可扩展性； 5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量。 任职要求： 1. **专科以上学历，1年以上爬虫项目经验，计算机相关专业，具备良好的计算机专业知识 2. 熟悉python/java语言，具备扎实的编程功底，具有良好的程序设计能力 3. 熟悉爬虫原理，熟悉Scrapy、pyspider等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验 4. 熟悉Appium、Selenium、uiautomator等技术的应用 5. 熟练使用 python request、xpath、BeautifulSoup、re等模块 6. 有App采集经验，掌握fiddler、charles等抓包工具，有xposed、frida、ida pro的使用经验的优先 7. 熟练使用MySQL、了解redis、Elasticsearch、kafka等技术 8. 业务理解和分析转化能力较强，富有进取精神及团队合作精神，责任心强，善于合作沟通，能够承受压力

岗位职责： 1、负责公司产品需要的相关数据的爬取，能应对各种网站的反爬机制，顺利爬取数据； 2、负责代码开发、调试与维护工作，并及时支持响应客户的各类技术问题； 任职要求: 1、本科及以上学历，3年以上开发工作经验，计算机基础知识扎实,理工类专业； 2、精通python，精通反爬机制，有丰富的爬虫和反爬经验，有成功爬取各类知名网站或者系统数据经验的优先； 3、掌握SQL，至少熟悉一种关系型数据库； 4、负责或参加过爬虫工具/软件的开发： 5、了解一种或多种网页、桌面程序的自动化实现机制： 6、有RPA的使用或者开发经验优先

岗位职责 1. 负责爬虫的开发、维护和优化； 2. 搭建数据采集系统，页面化管理维护爬虫任务和状态，展示爬取情况 3. 进行爬取数据进行清洗和质量校验，为业务部门提供数据支持； 4. 支持数据部门内部应用和系统的开发 岗位要求 1. 熟练使用python语言，熟悉常见的爬虫框架，1年以上的爬虫开发经验 2. 熟悉常见的反爬机制并具有实际解决问题的反反爬经验 3. 熟悉tcp/http/ws协议等，能用常见抓包工具进行分析 4. 有web端和app端数据抓取能力，熟悉两端的数据抓取方法 5. 具备一定的web开发能力，了解前后端分离，能用主流前端框架开发相应的工具和管理系统 6. 有大数据相关经验优先：flink、spark、hdfs、hive、kafka、hbase等 7. 有舆情类项目优先 8. 有网络安全及逆向相关知识和经验优先

岗位职责： 1、设计编写数据采集器或爬虫代码； 2、维护现有爬虫系统 岗位要求： 1、python语言熟练使用selenium、requests、flask、pymysql等组件，能使用Scrapy,Redis,Kafka之一； 2、熟知HTTP、TCP、Socket等底层知识，了解反爬原理； 3、熟练掌握正则表达式、XPath、HTML，CSS等网页信息抽取技术，熟悉web相关数据处理；

（一）岗位描述： 1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析 2、负责信息抽取、数据清洗等研发和优化工作 3、负责抓取数据的深度提取和挖掘 4、参与爬虫核心算法的策略优化研究，提升网页抓取的效率和质量。 （二）任职要求： 1、熟悉linux平台开发，精通Python/Java两种编程语言中的至少一种 2、精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息 3、熟悉Mysql，有过数据库调优和海量数据存储经验优先 4、具有搜索相关技术研发经验者优先

工作职责： 1. 根据要求使用Python完成软件的开发、测试、部署； 2. 现有Python软件系统的维护、性能优化、迭代更新。 职位要求： 1. 精通Python语言，熟悉PEP8编程规范； 2. 熟练掌握Selenium、Scrapy、XPath等组件，具备反爬策略分析经历； 3. 熟悉Ubuntu系统，有半年以上Ubuntu系统实践经验； 4. 熟悉MySQL/MongoDB等数据库； 5. 具备良好的团队合作精神、优秀的分析和解决问题的能力。

工作内容： 基于Python进行网站与APP的数据采集。 岗位要求： 1. 编程基础扎实，熟悉常见数据结构、算法、及面向对象设计； 2. 熟悉Mysql与Redis数据库； 3. 熟悉Scrapy、Selenium采集框架与aiohttp、xpath等技术； 4. 熟悉常见反爬手段，可进行JS逆向； 5. 具备日采集量至少在百万或千万以上的系统运营经验。

岗位职责: 1、负责App的逆向、脱壳、破解工作； 2、研究App类爬虫策略，解决账号被封，数据加密等问题； 3、负责App数据采集； 任职资格: 1、 本科及以上学历，计算机相关专业毕业； 2、熟悉APP攻防逆向，包括但不限于：逆向分析、协议破解、设备改机、虚拟多开等 3、2年以上app逆向经验，熟练掌握各种调试工具：Smali、Dedexer、Dexdump、Apktool、Dex2jar、IDA其中一种或多种； 熟悉Xposed, Frida等常用的hook框架使用； 4、熟悉Android底层运行机制，熟悉多线程模型编程、网络编程，熟悉HTTP、TCP/UDP协议； 5、 了解mysql，redis等数据库的使用。