工作职责: 1.负责爬虫服务架构设计、研发、爬虫效率的优化，完成数据采集、解析处理、入库及备份等数据日常工作； 2.负责爬虫核心技术研究、开发工作，对反爬虫屏蔽具有相应的应对策略； 任职资格: 1. 本科及以上学历，有2年及以上Python爬虫开发相关经验，理工科优先； 2. 有电商/供应链相关工作经验优先； 3. 熟练掌握python，熟悉mongoDB、redis等数据库，熟练使用linux操作系统； 4. 熟悉正则表达式、xpath等解析工具，了解前端html，css，js等相关知识。 5. 具备一定的js逆向基础。掌握常用爬虫框架(如 requests, scrapy等)，有处理反爬的经验； 6. 具有良好的团队协作精神，思维活跃、逻辑严谨。

岗位职责： 1. 根据研发任务诉求，完成数据的采集、清洗、整合、分析等工作； 2. 协助组织和调配相关数据，支持训练任务，并参与持续调优迭代； 任职要求： 1、统计/计算机/数学等相关专业，有一定的数理统计基础 2、熟悉爬虫和反爬相关技术，有数据采集、加工、分析、处理相关工作经验者优先 3、精通python，熟悉文本处理及统计分析相关技术。 4、良好的逻辑思维能力、较强的数据分析和问题解决能力。 5、工作认真细致、积极主动，有良好的执行力和高度的责任心 6、具备良好的学习能力，优秀的沟通协调能力及团队合作精神。

岗位职责： 1、负责公司社交工具、内容爬虫的开发与维护； 2、使用Go语言实现公司的相关产品； 3、通过单元测试、自动化以及代码审查等提升优化代码质量； 4、负责代码的重构和升级，保证代码的长期稳定性。 任职要求： 1、大专及以上学历，计算机相关专业； 2、熟悉不同的GOLANG组件或框架； 3、熟练掌握MySQL、mongodb、Redis，熟悉Linux者优先； 4、具备多线程理论知识，有多线程程序设计经验优先； 5、有良好的算法基础和清晰的编程思路，具备良好的团队合作精神； 6、有大型互联网后端服务器系统设计开发经验者优先； 7、有社交工具、内容爬虫相关经验者优先。

公司简介： 《消费者报道》杂志社创建于1998年，是中国内地率先采用商品和服务对比测评、研究商品评价体系的专业机构，多年来专注并坚持在市场消费现象、行业服务及消费维权方面进行深入的研究、分析和应用，持续向公众传播科学消费与责任消费的理念，目前已形成全媒体、研究中心、数据中心三位一体的调研架构，为政府部门、社会组织、企业和消费者提供全面、科学、权威的调研和资讯服务。这里很纯粹，就是做事的地方——我们热衷于解决问题。 正选数据中心是消费者报道旗下独立事业部。2018年起，团队吸收了来自广东省重点电子政务项目“粤省事”、“营商环境”的技术骨干，专注于研发面向各行业垂直领域的大数据、算法、应用软件产品，先后研发上线了产品质量监测与分析系统、企业信用风险模型管理系统、企业生产销售产品库等，在各领域已逐步实现常态化、主题化、智能化的数据应用场景。本次爬虫实习生岗位为正选数据中心招聘岗位。 正选数据官网：https://www.ccrdata.cn/ 岗位职责： 1、协助实现分布式网络数据采集系统的设计与开发； 2、协助实现数据采集策略和防屏蔽规则； 3、协助维护和优化已有数据采集服务； 4、协助实现数据采集服务核心算法的策略优化研究，充分利用资源，提升网页抓取的效率和质量。 5、完成上级交办的其他工作任务(简单数据采集任务、数据统计需求)。 任职要求： 1、大专以上学历，计算机软件相关专业，具有扎实的操作系统、网络、数据库相关基础知识； 2、了解python多进程、多线程、协程、网络编程，具有有实际应用经验； 3、熟悉Linux操作系统，熟练使用常用命令，掌握MySQL、MongDB、Redis常用操作； 4、了解网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术，从结构化的和非结构化的数据中获取信息； 5、熟悉Scrapy、Selenium等爬虫框架/工具中的一种或多种； 6、了解常用验证码识别技术，熟悉行为验证码识别、模拟登陆，熟悉各种反爬机制和解决措施； 7、有团队观念，善于学习提升。

1、负责数据采集，数据清洗等工作 2、负责公司通用爬虫管理系统中网站配置，系统维护升级等工作 任职要求： 1、24届毕业生，本科及以上学历，计算机、数学等相关专业； 2、熟悉Python编程，熟练掌握requests,scrapy等数据采集相关技术； 3、工作踏实上进，有良好的团队合作意识，沟通协助能力良好； 4、985/211优先考虑，一周出勤至少4天。

职位描述 1、参与爬虫项目的架构设计、研发工作，改进和提升爬虫效率，对反反爬虫技术难点攻坚； 2、设计爬虫策略及系统监控，提升抓取效率和稳定性，参与分布式爬虫和数据采集系统的架构设计和开发 3、解决各类技术疑难问题，以及日常维护工作 4、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗 岗位要求： 1、***本科及以上学历、计算机相关专业在校生； 2、熟悉Python-Scrapy、Selenium； 3、要有反爬经验，有滑块验证码经验者优先考虑； 4、对数据采集，浏览器原理等有经验者（尤其是对postgre sql或mysql有经验者 ）优先考虑； 5、具备很强的责任心和使命感，深信以数据来分析和优化业务、提供决策支持具有重要价值； 6、对数据敏感，工作细致，能在大量数据中发现规律和异常。

（该岗位为外包岗位，优秀者入职后可转为正式员工） 职责描述： 1、负责网络爬虫，数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据，为业务部门提供数据支持。 技能要求： 1、会JS补环境； 2、会训练及协议过国内主流厂家的滑块，图标/文字点选验证码； 3、会使用docker容器； 4、计算机相关专业本科以上学历； 5、熟练的编程能力，熟悉数据结构；熟悉计算机网络的基础理论； 6、熟练的Python编程基础，熟练使用scrapy或feapder等爬虫框架；熟悉分布式爬虫；熟悉XPath等常用页面解析技术； 7、熟悉puppeteer等自动化工具的使用； 8、熟悉postgresql，mongodb等关系型或非关系型数据库； 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑；

岗位职责： 1. 进行多平台（主要是视频类）信息的抓取和分析工作，实时监控爬虫的进度和警报反馈 2. 网页信息和APP数据抽取、清洗、消重等工作 任职资格： 1. 本科学历，计算机相关专业，2024年或者2025年毕业，可以实习半年以上； 2. 熟悉Python，有扎实的算法和数据结构能力 3. 熟悉爬虫原理，熟悉常见的反爬虫技术，熟悉常用开源爬虫框架（如 scrapy / pyspider等） 4. 掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术 5. 有数据处理、数据挖掘、信息提取等经验者优先 6. 沟通能力好，认真好学，有责任心

职位描述： 1、参与大型采集系统的架构设计和优化开发（爬虫方向） 2、解决大批量网站的通用性规则提取以及疑难站点的规则抽取问题 3、参与独立爬虫开发和后续数据处理 职位要求： 1、在校大学生，可以全职实习的优先 2、熟练使用 Python, scrapy, xpath,有pandas，numpy等数据处理经验的优先 3、有参与大型爬虫系统设计经验的优先

【岗位职责】 1、负责设计和开发网络爬虫应用，包括调度、抓取、入库等内容； 2、对抓取数据进行去重、分类、垃圾过滤、质量分析； 3、网络爬虫架构设计、功能开发及优化； 【任职要求】 1、计算机或相关专业本科以上学历； 2、熟悉搜索引擎和网络爬虫相关技术，能独立实施完成网络爬虫应用； 3、有丰富的应对反爬虫的经验，例如合理使用IP 池、验证码识别技术等； 4、优秀的执行力，面对挑战，能快速决策分析，调动资源集中突破； 5、善于总结，积极主动学习新技术，热爱爬虫工作，直面困难敢于承担责任，有较强的沟通的能力和理解能力，有较强的抗压能力。

---岗位职责--- 1.编写抓取互联网内容的爬虫； 2.研究各种网页、app接口，探寻特点和规律； ---任职要求--- 1.本科及以上计算机相关专业在校生，毕业前可实习6个月以上； 2.熟悉Python，掌握爬虫技术，熟悉scrapy框架、pyspider框架等，有爬虫系统开发实习经验者优先；

【职位描述】： * 针对复杂的网站架构主动获取相关数据信息； * 负责数据获取、清洗和分析工作。 【任职资格】： * 计算机科学、应用数学、统计学、商业分析、信息系统、数据科学或相关专业本科或以上学历； * 优秀的学习能力与发现、分析并解决问题的能力； * 良好的团队合作精神与沟通能力。 【技能要求】： * JAVA或Python基础扎实，有相关开发或者实习经验，熟悉IO、多线程/进程、MQ、数据结构与设计模式等; * 熟练Linux操作，熟练掌握HTTP协议，了解大型爬虫框架等； * 熟悉MySQL等关系型数据库，有NoSQL，Redis等工作经验者优先； * 熟悉各类反爬虫技术的突破点并有相关项目经验者优先； * 对JS混淆逆向、app逆向、自动化群控等技术有经验者优先； * 有过社媒平台爬取项目经验者优先； * 对计算机体系结构、分布式系统、协程和网络编程有深入了解。 【公司介绍】： -麦肯锡和华为惠普联合团队 • 由多位前麦肯锡合伙人以及华为惠普核心工程高管联合创立，打造精品管理咨询传承与科技创新品牌 • 同时拥有优质咨询项目资源、丰富咨询经验，及数字化赋能的精尖技术能力，建立从咨询建议到产品/解决方案的全面商业服务模式 • 约500位咨询顾问、数据科学家、软硬件工程师常驻北京上海和成都 -多行业多商业领域覆盖 •主要服务于企业客户，通过结合管理咨询、大数据分析、算法建模与工程落地的能力帮助企业客户实现业务增长 •行业覆盖消费品、零售、金融、互联网、医疗与媒体等 •与多行业领先企业深度合作，建立长期合作关系，如沃尔玛（获沃尔玛年度最佳供应商称号）、欧莱雅、联合利华、中国农业银行、腾讯、京东、美团等 -精尖的数据分析/算法/工程师团队 • 具备数据清洗与挖掘、算法模型和语义分析方面行业领先技术水平与能力 • 具备根据客户业务方向搭建中台/后台的工程技术能力与丰富的项目经验 • 具备广受行业认可的成熟产品（含已申请专利技术），帮助客户实现数据驱动的效率提升 -富有竞争力的职业发展与薪酬福利保障 •注重人才培养，提供定期培训分享及深度参与项目机会，加入团队的年轻小伙伴们再也不用担心自己沦为职场“小螺丝钉” •注重员工成长空间，每年二次全员review，半年即有机会享受升职加薪 •注重福利保障，包括：五险一金、全额理赔商业补充医保、超长带薪年假、超长带薪病假、书费报销、打车报销、无限量零食饮料畅吃、国内外团建旅游等

岗位职责 1. 负责scrapy爬虫项目的运维工作，以及数据的清洗提取工作。 2. 根据任务需求，开发网页端或App端的数据爬取工作。 3. 在保证质量的情况下可以成功交付数据。 4. 可以独立解决开发中碰到的问题，并具备良好的沟通能力。 岗位要求 1. 计算机科学，工程或相关学科本科及以上学历； 2. 熟悉Python；具有SQL和NoSQL技术的经验优先； 3. 熟悉网络抓取原理、HTTP协议，了解常见的反爬虫原理； 4. 熟练使用requests, Scrapy, BS4, xpath, regex等工具进行数据抓取； 5. 熟悉数据清洗，能够利用Pandas进行数据处理； 6. 了解版本控制工具(例如git), 数据库管理系统(Mysql)； 7. 英文熟练者优先; 8. 熟悉手机App端数据抓取优先; 9. 愿意学习和在短时间内掌握新的技能和方法；擅长团队合作。

职位描述： 1、参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、负责网页采集任务的分析及采集方案设计； 4、负责分布式爬虫策略持续优化。 任职要求： 1、熟悉Java、Python、Shell、R 等至少一门语言； 2、负责分析并采集网站数据，并按照要求对采集的数据进行整理； 3、具有较强的业务分析能力，较好的沟通表达和综合协调能力； 4、责任心强，有快速学习能力，对大数据方向感兴趣。 福利： 大数据行业 热门商圈 弹性工作 远程工作

此岗位不是全职，适合想拓宽收入渠道的技术 岗位职责：  1丶确认顾客的需求  2丶解决或者解答顾客的疑问和需求  岗位要求  1丶会python，数据库语言  2丶会Django，Flask等快速开发框架  3丶Pythoncharm等快速开发工具  4丶matlab，算法，图像时别，大数据，神经网络，爬虫或自动化测试  5丶能独自做各种小系统，如订餐管理系统丶自习室预定系统丶图书管理系统丶商品销售管理系统丶教学管理系统等  6丶会前端更佳  岗位亮点  线上远程/按需求结算薪资/对接方便，自主把控时间