1、负责爬取HTML页面所需数据，并对数据进行清洗、解析、归档、输出等； 2、负责设计和开发分布式的网络爬虫，数据的采集与爬取、调度、监控、自动化运行等； 3、负责实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取，反爬虫策略研究，验证码识别等采集支撑服务建设；  5、参与公司业务平台的数据的挖掘和分析，协助进行产品改进。 任职资格 1. 本科以上，计算机或相关专业毕业，扎实的Python基础，熟悉多线程编程环境，熟悉常见开源框架； 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术； 3、熟悉Scrapy、feapder等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验； 4、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究，如协议破解、模拟点击等；  5、熟悉代理IP池、Headers认证和Cookie等；

一、任职要求（并不表示部分条件未达到则一定不会聘用）： 1.熟练使用Python标准库和流行的第三方库，精通Python语言； 2.熟悉以下主流服务器端开源系统或者其中一部分：Redis/MongoDB/RabbitMQ/Memcache/Nginx； 3.熟悉JAVA或想转型Python者优先； 4.熟悉RESTful web service规范、熟悉面向对象的设计思想； 5.熟悉mysql的各种存储引擎，熟悉索引工作原理，有丰富的mysql性能优化经验； 6.重视Code Review，知道良好的编程习惯的标准，对代码和设计质量有严格要求； 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架，至少有其中一个的最佳实践或深入研究过其源码及机制； 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮； 2.收集用户信息；

一、任职要求（并不表示部分条件未达到则一定不会聘用）： 1.熟练使用Python标准库和流行的第三方库，精通Python语言； 2.熟悉以下主流服务器端开源系统或者其中一部分：Redis/MongoDB/RabbitMQ/Memcache/Nginx； 3.熟悉JAVA或想转型Python者优先； 4.熟悉RESTful web service规范、熟悉面向对象的设计思想； 5.熟悉mysql的各种存储引擎，熟悉索引工作原理，有丰富的mysql性能优化经验； 6.重视Code Review，知道良好的编程习惯的标准，对代码和设计质量有严格要求； 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架，至少有其中一个的最佳实践或深入研究过其源码及机制； 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮； 2.收集用户信息；

岗位职责： 1、负责产品数据的抓取，并动态监控网站； 2、负责数据抓取的性能优化； 3、负责数据的规范化分析和开发工作。 任职要求： 1、2年及以上数据爬虫相关工作经验优先； 2、熟悉Django、Flask、WebPy、Tornado等其中一种； 3、熟悉Mysql、Redis、Mongo等常

"1、负责网络爬虫系统的设计与开发工作； 2、负责多平台的信息抓取、解析等研发与优化工作； 3、负责抓取信息的深度提取与挖掘，对全量数据有深刻理解及方案; 4、负责抓取技术难点攻克 " "1、大专学历及以上，计算相关相关专业，有扎实的计算机基础知识和编程功底，3年及以上开发工作经验； 2、熟练网页抓取原理、技术及正则表达式，熟练从结构化和非结构化的数据中获取信息； 3、熟练使用python技术； 4、有较丰富的分布式爬虫系统开发经验，熟悉HTML、JavaScript等前端技术； 5、精通scrapy、scrapy-redis等开源框架，对scrapy-redis有深入了解; 6、熟练使用django、flask等后台服务框架 7、熟悉反爬虫、验证码识别技术者优先； 8、熟悉mq、kafka、docker、ES技术者优先； 9、熟练使用mysql、mongoDB等数据库"

岗位薪资open，欢迎沟通~ 职位描述： 1、遵循robots协议，爬取互联网上允许搜索爬虫采集的公开信息，参与爬虫系统的建设与优化，满足各类业务数据需求； 2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程； 3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能。 职位要求： 1、本科及以上学历，3年以上爬虫抓取采集相关工作经验； 2、熟悉主流爬取技术及爬虫框架工具； 3、具备扎实的编码能力； 4、熟悉常见反爬封禁策略，并具备相关的实战经验； 5、加分项：逆向、混淆、脱壳、分布式、数据分析、数据挖掘。

岗位职责： 1、负责分布式网络数据采集系统及数据库的设计与开发； 2、设计数据采集策略和防屏蔽规则，解决封账号、封IP、验证码等技术问题； 3、维护和优化已有数据采集服务； 4、负责数据采集服务核心算法的策略优化研究，充分利用资源，提升网页抓取的效率和质量。 6、与团队其他人员高效沟通合作完成团队目标； 7、完成上级交办的其他工作任务。 任职要求： 1、本科及以上学历，3年及以上工作经验，计算机软件相关专业，具有扎实的操作系统、网络、数据库相关基础知识； 2、熟练掌握python多进程、多线程、协程、网络编程； 3、熟悉Linux操作系统，熟练使用常用命令；熟练掌握MySQL、MongDB、Redis开发经验者优先； 4、精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术，从结构化的和非结构化的数据中获取信息；熟悉Scrapy、Pyppeteer、Selenium、playwright等爬虫框架/工具中的一种或多种； 5、了解常用验证码识别技术，熟悉行为验证码识别、模拟登陆，熟悉各种反爬机制和解决措施； 6、对经手的工作理解深入，有团队观念，具备独立解决问题的能力，善于学习提升。

职位描述： 在Mentor指导下，进行爬虫及反爬系统开发。 要求： 1、熟练的Python或C++编程能力 2、善于解决开放式问题（提供证明） 3、熟悉网络协议和操作系统基本原理（编码级别） 4、有爬虫相关系统开发经历（加分项） 5、有逆向工程能力或经历（加分项） 6、数理化生等基础专业的同学（加分项）

职位概述： 爬虫工程师负责开发和维护高效的网络爬虫程序，用于数据采集和信息抓取。他们需要具备人机对抗技术，以应对反爬虫机制，并负责设计和实施稳定的架构，确保爬取系统的可靠性和可扩展性。 工作职责： 1. 设计、开发和维护高性能的网络爬虫系统，用于数据采集和信息抓取。 2. 实施人机对抗技术，应对网站反爬虫机制，确保稳定的数据爬取。 3. 负责爬虫系统的架构设计和优化，确保可靠性、扩展性和安全性。 4. 进行数据清洗和预处理，以确保采集到的数据质量和一致性。 5. 与团队合作，制定和执行数据采集策略，并解决可能出现的问题。 6. 跟踪和了解最新的反爬虫技术和趋势，持续优化爬虫系统。 7. 编写技术文档和报告，记录爬虫系统的设计和实施细节。 任职资格： 1. 计算机科学、信息技术或相关领域的学士或硕士学位。 2. 在网络爬虫开发和数据采集方面有5年以上的工作经验。 3. 精通常用的编程语言和技术，如Python、Scrapy、Selenium等。 4. 具备人机对抗和反爬虫经验，熟悉常见的反爬虫机制和对抗方法。 5. 具备优秀的数据分析能力和问题解决能力。 6. 对网络安全和隐私保护有基本的了解和意识。 7. 良好的团队合作精神和沟通能力。

岗位职责: 1、负责App的逆向、脱壳、破解工作； 2、研究App类爬虫策略，解决账号被封，数据加密等问题； 3、负责App数据采集； 任职资格: 1、 本科及以上学历，计算机相关专业毕业； 2、熟悉APP攻防逆向，包括但不限于：逆向分析、协议破解、设备改机、虚拟多开等 3、2年以上app逆向经验，熟练掌握各种调试工具：Smali、Dedexer、Dexdump、Apktool、Dex2jar、IDA其中一种或多种； 熟悉Xposed, Frida等常用的hook框架使用； 4、熟悉Android底层运行机制，熟悉多线程模型编程、网络编程，熟悉HTTP、TCP/UDP协议； 5、 了解mysql，redis等数据库的使用。

职位描述： 1、负责网络爬虫系统的设计与开发； 2、负责和业务沟通抓取需求，满足业务的发展需要； 3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作； 任职要求： 1、计算机相关专业本科及以上学历； 2、精通网页抓取原理及技术、正则表达式、动态数据抓取、防屏蔽等关键技术； 3、Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis 4、具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题/解决问题。

负责： 负责设计和开发分布式网络爬虫系统scrapy-redis，提取分析各种国内外千形万态的平台页面内容； 研究各种网站、链接、APP的形态，发现它们的特点和规律； 解决技术疑难问题，包括反爬、压力控制等，提升网页抓取的效率和质量； 要求： 精通python、计算机网络，熟练使用多线程，熟悉Scrapy等常用爬虫框架； 熟悉Linux操作、正则表达式，MongoDB、Redis、MySQL等常用数据库，了解各种Web前端技术； 能够解决封账号、封IP、验证码识别、图像识别等问题；

岗位职责： 1、负责公司的爬虫核心技术研究，爬虫框架架构，策略优化； 2、根据业务需求，实现大规模文本、图片、视频数据抓取、清洗、存储等工作； 3、对数据质量负责，提供数据分析报告，优化数据应用架构，支持产品研发。 任职要求： 1、计算机、数学或统计等相关专业，3年以上数据相关工作经验； 2、熟悉linux平台，掌握Python/Java/PHP或某种编程语言； 3、熟悉主流爬虫框架以及对爬虫分布式有相关研究； 4、熟悉基于正则表达式、CSS、http协议、ml等的网页信息抽取技术； 5、具有钻研精神，对数据驱动业务有深入理解，对数据与业务方面有足够的敏感性，独立思考能力和逻辑分析能力强。 我司已在公安局备案：网络安全公司。经营地址位于天府怡兴湖对面，电子科技大学成都研究院，可乘坐地铁5号线南湖站下，A口出。

对部分咨询网站进行测试，会scrapy，js逆向以及图像验证

岗位职责： 1、负责多平台信息爬取，负责破解各类反爬机制； 2、负责APP的数据抓取和爬取链路优化(包括APP反编译、逆向分析、脱壳、加密参数破解、抓取攻防等)，提升抓取能力； 3、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量； 岗位要求： 1、2年以上python爬虫经验，本科以上学历，计算机相关专业； 2、熟悉掌握至少一种开源爬虫框架(scrapy、appium、selenium)； 3、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术，熟悉使用fiddler或其他抓包工具； 4、具有js逆向，app逆向相关经验。熟悉js hook原理，熟悉各种反爬常见手段，并能够通过多种应对策略(如代理池、模拟登录、验证码处理、浏览器渲染等)来保证数据的持续交付； 5、具有团队合作精神，有责任感，对工作认真负责，具有较强的学习能力和抗压能力。页面跳转等难点，提升网页抓取的效率和质量；