■岗位职责 负责爬虫软件设计开发及系统维护工作； 根据业务需求完成数据采集与爬取、解析处理、入库及备份数据日常工作； 负责信息抽取、数据清洗等研发和优化工作，对数据结果进行解释和汇报，向相关部门提供数据分析技术支持； 负责python相关系统的开发、维护和优化。 ■岗位条件 （1）学历：普通高招大学本科及以上学历。 （2）年龄：原则上本科生不超过28周岁，硕士研究生不超过30岁，博士研究生不超过32岁，特别优秀者可适当放宽。 （3）专业：计算机科学与技术、软件工程、网络工程、信息与计算科学、信息安全、电子与计算机工程、信息与通信工程、网络空间安全、数据科学与大数据技术、人工智能等相关专业。 （4）基础能力： 熟练掌握Python编程语言及其主流框架和第三方库； 熟练使用爬虫相关技术，如scrapy、pyspider、appium、puppeteer等； 掌握Pyhton的Web框架Django、Flask等，并且有使用过其中一个框架开发； 具有扎实的数据结构和算法基础，深入理解面向对象编程思想及常用设计模式； 熟悉缓存、多线程、消息队列等相关技术； 具备较高的编程素养、良好的编码习惯。 （5）放宽及优先条件： 具有符合本岗位特殊才能的，学历和年龄可适当放宽； 具有互联网政务服务相关工作经验，或具有“大厂”工作经验者，学历和年龄可适当放宽，并优先考虑； 具有算法开发相关经验的优先； 具有Js逆向经验、App数据抓取经验者优先； 其他符合放宽或优先条件的。

职位职责： 日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 1、了解机器人流程自动化或爬虫抓取采集相关工作经验； 2、了解主流机器人流程自动化及爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等； 3、熟悉Python语言，具备算法和数据结构能力； 4、熟练使用办公软件，精通Excel常用函数，具备基础数据分析处理能力； 5、优秀的分析、沟通、思考能力，良好的团队合作能力。 职位要求： 1、2025届及以后毕业，本科及以上学历在读，财务管理或计算机相关专业计算机相关专业优先； 2、学习能力强，工作积极主动，有责任心。

分析师助理实习生 【岗位职责】 1、行业研究：协助收集、整理和研究行业及相关投资领域的最新动态，为投资决策提供支持； 2、投资分析：协助进行投资标的的背景调查（DD）、数据分析及市场研究，评估投资可行性； 3、项目挖掘：协助识别和筛选一二级市场的优质投资机会，进行市场调研和可行性分析； 4、投研产出：具备一定的研究分析能力，能撰写行业研究报告、市场动态分析和投资机会评估报告； 5、数据支持：运用数据分析方法，协助为投资团队提供市场趋势研判和决策支持。 【岗位要求】 1、语言能力：英语能作为工作语言，具备良好的英语沟通和写作能力（CET-6 或雅思 6.0 及以上）； 2、教育背景：理工科背景的应届毕业生优先，金融、计算机、数学、物理、区块链相关专业尤佳； 3、技术能力：熟练掌握至少 两种 主流编程语言（Python、Java、Rust、Solidity、Move等），具备一定的数据分析和处理能力； 4、分析能力：具备较强的信息挖掘能力及数据归纳分析能力，能够基于行业数据提供有价值的投资见解； 5、行业认知：对区块链行业有浓厚兴趣，能够快速学习并掌握行业新趋势； 6、适应能力：学习能力强，善于独立思考，并能在快节奏的工作环境中高效执行任务； 7、办公方式：线下办公，Base 上海。 【优先考虑条件】 1、有区块链行业相关经验（如研究、投资交易、数据分析等）； 2、具备一定的金融分析能力，熟悉一级或二级市场投资逻辑； 3、有数据建模、数据挖掘或爬虫经验，能够进行市场数据分析及处理； 4、有较分析师助理实习生 【岗位职责】 1、行业研究：协助收集、整理和研究行业及相关投资领域的最新动态，为投资决策提供支持； 2、投资分析：协助进行投资标的的背景调查（DD）、数据分析及市场研究，评估投资可行性； 3、项目挖掘：协助识别和筛选一二级市场的优质投资机会，进行市场调研和可行性分析； 4、投研产出：具备一定的研究分析能力，能撰写行业研究报告、市场动态分析和投资机会评估报告； 5、数据支持：运用数据分析方法，协助为投资团队提供市场趋势研判和决策支持。 【岗位要求】 1、语言能力：英语能作为工作语言，具备良好的英语沟通和写作能力（CET-6 或雅思 6.0 及以上）； 2、教育背景：理工科背景的应届毕业生优先，金融、计算机、数学、物理、区块链相关专业尤佳； 3、技术能力：熟练掌握至少 两种 主流编程语言（Python、Java、Rust、Solidity、Move等），具备一定的数据分析和处理能力； 4、分析能力：具备较强的信息挖掘能力及数据归纳分析能力，能够基于行业数据提供有价值的投资见解； 5、行业认知：对区块链行业有浓厚兴趣，能够快速学习并掌握行业新趋势； 6、适应能力：学习能力强，善于独立思考，并能在快节奏的工作环境中高效执行任务； 7、办公方式：线下办公，Base 上海。 【优先考虑条件】 1、有区块链行业相关经验（如研究、投资交易、数据分析等）； 2、具备一定的金融分析能力，熟悉一级或二级市场投资逻辑； 3、有数据建模、数据挖掘或爬虫经验，能够进行市场数据分析及处理； 4、有较强的报告撰写能力，能够独立完成行业研究和投资分析报告。 【薪资待遇】 1、根据个人能力和经验评估，具体****； 2、提供良好的职业发展机会，接触区块链前沿投资领域。强的报告撰写能力，能够独立完成行业研究和投资分析报告。 【薪资待遇】 1、根据个人能力和经验评估，具体****； 2、提供良好的职业发展机会，接触区块链前沿投资领域。

你可算来了 我们需要你： 1.画你喜欢、我们喜欢、客户喜欢的画； 2.我们的客户不油腻，皆为互联网企业（腾讯、B站、oppo、vivo等），我们期待你能够输出自己的见解和想法，大胆提出不一样的思路和建议，并且将其落地执行； 3.快速准确理解客户需求，并根据自己的理解和思考构建画面，独立&团队协作完成项目； 4.2024年我们期待能够与更多优秀的插画师一起共事，共同成长。 我们希望你： 1.实力够硬，有自己擅长的画风领域，且能兼顾多种不同风格的绘画，高效率高质量的完成工作； 2.对于画面创意有自己独特的视角和理解，能够根据需求快速输出多种创意方案； 3.具备良好的沟通能力，善于对设计&绘画的表达，具备良好的团队合作精神； 4.对项目有责任心，有主人翁意识，确保自己经手的项目对的起自己的专业能力； 5.身体强壮，骨骼惊奇，具备较强的抗压能力； 6.对行业趋势和咨询保持敏感，熟悉AI工具的使用，时刻保持学习的心态引导自己不断突破； 7.投递简历的同时请附上作品（pdf格式）或链接地址，能认真看到这里再投简历的都是好孩子。 公司福利： 1.公司正经，五险一金也正经 2.护照得有，年度团建，紧张之余放松身心 3.尽可能保证你有充足的睡眠，弹性工作，不打卡 4.加班到深夜独自回家不安全，打车吧，公司报销 5.周末加班调休 6.每年一次升职加薪的机会确保收入与能力成正比 7.年底年终奖，回家开心过年 8.不定期组织下午茶、聚餐，奶茶团 9.宠物友好，可带宠物上班（爬虫猛兽非常人能撸的请谨慎）公司有招财猫一只，欢迎来撸 10.能认真看到这里的，应聘成功率增加25%

职位描述： 1、参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、负责网页采集任务的分析及采集方案设计； 4、负责分布式爬虫策略持续优化。 任职要求： 1、熟悉Java、Python、Shell、R 等至少一门语言； 2、负责分析并采集网站数据，并按照要求对采集的数据进行整理； 3、具有较强的业务分析能力，较好的沟通表达和综合协调能力； 4、责任心强，有快速学习能力，对大数据方向感兴趣。 福利： 大数据行业 热门商圈 弹性工作 远程工作

**岗位职责：** 1. 参与公司数据采集系统的设计与开发，负责网页/APP数据的爬取、清洗和存储。 2. 根据业务需求，编写高效、稳定的爬虫程序，解决反爬机制（如验证码、IP封禁等）。 3. 维护和优化现有爬虫系统，提升爬取效率及数据质量。 4. 协助团队完成数据分析和处理任务，支持业务部门的数据需求。 **必备技能：** 1. 至少掌握python或java其中一种语言开发。 2. 掌握HTTP/HTTPS协议、HTML/DOM结构、XPath/正则表达式等数据提取技术。 3. 了解JavaScript的使用 4. 了解安卓开发流程 5. 了解常见反爬策略（如User-Agent、代理IP、Cookie等）及应对方案。 6. 熟悉数据库（MySQL/MongoDB/Redis等）的基本操作。 7. 具备良好的逻辑思维能力和学习能力，能独立解决问题。 **加分项：** 1. 有过逆向复杂加密的经验 2. 了解市面上主流的风控对抗 3. 有数据清洗、ETL或数据分析经验。 4. 了解其他领域的开发，包括但不限于安卓开发，漏洞挖掘，区块链开发，黑白盒测试等。

岗位职责： 1.负责电商平台（包括网站和APP）的数据采集，制定高效、稳定的爬取方案，并确保数据完整性和时效性； 2.研究并绕过电商平台的反爬机制，包括验证码识别、IP封锁、JS混淆、动态加载等，提升爬虫的稳定性和成功率； 3.进行APP逆向分析，利用反编译、静态分析、Hook等技术破解数据加密、API接口加密等防护措施； 4.设计、开发和优化爬虫架构，提高数据抓取效率，优化爬虫并发、任务调度、代理池、分布式爬取等模块； 5.使用AI爬虫技术（如自动化识别网页结构、智能解析动态内容等）优化数据获取流程； 6.研究HTTP、TCP等网络协议，进行数据抓包和分析，构建高效的抓取策略； 7.编写清晰的技术文档，记录逆向工程的过程、反爬破解策略及优化方案； 8.持续关注行业发展趋势，优化爬虫系统，并结合AI技术提升数据采集的自动化和智能化程度。 任职要求： 1.本科及以上学历，计算机科学、软件工程、网络安全等相关专业，3年以上爬虫开发经验； 2.熟练掌握Python爬虫开发，精通Scrapy、Selenium、Playwright、Requests等爬虫框架和工具； 3.熟悉HTTP、TCP等网络协议，具备抓包分析能力，掌握Burp Suite、Wireshark等工具； 4.深入理解反爬技术，具备丰富的应对经验，包括但不限于代理IP池、浏览器指纹模拟、验证码识别（OCR、打码平台）、动态加载解析等； 5.具备APP逆向工程经验，熟悉APK反编译、静态分析、动态调试（Frida、Xposed等），能绕过API加密、代码混淆等安全策略； 6.了解ARM指令集，有反汇编、调试能力，能处理花指令、代码混淆等复杂场景； 7.近一年内，有百万级以上电商数据采集经验，有主流电商平台或电商类APP爬取项目经验者优先； 8.具备优秀的代码编写能力、良好的工程化思维和团队协作能力，能够编写高效、可维护的爬虫代码。 加分项： 有电商平台（如Amazon、shopee、Rakuten、Lazada等）爬虫经验者优先； 有大型分布式爬虫架构经验，熟悉Redis、Kafka、RabbitMQ等任务队列调度机制； 具备AI爬虫经验，熟悉自动化网页解析、深度学习OCR识别等技术； 了解MLOps、大数据存储、数据清洗技术，能与数据工程师协同优化数据处理流程。

任职要求： 1. 本科及以上学历 2. 有Python爬虫相关经验，有web端JS逆向经验，熟练使用Scrapy框架 3. 熟悉HTML、XPath、正则表达式、AJAX、HTTP协议等 4. 熟悉MySQL、NoSQL等，了解Git版本管理工具 5. 熟悉分布式爬虫以及各种抓包工具 6. 熟悉消息队列，如rabbitmq，kafka等 加分项： 1. 有GUI工具pyqt开发经验 2. 有app逆向开发经验，熟悉ast,frida,objection，能够独立逆向小程序，app等 3. 有爬虫平台相关开发经验，如xxljob等

工作职责： 1、独立负责网络爬虫系统的设计与开发； 2、负责和业务沟通抓取需求，满足业务的发展需要； 3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作； 任职要求： 1. 计算机或相关专业，本科及以上学历； 2. 熟悉软件工程，熟悉常用数据结构和算法； 3. 熟悉Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis 4. 熟悉Linux操作系统以及shell脚本； 5. 熟悉HTML，JavaScript，xpath，css selector，熟悉HTTP协议； 6. 英语水平达到CET6或以上； 7. 工作细心，认真负责，具备较强的学习能力； 8.了解Git版本管理工具。

岗位JD如下: 职位名称:爬虫实习生 公司名称:XX公司 职位描述: 作为我们的爬虫实习生,你将有机会参与我们的数据采集和爬取工作,帮助我们的团队获取和处理数据。你将负责使用Scrapy和XPath等工具,编写爬虫程序,并对提取的数据进行处理和存储。此外,你还将学习使用JavaScript进行逆向分析,以提高数据处理的效率和准确性。 职位要求: 1. 具备计算机科学专业背景,对数据结构和算法有基本的了解。 2. 熟悉Scrapy和XPath等爬虫框架,能编写爬虫程序,并对提取的数据进行处理和存储。 3. 熟练掌握JavaScript编程语言,具备逆向分析技能。 4. 具备良好的团队合作能力和沟通能力,能够与团队其他成员有效地合作。 5. 具备基本的网络知识,了解HTTP协议、HTTPS协议等。 工作内容: 1. 使用Scrapy和XPath等爬虫框架,编写爬虫程序,并对提取的数据进行处理和存储。 2. 使用JavaScript进行逆向分析,提高数据处理的效率和准确性。 3. 参与数据仓库的设计和开发,熟悉SQL语言。 4. 参与项目开发,了解前后端开发流程,并能与开发人员进行沟通和协作。 5. 完成团队交办的其他任务。 岗位福利: 1. 具有竞争力的薪资待遇,享受带薪年假、节日福利等。 2. 提供良好的工作氛围和发展空间,定期组织团队建设活动。 3. 提供必要的培训和技能提升机会,包括 buting基础培训、算法基础培训、数据结构与算法培训等。

工作内容： 1、通过编写新的爬虫脚本、通过修复已有爬虫脚本对网站数据进行爬取采集 2、对爬取的速度、质量负责。 3、对爬取回来的数据进行清洗（去重、缺失值、空值、乱码异常值等处理），并且进行数据存储 工作要求： 1、会使用爬虫、能独立编写爬虫脚本爬取数据 2、能够解决爬取数据过程中的反爬机制（JS逆向、验证码、封IP等） 3、能够处理千万级以上数据，保证处理存储的有效性（速度+质量） 4、能接受应届生、勤奋好学、吃苦耐劳

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验

公司简介： 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干，工程师远程办公，自由承接项目，薪资范围约为时薪200元，日薪600元，周薪4000元，月薪10000-20000元，具体与承接的项目有关。 招聘需求： 爬虫工程师 岗位职责：采集客户指定的网页/app/小程序/公众号等公开可见数据，编写客户指定的采集程序、源代码。 岗位要求：熟悉常见反爬封禁策略，并具备相关的实战经验，具有js逆向、app逆向、混淆、脱壳等应对能力。

（该岗位为外包岗位，优秀者入职后可转为正式员工） 职责描述： 1、负责网络爬虫，数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据，为业务部门提供数据支持。 技能要求： 1、会JS补环境； 2、会训练及协议过国内主流厂家的滑块，图标/文字点选验证码； 3、会使用docker容器； 4、计算机相关专业本科以上学历； 5、熟练的编程能力，熟悉数据结构；熟悉计算机网络的基础理论； 6、熟练的Python编程基础，熟练使用scrapy或feapder等爬虫框架；熟悉分布式爬虫；熟悉XPath等常用页面解析技术； 7、熟悉puppeteer等自动化工具的使用； 8、熟悉postgresql，mongodb等关系型或非关系型数据库； 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑；

*该岗位仅向24届本/硕学生开放，需进行线下面试 【主要职责】 1、使用Python、Java等开发语言，编写爬虫程序，对指定的多个网站进行网页抓取、数据提取； 2、负责网页信息抽取、数据清洗、入库、服务化等研发和优化工作； 3、参与开发和设计分布式网络爬虫系统，进行多平台信息的抓取和分析工作； 4、负责线上问题维护及性能调优。 【职位要求】 1、专科或以上学历，计算机、数据科学等相关专业； 2、熟练掌握Python/Java等一到两种开发语言； 3、熟练掌握MySQL数据库设计和开发经验，掌握一定的NOSQL数据库开发经验，诸如MongoDB，Hbase等数据库； 4、具备良好的编程习惯和团队协作能力； 5、具有强烈的责任心和团队合作精神； 6、有APP逆向、拦截分析、JS解密等经验者加分。 福利待遇： 1、工作时间9:00-18:00，午休12:00-13:00，双休，享受法定节假日； 2、实习期间将有专业的导师进行指导，连续实习三个月及以上可提供实习证明； 3、可能转正为正式员工，享受公司福利待遇。