■岗位职责 负责爬虫软件设计开发及系统维护工作； 根据业务需求完成数据采集与爬取、解析处理、入库及备份数据日常工作； 负责信息抽取、数据清洗等研发和优化工作，对数据结果进行解释和汇报，向相关部门提供数据分析技术支持； 负责python相关系统的开发、维护和优化。 ■岗位条件 （1）学历：普通高招大学本科及以上学历。 （2）年龄：原则上本科生不超过28周岁，硕士研究生不超过30岁，博士研究生不超过32岁，特别优秀者可适当放宽。 （3）专业：计算机科学与技术、软件工程、网络工程、信息与计算科学、信息安全、电子与计算机工程、信息与通信工程、网络空间安全、数据科学与大数据技术、人工智能等相关专业。 （4）基础能力： 熟练掌握Python编程语言及其主流框架和第三方库； 熟练使用爬虫相关技术，如scrapy、pyspider、appium、puppeteer等； 掌握Pyhton的Web框架Django、Flask等，并且有使用过其中一个框架开发； 具有扎实的数据结构和算法基础，深入理解面向对象编程思想及常用设计模式； 熟悉缓存、多线程、消息队列等相关技术； 具备较高的编程素养、良好的编码习惯。 （5）放宽及优先条件： 具有符合本岗位特殊才能的，学历和年龄可适当放宽； 具有互联网政务服务相关工作经验，或具有“大厂”工作经验者，学历和年龄可适当放宽，并优先考虑； 具有算法开发相关经验的优先； 具有Js逆向经验、App数据抓取经验者优先； 其他符合放宽或优先条件的。

岗位职责： 1、负责数据的采集与爬取、解析处理、入库等数据日常工作； 2、参与爬虫系统的数据抓取架构设计与开发 3、设计爬取、调度和抽取算法，优化系统 岗位要求: 1、熟练掌握python语言，有使用python写过爬虫经验者更佳； 2、了解scrapy或其他爬虫框架，熟悉网页抓取原理； 3、熟悉正则表达式、xpath（或Beautiful Soup4），能够从结构化和非结构化的数据中获取信息； 4、熟悉Linux，熟悉至少一种主流数据库，如Mysql、MongoDB、redis等； 5、良好的沟通和团队合作能力，主动的学习意愿和良好的学习习惯，认真负责的工作态度； 6、有强大的抗压能力及独立快速解决问题的能力。

岗位职责： 1. 负责公司数据采集系统的设计与开发，实现高效、稳定的数据爬取； 2. 根据业务需求，制定数据抓取策略，优化爬虫算法，提高数据抓取速度和准确性； 3. 负责数据清洗、去重、存储等后端处理工作，确保数据质量； 4. 跟踪分析爬虫技术的发展趋势，对现有系统进行优化升级； 5. 与其他团队密切配合，完成数据挖掘、分析等相关工作； 6. 遵守相关法律法规，确保数据采集的合规性。 岗位要求： 1. 计算机相关专业本科及以上学历，2年以上爬虫相关工作经验； 2. 熟练掌握Python、Java、C++等至少一种编程语言，具备良好的编程基础； 3. 熟悉主流的爬虫框架，如Scrapy、requests等； 4. 熟悉Web前端技术，如HTML、CSS、JavaScript等； 5. 熟悉数据库技术，如MySQL、MongoDB等； 6. 熟悉Linux操作系统，能熟练使用shell脚本； 7. 具备良好的数据结构和算法基础，能独立解决复杂问题； 8. 具备良好的沟通能力和团队协作精神，能承受工作压力； 9. 有以下经验者优先： - 有大规模分布式爬虫开发经验； - 熟悉反爬虫技术，能应对网站反爬措施； - 熟悉大数据处理技术，如Hadoop、Spark等。 薪资待遇： 1. 薪资范围：面议，根据个人能力及经验水平； 2. 享有五险一金、年终奖、项目奖金等； 3. 提供完善的职业发展路径和晋升机会； 4. 提供良好的工作环境和发展空间。 联系方式： 有意者请将个人简历发送至：[邮箱地址]，邮件主题请注明“爬虫工程师+姓名”。我们会尽快回复您的邮件，谢谢！

**岗位职责：** 1. 参与公司数据采集系统的设计与开发，负责网页/APP数据的爬取、清洗和存储。 2. 根据业务需求，编写高效、稳定的爬虫程序，解决反爬机制（如验证码、IP封禁等）。 3. 维护和优化现有爬虫系统，提升爬取效率及数据质量。 4. 协助团队完成数据分析和处理任务，支持业务部门的数据需求。 **必备技能：** 1. 至少掌握python或java其中一种语言开发。 2. 掌握HTTP/HTTPS协议、HTML/DOM结构、XPath/正则表达式等数据提取技术。 3. 了解JavaScript的使用 4. 了解安卓开发流程 5. 了解常见反爬策略（如User-Agent、代理IP、Cookie等）及应对方案。 6. 熟悉数据库（MySQL/MongoDB/Redis等）的基本操作。 7. 具备良好的逻辑思维能力和学习能力，能独立解决问题。 **加分项：** 1. 有过逆向复杂加密的经验 2. 了解市面上主流的风控对抗 3. 有数据清洗、ETL或数据分析经验。 4. 了解其他领域的开发，包括但不限于安卓开发，漏洞挖掘，区块链开发，黑白盒测试等。

岗位职责： 1.负责电商平台（包括网站和APP）的数据采集，制定高效、稳定的爬取方案，并确保数据完整性和时效性； 2.研究并绕过电商平台的反爬机制，包括验证码识别、IP封锁、JS混淆、动态加载等，提升爬虫的稳定性和成功率； 3.进行APP逆向分析，利用反编译、静态分析、Hook等技术破解数据加密、API接口加密等防护措施； 4.设计、开发和优化爬虫架构，提高数据抓取效率，优化爬虫并发、任务调度、代理池、分布式爬取等模块； 5.使用AI爬虫技术（如自动化识别网页结构、智能解析动态内容等）优化数据获取流程； 6.研究HTTP、TCP等网络协议，进行数据抓包和分析，构建高效的抓取策略； 7.编写清晰的技术文档，记录逆向工程的过程、反爬破解策略及优化方案； 8.持续关注行业发展趋势，优化爬虫系统，并结合AI技术提升数据采集的自动化和智能化程度。 任职要求： 1.本科及以上学历，计算机科学、软件工程、网络安全等相关专业，3年以上爬虫开发经验； 2.熟练掌握Python爬虫开发，精通Scrapy、Selenium、Playwright、Requests等爬虫框架和工具； 3.熟悉HTTP、TCP等网络协议，具备抓包分析能力，掌握Burp Suite、Wireshark等工具； 4.深入理解反爬技术，具备丰富的应对经验，包括但不限于代理IP池、浏览器指纹模拟、验证码识别（OCR、打码平台）、动态加载解析等； 5.具备APP逆向工程经验，熟悉APK反编译、静态分析、动态调试（Frida、Xposed等），能绕过API加密、代码混淆等安全策略； 6.了解ARM指令集，有反汇编、调试能力，能处理花指令、代码混淆等复杂场景； 7.近一年内，有百万级以上电商数据采集经验，有主流电商平台或电商类APP爬取项目经验者优先； 8.具备优秀的代码编写能力、良好的工程化思维和团队协作能力，能够编写高效、可维护的爬虫代码。 加分项： 有电商平台（如Amazon、shopee、Rakuten、Lazada等）爬虫经验者优先； 有大型分布式爬虫架构经验，熟悉Redis、Kafka、RabbitMQ等任务队列调度机制； 具备AI爬虫经验，熟悉自动化网页解析、深度学习OCR识别等技术； 了解MLOps、大数据存储、数据清洗技术，能与数据工程师协同优化数据处理流程。

任职要求： 1. 本科及以上学历 2. 有Python爬虫相关经验，有web端JS逆向经验，熟练使用Scrapy框架 3. 熟悉HTML、XPath、正则表达式、AJAX、HTTP协议等 4. 熟悉MySQL、NoSQL等，了解Git版本管理工具 5. 熟悉分布式爬虫以及各种抓包工具 6. 熟悉消息队列，如rabbitmq，kafka等 加分项： 1. 有GUI工具pyqt开发经验 2. 有app逆向开发经验，熟悉ast,frida,objection，能够独立逆向小程序，app等 3. 有爬虫平台相关开发经验，如xxljob等

工作职责： 1、独立负责网络爬虫系统的设计与开发； 2、负责和业务沟通抓取需求，满足业务的发展需要； 3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作； 任职要求： 1. 计算机或相关专业，本科及以上学历； 2. 熟悉软件工程，熟悉常用数据结构和算法； 3. 熟悉Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis 4. 熟悉Linux操作系统以及shell脚本； 5. 熟悉HTML，JavaScript，xpath，css selector，熟悉HTTP协议； 6. 英语水平达到CET6或以上； 7. 工作细心，认真负责，具备较强的学习能力； 8.了解Git版本管理工具。

岗位JD如下: 职位名称:爬虫实习生 公司名称:XX公司 职位描述: 作为我们的爬虫实习生,你将有机会参与我们的数据采集和爬取工作,帮助我们的团队获取和处理数据。你将负责使用Scrapy和XPath等工具,编写爬虫程序,并对提取的数据进行处理和存储。此外,你还将学习使用JavaScript进行逆向分析,以提高数据处理的效率和准确性。 职位要求: 1. 具备计算机科学专业背景,对数据结构和算法有基本的了解。 2. 熟悉Scrapy和XPath等爬虫框架,能编写爬虫程序,并对提取的数据进行处理和存储。 3. 熟练掌握JavaScript编程语言,具备逆向分析技能。 4. 具备良好的团队合作能力和沟通能力,能够与团队其他成员有效地合作。 5. 具备基本的网络知识,了解HTTP协议、HTTPS协议等。 工作内容: 1. 使用Scrapy和XPath等爬虫框架,编写爬虫程序,并对提取的数据进行处理和存储。 2. 使用JavaScript进行逆向分析,提高数据处理的效率和准确性。 3. 参与数据仓库的设计和开发,熟悉SQL语言。 4. 参与项目开发,了解前后端开发流程,并能与开发人员进行沟通和协作。 5. 完成团队交办的其他任务。 岗位福利: 1. 具有竞争力的薪资待遇,享受带薪年假、节日福利等。 2. 提供良好的工作氛围和发展空间,定期组织团队建设活动。 3. 提供必要的培训和技能提升机会,包括 buting基础培训、算法基础培训、数据结构与算法培训等。

工作内容： 1、通过编写新的爬虫脚本、通过修复已有爬虫脚本对网站数据进行爬取采集 2、对爬取的速度、质量负责。 3、对爬取回来的数据进行清洗（去重、缺失值、空值、乱码异常值等处理），并且进行数据存储 工作要求： 1、会使用爬虫、能独立编写爬虫脚本爬取数据 2、能够解决爬取数据过程中的反爬机制（JS逆向、验证码、封IP等） 3、能够处理千万级以上数据，保证处理存储的有效性（速度+质量） 4、能接受应届生、勤奋好学、吃苦耐劳

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验

公司简介： 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干，工程师远程办公，自由承接项目，薪资范围约为时薪200元，日薪600元，周薪4000元，月薪10000-20000元，具体与承接的项目有关。 招聘需求： 爬虫工程师 岗位职责：采集客户指定的网页/app/小程序/公众号等公开可见数据，编写客户指定的采集程序、源代码。 岗位要求：熟悉常见反爬封禁策略，并具备相关的实战经验，具有js逆向、app逆向、混淆、脱壳等应对能力。

（该岗位为外包岗位，优秀者入职后可转为正式员工） 职责描述： 1、负责网络爬虫，数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据，为业务部门提供数据支持。 技能要求： 1、会JS补环境； 2、会训练及协议过国内主流厂家的滑块，图标/文字点选验证码； 3、会使用docker容器； 4、计算机相关专业本科以上学历； 5、熟练的编程能力，熟悉数据结构；熟悉计算机网络的基础理论； 6、熟练的Python编程基础，熟练使用scrapy或feapder等爬虫框架；熟悉分布式爬虫；熟悉XPath等常用页面解析技术； 7、熟悉puppeteer等自动化工具的使用； 8、熟悉postgresql，mongodb等关系型或非关系型数据库； 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑；

*该岗位仅向24届本/硕学生开放，需进行线下面试 【主要职责】 1、使用Python、Java等开发语言，编写爬虫程序，对指定的多个网站进行网页抓取、数据提取； 2、负责网页信息抽取、数据清洗、入库、服务化等研发和优化工作； 3、参与开发和设计分布式网络爬虫系统，进行多平台信息的抓取和分析工作； 4、负责线上问题维护及性能调优。 【职位要求】 1、专科或以上学历，计算机、数据科学等相关专业； 2、熟练掌握Python/Java等一到两种开发语言； 3、熟练掌握MySQL数据库设计和开发经验，掌握一定的NOSQL数据库开发经验，诸如MongoDB，Hbase等数据库； 4、具备良好的编程习惯和团队协作能力； 5、具有强烈的责任心和团队合作精神； 6、有APP逆向、拦截分析、JS解密等经验者加分。 福利待遇： 1、工作时间9:00-18:00，午休12:00-13:00，双休，享受法定节假日； 2、实习期间将有专业的导师进行指导，连续实习三个月及以上可提供实习证明； 3、可能转正为正式员工，享受公司福利待遇。

3年以上，掌握Frida、XPosed、APKTool、JADX等常用逆向工具；熟悉常见的Web和APP反爬手段和策略；熟练运用python及多进程、多线程开发； 熟练使用scrapy、requests、selenium、pyppeteer等爬虫包； 熟练使用Fiddler、Charles、Wireshark、Tcpdump、Jmeter等抓包工具中的一种； 熟悉html，正则、xpath等提取技术； 熟悉Mysql、Redis等数据库及相关操作； 熟悉Linux基础命令； 有丰富的前端JS及APP逆向工程经验；

工作内容： 1.开发并测试新爬虫， 2.维护现有爬虫 3.完成其他领导分配的工作 职位要求： 有python编程经验 有爬虫开发经验，及scrapy框架使用经验 了解面向对象编程 了解http协议及相关技术，css，html，js等 做事认真负责，能吃苦耐劳 计算机相关专业 英语4级以上 6个月以上实习时间 毕业可转正