职位描述： 1、负责攻克高难度的反爬，诸如人机识别、JS逆向、Android逆向等 2、负责开发及维护超大规模站点，深入挖掘站点有价值的数据 3、参与爬虫通用组件、工具、系统的设计开发 职位要求： 1、大专及以上学历，2年以上工作经验； 2、具备丰富的Python爬虫经验，熟悉JS逆向、Android逆向，有攻克高难度站点经验； 3、具备扎实的技术基础，如常见的网络协议、Linux操作系统、常用数据库等，可以独立分析解决新出现的技术问题； 4、有前后端开发经验； 5、缜密的逻辑思维能力； 6、热爱技术，喜欢钻研，注重代码质量；

职位描述： 1、运用现有的开发框架，完成数据爬取、解析及后续的维护工作 2、解决常见的反爬问题 职位要求： 1. 大专及以上学历； 2. 熟悉 Linux 下的 Python 和 NodeJS开发； 3. 熟练使用 Requests、Scrapy、XPath、Bs4 等常用爬虫框架工具进行开发; 4. 熟练使用 Puppeteer 等模拟浏览器工具进行开发; 5. 了解常见的反爬手段及其应对措施； 6. 熟练使用常用数据库，包括 MySQL 、Redis、MongoDB 等； 7. 熟练使用各类抓包工具，如 Charles、Fiddler、Wireshark、Mitmproxy 等； 8. 了解常见的消息队列使用； 9. 有Web前后端经验优先。

（该岗位为外包岗位，优秀者入职后可转为正式员工） 职责描述： 1、负责网络爬虫，数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据，为业务部门提供数据支持。 技能要求： 1、会JS补环境； 2、会训练及协议过国内主流厂家的滑块，图标/文字点选验证码； 3、会使用docker容器； 4、计算机相关专业本科以上学历； 5、熟练的编程能力，熟悉数据结构；熟悉计算机网络的基础理论； 6、熟练的Python编程基础，熟练使用scrapy或feapder等爬虫框架；熟悉分布式爬虫；熟悉XPath等常用页面解析技术； 7、熟悉puppeteer等自动化工具的使用； 8、熟悉postgresql，mongodb等关系型或非关系型数据库； 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑；

职位描述： 1、负责天眼查海量商业数据中，部分数据域的数据抓取，对数据抓取的及时性负责； 2、负责对抓取数据进行解析、清洗，对数据一致性、准确性负责； 3、负责相关数据抓取服务的工程建设和指标建设，对数据生产链条的健壮性、高效性负责。 任职要求： 1、本科或以上学历，有3年以上数据抓取开发经验； 2、熟练掌握Python等编程语言，具有扎实的编程基础和良好的代码风格； 3、具备丰富的爬虫开发经验，熟悉各类爬虫框架和工具，如Scrapy、Selenium等； 4、熟悉HTTP协议和常见的网页解析技术，具备良好的数据清洗和处理能力； 5、熟悉MySQL、MongoDB、HBase、Redis等； 6、具备良好的沟通和团队合作能力，能够与数据开发、后端开发人员等协作，共同完成项目目标；

1、负责PDF/Word/Excel等格式图文识别、分类、入库； 2、负责内外部网页内容抓取、去除干扰数据、标准化入库； 3、负责图片中文字内容识别、排版、纠错、标准化入库； 4、编写公共接口，为公司其他项目提供 PDF解析、网页解析、图文解析 等接口服务； 5、跟进OCR、爬虫、NLP前沿技术，将其工程化应用到公司产品中； 6、支持公司相关产品的研发工作。 任职要求： 1、**本科及以上学历；计算机、数学、信息技术、自然语言处理、数据挖掘相关专业；3年以上工作经验； 2、熟练使用 Python，熟悉相关环境部署，熟悉Linux常用命令； 3、熟悉 PyPDF2、PyMuPDF、Borb 等开源库，在项目中有实际使用经验； 4、熟悉 PaddleOCR、EasyOCR、Chineseocr、Tesseract、OpenCV 等开源库，有实际使用经验； 5、熟悉 Scrapy、Pyppeteer、Selenium，有实际使用经6、熟练使用SQL，熟悉MySQL等关系型数据库； 7、有Django、Docker经验者优先； 8、工作积极主动，富有学习精神，愿意挑战高难度任务，编码规范。

职位描述： 1、根据需求理解业务逻辑，实现业务逻辑和数据交互； 2、与前端工程师对接，编写、测试API； 3、负责数据分析和处理。 4、负责跟chatgpt(3.5,40)、通义千问等语言大模型做对接。 5、编写核心代码以及相关文档说明； 6、编写抓取互联网爬虫代码，负责数据采集，参与需求分析和梳理，爬虫采集策略制定和实现； 7、研究各种网页、app、小程序端接口，提高网页抓取效率和质量； 任职要求： 1、熟悉Python语言和Django框架； 2、有爬虫工作经验者优先； 3、熟悉Web开发基础知识，理解MVT开发模式和前后端分离开发模式； 4、熟悉使用git; 5、熟悉 Linux环境，熟练使用 Redis、MySQL等数据库； 6、具备良好的分析解决问题能力，能独立承担任务和有系统进度把控能力。

1.精通Python开发，3年以上Python开发经验，熟悉基于Python代码的性能分析和优化，必须会算法。 2.精通Flask/Django或者其他PythonWeb开发框架，熟悉MVC架构，熟悉常用设计模式 3.熟练使用mysql，熟悉mysql的各种存储引擎，熟悉索引工作原理； 4.熟悉celery等队列工具的开发使用； 5.有运维自动化、监控系统、应用发布系统、CMDB配置管理系统等运维开发或者维护经验优先； 6.熟悉开源监控软件Nagios/Zabbix/Cacti/Prometheus一种或以上的部署和应用经验优先 7.熟悉Web前端技能，有vue使用经验者优先； 8.熟悉多种开源组件有的kafka、redis、RabbitMq使用经验优先 9.熟悉Linux系统，具备编写shell脚本能力 10.熟悉网络基础、TCP/IP、HTTP等协议，熟悉操作系统原理

工作内容： 1. 负责数据抓取平台规划和建设，完成数据采集与爬取、解析处理和入库； 2. 负责用python语言实现产品的后端研发； 3. 负责高质量的设计和编码； 4. 承担重难点技术攻坚任务； 5. 参与产品的讨论和开发实现； 岗位要求： 1. 二年以上工作经验良好的计算机基础知识，熟悉常用的数据结构和算法; 2. 能运用python进行各类数据处理，熟悉pandas、numpy等常用python数据处理包，有机器学习相关经验优先; 3. 熟悉python后台开发，有完整的项目开发经验，熟练使用Django或flask框架, 熟悉Restful设计规范； 4. 熟悉Windows及Linux下python的安装、部署及调试以及Docker部署; 5. 熟悉MySQL、SQL 和主流NoSQL数据库 6. 对项目安全性问题和并发问题有一定理解和相应的解决方法 7. 有良好的沟通能力，团队协作能力，对新技术敏感，有良好的代码习惯，结构清晰，命名规范，熟悉设计模式，随时贯彻最优开发思想。

工作内容: 1.APP、网站数据爬取 2.数据分析 3.数学模型 4.建立数据清洗流程 任职要求: 1.技术扎实，必须本科计算机系或相关以上 2.擅长Python，了解分布式，多线程，正则表达式(regex) 3.自主学习能力，对各种新技术有热情，领导潜力 4.有独立完成完整APP项目的经验者会优先考虑

职位描述: 1. 负责爬虫系统的架构设计,功能开发,日常维护; 2. 负责第三方数据集成系统的日常维护; 职位要求: 1. 本科以上学历,3年以上开发经验,其中1年以上爬虫开发经验; 2. 熟悉Linux,精通Python; 3. 熟悉http协议,有网络编程经验; 4. 熟悉Javascript,html,css; 5. 精通网页抓取原理和相关技术,精通正则表达式,xpath,css selector,熟悉Scrapy框架的 使用; 6. 熟悉面向对象编程; 7. 具有良好的沟通能力,团队合作精神; 8. 学习能力强,工作负责认真，有AI人工智能相关经验者优先。

工作内容： 1、完成亚马逊爬虫程序的编写； 2、提升分布式爬虫系统性能； 3、负责在爬虫和数据采集方向进行前沿技术研究，难点攻关。 任职要求： 1、3 年以上工作经验，计算机相关专业； 2、熟悉 HTTP ，TCP 等网络协议及数据抓包和分析； 3、熟悉反爬虫技术和应对策略，具备破解和绕过反爬虫机制的经验； 4、掌握常用的反编译、静态分析工具，熟悉常用的Hook框架； 5、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段； 6、精通Amazon电商平台爬虫工程项目经验。

岗位职责： 1、负责抖音/淘宝/拼多多/1688等热门电商平台的爬取工作，包括数据抓取和爬取链路优化，提升抓取能力； 2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设； 3、负责大规模文本、图像数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作； 任职要求： 1、三年以上大规模爬虫/反爬经验，熟悉HTTP协议/浏览器原理/前端JS/APP抓取； 2、有解决复杂的反爬限制实践经验， 能解决如图片验证码/滑块/账号限制/ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先； 3、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI、frida、ida等工具，能独立完成主流电商平台和主流app软件大量级的数据抓取优先； 4、有电商数据爬虫经验优先；

岗位职责 1、 根据业务需求，负责设计和开发短视频平台网络爬虫系统，并进行清洗提取； 2、 设计爬虫策略和防屏蔽规则，提升爬取的效率和质量； 任职要求 1、 计算机相关专业，本科以上学历，1年以上爬虫开发经验； 2、 熟悉Python、计算机网络，熟悉使用多线程，熟悉Scrapy等常用爬虫框架； 3、 有短视频平台的数据抓取经验、熟悉IP池、cookie池等使用; 4、 具有良好的沟通能力和团队合作意识；

工作职责： 1.使用爬虫技术采集指定的互联网数据 2.对采集的数据进行清洗治理 3.根据项目需求导指定的项目数据 4.维护采集框架平台，维护采集脚本 5.根据公司内部的需求编写一些数据处理小工具 任职要求： 1.本科以上学历，3年以上相关工作经验； 2.计算机相关专业 3.精通Python语言，熟练掌握主流爬虫框架中的一种；熟悉常用的库requests/gevent等； 4.了解各种加密算法，能够独立解决js反爬和模拟登陆问题； 5.熟练掌握正则表达式、XPath、CSS等网页信息抽取技术； 6. 熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等； 7. 熟练使用应用Selenium实施动态抓取； 8.熟悉熟练使用charles、fiddler等抓包工具者优先； 9. 熟悉数据清洗，能够用numpy、pandas、jieba等工具对数据进行处理者优先; 10.熟练使用sqlserver、mysql、mongodb、redis； 11.熟悉掌握rabbitMQ、kafka、spark 优先； 12.具有DBA工作经验者优先； 13.具有团队精神、积极的工作态度和对工作的责任心，有一定的稳定性。

工作职责: 1、负责设计、开发、维护分布式爬虫系统； 2、负责爬虫系统性能效果调优； 3、负责爬虫系统的后台监控、报警模块的开发。 任职资格: 1、精通Python ，3年以上爬虫及相关技术开发经验； 2、有1年以上App爬取经验，对so逆向有一定经验并独立做过相关分析； 3、 熟练掌握js逆向，熟悉js各种反爬措施，能解决js混淆等问题； 4、了解常见的App反爬策略，能解决IP封禁、参数加密、验证码、账号封禁等问题; 5、有大型爬虫平台开发经验，单个数据源爬取数量超过千万级； 6、工作积极主动、责任心强，具有较强的分析和解决问题的能力。 任职本岗位，你将获得如下技能： 1、如何设计实现大规模分布式爬虫系统(执行效率、资源调度策略、架构设计与优化)； 2、如何处理海量数据(存储、清洗、分析)； 3、如何进行特殊目标的定向分析； 4、其他不外传的技术秘笈。