【岗位职责】
1.制定爬虫数据采集规划，包括需求分析、系统设计、应对网站反爬；
2.搭建爬虫系统，选择框架，编写模块，实现自动化数据采集；
3.优化数据解析流程，提高解析质量，设计失败重试机制；
4.优化数据存储和流管道，实现分布式爬虫，提高流量效率；
5.进行数据监控和质量分析，处理爬虫故障，持续优化和迭代爬虫系统；
6.完成上级主管交代的其他工作内容；
【岗位要求】
1.***本科以上学历，且具备3年以上爬虫工作经验；
2.编程语言与爬虫框架及要求：熟练使用Pvthon.Java等语言了解Scrapy、Selenium、BeatifulSoup等爬虫框架的使用；
3.网络协议与爬虫模块：了解HTTP、HTTPS等网络协议，能编写爬虫调度和分发模块；
4.数据解析与提取技术：掌握正则表达式、XPath、JSON、HTML解析等技术；
5.数据库技术：熟悉关系型和非关系型数据库的使用；
6.分布式与流量控制优化：了解消息队列、缓存、分布式等优化数据流技术；
7.Linux与Shell编程：具备Linux操作系统和Shell编程能力；
8.熟悉反爬技术：了解代理、VPN等对反爬技术相关的技术；
9.计算机基础知识：掌握数据结构、算法等计算机基础知知识
10.代码质量与系统优化-具有良好的代码质量和系统优化技能；
11.数据分析与监控：具备基本的数据分析和监控能力。