工作职责
1、参与分布式爬虫平台架构、开发工作(如任务调度、多样化抓取、负载均衡、海量数据解析与处理、全链路追踪、指标监控及报警等）；
2、根据公司各个业务需求，爬取全网来源的数据，解决各类反爬问题；
3、参与爬虫平台架构演进、稳定性治理及性能调优。
4、及时响应各目标迭代策略，保障数据精准。

职位要求
1、熟悉爬虫工作原理，深入了解至少一种主流爬虫框架的架构及原理，如 Scrapy；

2、**本科及以上学历，三年以上爬虫工作经验，有大规模数据爬取经验；

3、技术扎实，熟练掌握主流爬取技术，如协议破解、模拟点击等；熟悉掌握常用框架，如Selenium/Puppeteer/Splash等；
4、具备实际爬虫编写能力，至少熟练掌握Python/Go/Java等其中一种语言；

5、具备良好的前端分析能力，对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验；
6、具备良好的文档编写及协作能力。自我驱动，执行力强，有攻坚精神；对学习有热情，追求技术进步。

岗位亮点
1、公司核心业务的开发，工作饱和度高，成就感强；
2、集团公司重点项目研发，受到高层领导的高度关注和认可。