岗位职责：
1、负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量
2、负责大规模数据爬虫的性能优化、监控和报警，提高爬虫产品的稳定性和抓取效率
3、实时监控爬虫的状态和警报反馈
 
任职要求：
1、计算机或相关专业本科以上学历，5年以上爬虫工作经验；
2、熟练掌握Python开发，有代码规范和质量意识
3、有日千万级及以上的大规模数据爬虫项目经验
4、有实际大规模使用过消息队列经验，如RabitMq、Kafka等
5、了解并使用过ElasticSearch等分布式搜索引擎库
6、熟悉常见反爬机制，验证码识别，IP代理池、headers认证、cookie等
7、熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本
8、对以下社媒平台（快手、红书等）数据有实际抓取经验的优先
9、工作地点可选：北京、上海、合肥、成都、杭州、厦门、广州（公司均有办公室）