工作职责:
1、打造国内/外全域的短视频数据抓取和实时监控能力；
2、设计和优化分布式爬虫集群系统，高效的内容发现、解析和存储方案；
3、模拟真实用户行为，采用手机群控等创新技术突破爬取难题；
4、与其他团队紧密协作,集成爬虫输出,支持不同业务诉求。
任职要求:
1、大规模分布式系统和网络爬虫开发经验；
2、精通Python、Go等编程语言,熟悉爬虫相关框架和工具；
3、深入了解平台反爬虫策略及对应的防护和绕行方法；
4、熟悉手机群控、Root手机等移动端爬虫前沿技术；
5、优秀的系统架构设计和性能优化能力；
6、数据质量管理意识,重视隐私、版权保护。