岗位职责：
1.负责直播平台，短视频平台相关公开数据的爬取，譬如抖音、快手等等；
2.负责爬虫框架设计，支持多进程、分布式、可扩展；
3.负责将采集的原始数据处理为结构化数据；
4.与数据仓库团队做好采集数据流转的对接；
5.领导安排的其他工作。

任职资格：
1.二年以上网页爬虫开发经验，能独立完成全部爬虫的设计和开发；
2.熟悉浏览器原理、理解网站和Web服务的工作原理,理解tcp,http等协议原理；
3.扎实的Python编程基础，熟练使用PySpider，scrapy等爬虫框架及相关生态插件，熟悉XPath等常用数据选取技术；
4.熟悉多线程、网络编程,熟悉linux平台、shell编程等；
5.了解myql数据库，以及基本sql语法；
6.熟练使用selenium，实现常见自动化脚本；
7.有对接抖音，快手，巨量引擎等平台marketing api经验优先。