岗位职责：
1、负责公司现有爬虫平台的维护、爬虫脚本开发等；
2、负责产品及研发的数据采集需求，研究网页特点，开发数据采集脚本，保证数据稳定、高效地采集和解析；
3、负责分布式数据采集平台的架构设计与研发落地，完善公司数据采集平台的建设；


岗位要求
1、数学、计算机相关专业，三年及以上互联网公司数据采集相关工作经验；
2、编程基本功扎实，熟悉常用数据结构， 熟悉Linux系统及其运维工作；
3、熟练Python、Java等语言；熟练掌握一种或多种数据采集框架（Python系）；
4、精通WEB协议采集、多线程技术、分布式数据采集技术；
5、具备良好的分析解决问题能力，自我学习能力和钻研技术精神；
6、拥有自驱力，能够激发自己的创造力和对于本职工作的热情，充满热忱及正能量；
7、有大数据开发经验者优先。