岗位职责：
1.设计和开发分布式网络爬虫系统，对接三方平台API以及进行网页数据爬取。
2.参与数据平台的搭建，优化数据处理流程；
3.搭建系统开发环境，完成系统框架与核心代码开发。
4.参与搭建内部数据仓库，定义并开发业务核心指标数据。
任职要求：
1. 大学本科学历，计算机相关专业，1-3年开发经验，熟悉python语言服务端开发，有数据爬虫开发经验，对http/https有一定了解；
2. 熟悉Flask，Django等常见Web框架，熟悉MySQL、NoSQL等常见数据库；
3.熟悉常见存储引擎的原理、特点以及主从复制原理和实践；
4. 具有良好的编程思想、沟通、团队合作精神、优秀的分析问题和解决问题的能力；
5. 有Hive,Spark等大数据开发经验者优先。