岗位职责
1. 负责scrapy爬虫项目的运维工作，以及数据的清洗提取工作。
2. 根据任务需求，开发网页端或App端的数据爬取工作。
3. 在保证质量的情况下可以成功交付数据。
4. 可以独立解决开发中碰到的问题，并具备良好的沟通能力。

岗位要求
1. 计算机科学，工程或相关学科本科及以上学历；
2. 熟悉Python；具有SQL和NoSQL技术的经验优先；
3. 熟悉网络抓取原理、HTTP协议，了解常见的反爬虫原理；
4. 熟练使用requests, Scrapy, BS4, xpath, regex等工具进行数据抓取；
5. 熟悉数据清洗，能够利用Pandas进行数据处理；
6. 了解版本控制工具(例如git), 数据库管理系统(Mysql)；
7. 英文熟练者优先;
8. 熟悉手机App端数据抓取优先;
9. 愿意学习和在短时间内掌握新的技能和方法；擅长团队合作。