【岗位职责】
1、负责设计和开发网络爬虫应用，包括调度、抓取、入库等内容；
2、对抓取数据进行去重、分类、垃圾过滤、质量分析；
3、网络爬虫架构设计、功能开发及优化；
【任职要求】
1、计算机或相关专业本科以上学历；
2、熟悉搜索引擎和网络爬虫相关技术，能独立实施完成网络爬虫应用；
3、有丰富的应对反爬虫的经验，例如合理使用IP 池、验证码识别技术等；
4、优秀的执行力，面对挑战，能快速决策分析，调动资源集中突破；
5、善于总结，积极主动学习新技术，热爱爬虫工作，直面困难敢于承担责任，有较强的沟通的能力和理解能力，有较强的抗压能力。