大牛带队
岗位描述:
负责爬虫策略与方案制定,爬虫系统架构设计与开发;
负责网站、APP等大规模文本、图片数据抓取,爬虫核心算法优化,提升爬虫效率和质量;
专注于垂直领域数据爬取,并进行多平台信息分析,参与企业数据建设。
任职要求:
全日制本科以上学历,3年以上开发经验,计算机相关专业优先。有爬虫和反爬虫经验者优先,有大数据爬虫经验尤佳;
熟悉HTTP、TCP等网络协议,精通httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等爬虫相关技术;掌握fiddler、charles等抓包工具;至少熟悉并使用过一种主流爬虫架构,如Scrapy、Gocolly、Webmagic等;有分布式爬虫或熟悉app逆向、反编译经验者优先;
熟悉Python/PHP/JavaScript等至少一种语言;熟悉Mysql、Nosql数据库设计,熟悉Redis技术和ElasticSearch;
积极正向,具备良好的沟通能力和团队合作能力。
拉勾安全提示