职位描述:
• 负责分布式网络爬虫系统平台的架构设计与开发（如抓取调度，多样化抓取，页面解析和结构化抽取，海量数据存储和读取等）、技术选型
• 研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点攻克，提升网页抓取的效率和质量
• 把握网络爬虫核心技术研究方向，研究优化策略，提升爬虫系统的稳定性、可扩展性
• 管理并带领爬虫团队完成社交媒体数据（文本、视频、音频和图像）开发工作

职位要求:
• 深度参与过至少一个分布式网络爬虫系统的架构设计；
• 良好的代码能力，扎实的数据结构和算法功底，有快速迭代、逐步优化的工程项目经验
• 精通爬虫和反爬技术，精通底层协议；精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术
• 熟悉分布式系统、多线程，精通scrapy框架以及原理，有开发爬虫框架经验
• 对主流爬虫架构有深入研究，具有成熟爬虫工具的设计及运维经验
• 有很强的学习能力和技术钻研能力，积极主动，思维灵活开放，有良好的沟通能力，善于跨团队合作
• 良好的逻辑能力，善于把复杂问题梳理清晰，责任安排到人，完成情况监督到位