1.负责垂直领域的定向爬虫引擎开发优化工作
2.负责HTTP、AJAX等各类网络请求分析
3.通过爬虫定向抓取数据和解析、抽取、去重、清洗和存储
4.根据应用场景封装服务接口给内部团队调用
5.负责反封禁的研究提升爬虫抓取效率和质量
任职要求
1、深入理解网络数据抓取的工作原理与工作流程；
2、熟悉HTML、DOM、XPATH，熟练使用正则表达式；
3、擅长分析HTTP协议，能够解析、模拟HTTP传输的报文
4、掌握HTTP相关调试、分析工具，能够对网页、APP数据抓包（有手机APP脱壳、反编译能力优先考虑）
5、精通Python/C#/Java等编程；
6、一年以上大规模网页爬虫开发经验，熟练使用关系数据库(如MySQL, MSSQLsql)或NoSql数据库(如Mongodb及Redis)；
7、具备独立的破解各类网站封禁及各类验证码的能力，有多线程、分布式、网络数据抓取及处理经验优先；
8、熟练使用开源技术以及框架（Nutch、Scrapy、Heritrix等）者优先；
9、熟悉Unix/Linux操作系统者优先；
10、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力，抗压能力，目标执行力，对挑战性问题充满激情。