该岗位为派遣编制
岗位职责:
为实验室研究人员提供高质量公开数据集，包括但不仅限于以下工作内容：
负责攻克各种反爬技术难点；
负责分析各类反爬机制，通过分析，模拟，逆向工程等手段获取数据；
不断提升数据抓取系统的自动化水平；

岗位要求：
• 3年及以上工作经验计算机相关专业，具备爬虫相关工作经验
• 精通python编程，熟悉linux，能够使用shell脚本解决日常问题
• 熟悉多线程、多进程、网络编程相关知识；
• 能够总结分析不同网站，网页/APP的结构特点及规律，分析网页、app链接构造；
• 有使用scrapy, twisted, asyncio经验者优先;
• 强烈的好奇心和极客精神；
• 有android/ios逆向技能优先