目前招聘画像：
1.资深数据爬取经验
2.数据清洗，数据处理（体量在1 T以上）
3.有算法背景，数据挖掘经验 数据处理 了解NLP算法

岗位职责：

1. 负责研究院数据采集工作，包括文本、图片、视频等多种类型数据，持续更新和扩大数据集规模；

2. 根据项目需求，快速进行数据抓取代码和清洗代码开发；

3. 协助研究团队对数据进行清洗、过滤、存储等处理工作；

4. 对数据平台存储的海量数据进行管理和维护。


岗位要求：

1. 985 211优先考虑，计算机相关专业，熟悉计算机基础知识，具有3年及以上爬虫与反爬工作经验；

2. 熟悉linux平台开发，精通Python，熟悉各种爬虫框架和工具，掌握验证码识别技术、js逆向等常用反爬技能；

3. 熟悉大数据处理的流程以及熟练使用相关的工具，具备使用、维护、调优的能力，包括但不限于Hadoop、Spark、Kafka、ELK、Flink、ClickHouse、kettle等；

4. 熟悉Socket网络编程，多线程/进程/异步code的开发，掌握TCP/IP，UDP及常见变种网络通信协议，熟练使用工具对网络协议进行报文分析和调试，熟练使用正则表达式，xpath等匹配方法，能够快速从原始数据中提取有用信息；

5. 良好的沟通能力，抗压能力强，能独立解决开发过程遇到的各类问题；

6. 有大规模项目爬取工作经验优先，有大数据处理工作经验优先。