岗位职责：
1.负责复杂网站的数据抓取和交互模拟；
2.通过各种渠道或方式对目标网站数据进行高效率抓取；
3.设计爬取、调度和抽取算法、优化采集系统；
4.负责抓取数据的深度提取和挖掘，进行加工处理；
5.数据文档的撰写与更新。

任职要求：
1.专科及以上学历，计算机相关专业,2年以上开发经验；
2.掌握java或python开发语言，熟悉Linux系统；
3.较强的网站分析能力，熟知各种反爬措施及相关解决方式；
4.熟练使用MySQL、MongoDB等数据库；
5.熟知HTTP、TCP、Socker等底层知识；
6.熟知Fidder、Wireshark等抓包工具。