职位描述：
1.负责相关网站、论坛、app的爬虫设计和开发，以及策略持续优化
2.分析项目的可行性和数据采集方案，负责核心算法的策略优化研究，充分利用资源，避免限制
3.参与开发数据采集程序，对目标站点/app进行结构化和非结构化数据数据分析，并对数据抓取，对各种目标数据进行信息提取、清洗、去重、整理及优化
4.不断完善数据采集框架，对框架进行优化和改进
5.参与数据分析处理流程、数据分析汇总报告的设计与开发
6.优化和管理入库的数据

任职要求：
1.专科及以上学历，计算机软件或相关专业，2年及以上python开发经验
2.掌握爬取的各类实现方式和技术细节，包括不限于：熟悉常见的反爬策略、掌握网络协议分析（http1.1/http2等）、有JavaScript反爬/逆向（AST）、APP反爬/逆向等
3.掌握tls指纹ja3,能够对抗akamai，PerimeterX，cloudflare风控优先
4.掌握网络爬虫开发原理，熟悉互联网各种类型数据交互模式，熟悉TCP/IP、HTTP、HTTPS等网络协议，熟悉web前端
5.熟悉使用python主流爬虫框架，有分布式爬虫经验
6.熟练掌握正则表达式、XPath等信息抽取技术
7.熟悉Redis、Mysql、MongoDB等常用的数据库
8.具有较强的分析和解决问题的能力
9.具备良好的沟通能力和团队协作能力