岗位职责：岗位职责：

1、全栈工程师，能独立完成系统架构设计、功能模块的前、后端全栈开发；

2、负责平台的研发工作，需求分析、系统设计及开发编码，把控各类子技术组件的设计合理性、稳定和易用性，把控代码质量；

3、负责项目实施，保障项目进度和质量；

4、配合技术规划落地工作，挖掘技术痛点，制定有效的技术解决方案并落地；

5、配合新技术的研究、设计和关键技术的验证选型等；

6、负责开发并维护现有爬虫代码；

7、负责对多源数据采集；

8、负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量；

9、利用主流的大数据相关技术，对抓取后的数据进行清洗、存储等；



经验要求：

1、大学本科及以上学历，计算机软件或相关专业优先，5年以上PHP开发经验，熟练使用相关框架，具备多语言开发经验者优先；

2、编程基础扎实，对并发编程有较深理解，具备良好的代码编写习惯，具扎实的系统架构设计能力，具有高并发系统性能调优经验；

3、精通springboot、mybatis、vue等框架，熟悉常用的设计模式，熟练掌握各种常用JS框架和Library，如JQuery,Bootstrap,eChart,有实际项目开发经验；

4、精通HTML/CSS/JavaScript等脚本语言，熟练使用HTML5、CSS3完成web端页面设计与开发，能够很好的解决浏览器的兼容问题及跨平台兼容问题；

5、精通MySQL、Oracle数据库，对数据库事务、索引等有深入理解；

6、熟练使用redis、kafka、nginx、es、nacos等组件及原理；

7、熟悉TCP/IP、HTTP、XPath、beautifulsoup4、正则表达式等相关技术；

8、熟悉分布式系统、多线程，精通scrapy、selenium框架以及原理；

9、精通爬虫和反爬技术、精通JS逆向、APP逆向，精通http底层协议；

10、精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术；

11、熟悉python，熟悉使用numpy、pandas，能对数据做结构化处理；

12、有技术热情和较强的学习能力，具有良好的团队合作能力、沟通能力、抗压能力。