工作职责:
职位描述：
1、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程；
2、根据业务变化，不断改善产品的系统架构设计，保证系统的性能、可靠性；
3、根据产品规划和设计实现对应的功能模块开发。
4、和团队合作进行性能分析和架构优化，引入业界新技术改进产品。
任职资格:
任职要求:
1、*****本科，go语言开发，有过完整软件项目开发、迭代和设施经验；
2、具备良好的编码习惯：结构清晰、命名规范、逻辑性强、代码冗余率低；
3、良好的算法基础和清晰的编程思路；熟悉TCP/UDP，HTTP网络协议以及socket网络编程；
4、熟悉负载均衡，分布式，缓存，消息队列等机制，并对高并发和高可用有一定了解；
5、精通网页抓取原理及技术实现细节，精通xpath和正则表达式，对去重、清洗、匹配也有一定经验。
6、熟悉常见反爬封禁策略，并具备相关的实战经验，能破解js混淆、破解识别复杂图片验证码，带案例者优先；
7、 加分项：逆向、混淆、脱壳、分布式、数据分析、数据挖掘。
8、工作积极主动，态度踏实认真，有较强的职业素养和工作操守；具有良好的团队合作精神，有较强的开发能力和灵活性；