超对称

超对称技术公司是领先的人工智能系统服务商。我们开发的超大规模预训练语言模型和多模态模型，以统一的算法架构为基础，具备语言、图像、语音、数字多种模态的认知智能能力。我们以世界前沿的人工智能技术为底座，赋能金融、媒体、生产制造、农业、生物制药等不同行业的数字化转型，为中国产业的高质量发展提供智能推力。

超对称技术公司专注于开发算法和数据产品为金融、媒体、生产制造等行业提供服务。超对称公司针对金融投资领域的应用设计和训练了一个大规模参数预训练语言模型Big Bang Transformer乾元(BBT)，目前发布了Base 版本2.2亿参数和Large 版本 10亿参数。同超对称团队还针对金融行业的预训练模型发布了一套评测数据集BBT-FinCUGE，开源于Github。BBT模型参考T5的Encoder+Decoder结构，以融合处理NLU和NLG的下游任务。超对称团队整理了一套金融行业的数据集，建立了一个跨模态联合训练文本和时序数据的基于Transformer的架构。

大模型是通往Artificial General Intelligence (AGI) 的一条道路。超对称公司认为具备数据分析能力是实现AGI的基础之一。超对称技术公司联合复旦大学计算机学院肖仰华知识工场实验室，浙江大学徐仁军实验室，南开大学和北师大人工智能学院的老师，在基础理论、架构、算法实现三方面推动AGI底层算法的研发，构建AGI在产业应用的底座。该项研究获得甘肃高台“东数西算”项目在算力基础设施上的支持。

以Google 的T5框架为参考基准，BBT模型的实验验证了以下几个结论：

• 基于领域专业数据集预训练的大模型，比T5同级别参数模型平均下游任务准确率可以提高接近10%。
• 不同下游任务的语料数据集比例对下游任务的准确度有影响。
• 基于下游任务类别提供Source Prompt的提示学习能大幅提高下游任务的准确度。
• BBT的时序模型进行多元时序预测，比普通的Transformer获得R2 score的大幅提升。
• 联合文本和时序数据数据进行训练，模型能读懂数字变化所对应的真实世界。