算力, AI 大模型时代的能源动力。通用人工智能技术有望启动以算力为主体能源的第四次工业革命,算力需求有望高增。 技术革命是以新一代生产力工具的大范围应用为核心,以主体能源为基础动力的全局性经济范式转型。历史上共发生过三次技术革命,我们认为,本轮通用型人工智能发展浪潮有望启动第四次技术革命:以AGI 为新一代生产力工具,以算力为主体能源。历史上历次技术革命中主体能源都会随新一代生产力工具的广泛应用而需求高增,我们预计 AI 算力需求有望在模型规模、算法创新、海量数据、应用落地等多端推动下高增。
AI 模型训练规模增速超过摩尔定律,进入大模型时代。 在 2010 年以前(前深度学习时代), AI 训练计算的增长与摩尔定律一致,大约每 20 个月翻一倍。 2010~2015 年(深度学习时代), AI 深度学习训练所需 FLOPs 相比之前发生斜率突变,每 6 个月翻一倍,远超摩尔定律。 2016 年至今(大模型时代), AI 大模型训练所需FLOPs 出现断点跳跃,随着能够处理更长序列和更复杂任务的 Transformer 等模型问世,算法的持续创新推动了对更高计算能力的需求, 2022 年训练大模型的算力需求达到了 8×1023 FLOPs。
© 版权声明
免费分享是一种美德,知识的价值在于传播;
本站发布的图文只为交流分享,源自网络的图片与文字内容,其版权归原作者及网站所有。
THE END
暂无评论内容