ChatGPT对算力的消耗有多大？

2023-02-16 02:40 来源：科技云

ＣｈａｔＧＰＴ“越来越聪明”的背后，需要庞大的费用支撑。其中，算力成本是最重要的，也是最不能偷工减料的一部分。

ＣｈａｔＧＰＴ对算力的消耗可以分为三个主要场景：

一是模型预训练过程，这是ＣｈａｔＧＰＴ消耗算力的最主要场景。

ＣｈａｔＧＰＴ采用预训练语言模型，在Ｔｒａｎｓｆｏｒｍｅｒ的模型架构下，语言预训练过程可以根据上下文一次处理所有输入，实现大规模并行计算。

通过堆叠多个解码模块，模型的层数规模也会随着提升，可承载的参数量同步增长。与之相对应的，模型训练所需要消耗的算力也就越大。

据ＯｐｅｎＡＩ团队发表于２０２０年的论文《ＬａｎｇｕａｇｅＭｏｄｅｌｓａｒｅＦｅｗ－ＳｈｏｔＬｅａｒｎｅｒｓ》，训练一次１７４６亿参数的ＧＰＴ－３模型需要的算力约为３６４０ＰＦｌｏｐ／ｓ－ｄａｙ。

即假如每秒计算一千万亿次，也需要计算３６４０天。

考虑到ＣｈａｔＧＰＴ训练所用的模型是基于ＧＰＴ－３．５模型微调而来，ＧＰＴ－３．５模型增加了参数量和训练样本量，包含超过１７４６亿个参数，那么预估训练一次ＣｈａｔＧＰＴ所需算力至少需要约３６４０ＰＦｌｏｐ／ｓ－ｄａｙ的算力。

东吴证券研报分析认为，ＣｈａｔＧＰＴ的优化主要来自模型的增大，以及因此带来的算力增加。

ＧＰＴ、ＧＰＴ－２和ＧＰＴ－３的参数量从１．１７亿增加到１７５０亿，预训练数据量从５ＧＢ增加到４５ＴＢ，其中ＧＰＴ－３训练单次的成本就高达４６０万美元。

同时，模型开发过程很难一次取得成功，整个开发阶段可能需要进行多次预训练过程，因此对于算力的需求是持续的。

此外，从基础大模型向特定场景迁移的过程，如基于ＣｈａｔＧＰＴ构建医疗ＡＩ大模型，需要使用特定领域数据进行模型二次训练，同样会增加训练算力需求。

二是模型迭代过程。

从模型迭代的角度来看，ＣｈａｔＧＰＴ模型并不是静态的，而是需要不断进行模型调优，以确保模型处于最佳应用状态。

这一过程中，一方面是需要开发者对模型参数进行调整，确保输出内容不是有害和失真的；另一方面，需要基于用户反馈和ＰＰＯ策略，对模型进行大规模或小规模的迭代训练。

因此，模型调优同样会为ＣｈａｔＧＰＴ带来算力成本，具体算力需求和成本金额取决于模型的迭代速度。

三是日常运营过程。

在日常运营过程中，用户交互带来的数据处理需求同样也是一笔不小的算力开支。考虑到ＣｈａｔＧＰＴ面向全球大众用户，用的人越多，带宽消耗越大，服务器成本只会更高。

据ＳｉｍｉｌａｒＷｅｂ数据，２０２３年１月ＣｈａｔＧＰＴ官网总访问量为６．１６亿次。

据Ｆｏｒｔｕｎｅ杂志，每次用户与ＣｈａｔＧＰＴ互动，产生的算力云服务成本约０．０１美元。

基于此，ＣｈａｔＧＰＴ单月运营对应成本约６１６万美元。

据上文，我们已知训练一次１７４６亿参数的ＧＰＴ－３模型需要３６４０ＰＦｌｏｐ／ｓ－ｄａｙ的算力及４６０万美元的成本，假设单位算力成本固定，测算ＣｈａｔＧＰＴ单月运营所需算力约４８７４．４ＰＦｌｏｐ／ｓ－ｄａｙ。

直观对比，如果使用总投资３０．２亿、算力５００Ｐ的数据中心来支撑ＣｈａｔＧＰＴ的运行，至少需要７－８个这样的数据中心，基础设施的投入都是以百亿记的。

当然，基础设施可以通过租用的方式来解决，但算力需求带来的本压力依然巨大。

随着国内外厂商相继入局研发类似大模型，将进一步加大对算力的需求。

责任编辑：石旭