格隆汇6月5日|根据斯坦福大学《2024 年人工智能指数报告》的分析,下图显示了高级人工智能模型训练成本的激增。值得注意的是,该指数通过与研究公司Epoch AI合作,根据云计算租赁价格估算人工智能模型的培训成本,分析的关键因素包括模型的训练持续时间、硬件的利用率以及训练硬件的价值。
去年,OpenAI的GPT-4的训练成本估计为7840万美元,与一年前谷歌PaLM(540B)模型的1240万美元相比,成本急剧上升。谷歌人工智能模型Gemini Ultra的训练成本更高,达到了惊人的1.91亿美元。截至2024年初,该模型在多项指标上超过了GPT-4,其中最突出的是大规模多任务语言理解基准,该基准是衡量大型语言模型能力的重要标准。作为参考,2017年开发的早期人工智能模型Transformer的训练成本仅为930美元,该模型在塑造当今许多大型语言模型的架构方面发挥了奠基性作用。