ChatGPT 日耗电超 50 万度卡死AI发展的竟然是能源?

admin 发布于 2024-03-29 阅读(20)

  原标题:ChatGPT 日耗电超 50 万度,卡死AI发展的竟然是能源?

  最近《纽约客》报道,ChatGPT 每日耗电量或超过 50 万千瓦时,相当于美国家庭平均用电量的 1.7 万倍。埃隆·马斯克也曾预言,未来两年内电能短缺将成为制约 AI 发展的主要因素。然而,事实真的是这样吗?

ChatGPT 日耗电超 50 万度卡死AI发展的竟然是能源?

  目前关于 AI 耗电量的观点主要源自估算结果,而非真实的测量数据。美国信息技术与创新基金会(ITIF)发布的报告认为,个别不准确的研究大大高估了 AI 的能耗,这样的言论可能对 AI 发展造成不利影响,阻碍 AI 在促进节能减排、应对环境挑战方面发挥潜力。业界人士呼吁,应当促进行业信息透明,同时减少 AI 技术的滥用。

  ITIF 是一家非营利智库,总部位于美国华盛顿。在这份题为《重新审视对人工智能能耗的担忧》的报告中,ITIF 指出,不同 AI 模型的能耗和碳排放存在巨大差异,受到诸多因素的影响,包括芯片设计、冷却系统、数据中心设计、软件技术、工作负担、电能来源等。

  所以,在估算 AI 的能耗方面,不同研究的结论出现了较大分歧。2019 年马萨诸塞大学阿默斯特分校团队发布的一项预印本研究估算,当时领先的谷歌公司大语言模型 BERT 在 79 小时的训练过程中排放了约 1438 磅二氧化碳(约合 652 千克),量级相当于一名乘客乘坐飞机往返于纽约和旧金山一次。研究也对 AI 神经架构搜索(NAS)等技术得出了类似结论。这篇论文在谷歌学术被引用接近 3000 次,并得到了大量媒体报道。

  然而,从事 AI 研发的企业和机构得出了截然不同的分析结论。2021 年,谷歌公司与加州大学伯克利分校发布一项预印本研究认为,前述研究将谷歌的 AI 碳排放数值高估了 88 倍。但是这项研究得到的关注远不如前者,被引数仅有 500 左右。

  由于媒体和公众关注负面信息的倾向,结论惊人的研究更容易得到传播。科技行业名人的言行也在放大“ AI 能耗巨大”的信息,马斯克曾预言“制约 AI 发展的因素将由‘缺硅’变成‘缺电’”;Open AI CEO 萨姆·阿尔特曼也表示 AI 将消耗更多电力,并高调投资核聚变。

  ITIF 报告指出,目前许多研究和政策都关注 AI 训练(training)阶段,但多项研究表明 AI 在推理(inference)过程中,也即人们使用 AI 输出结果的过程能耗更高。此外,不同 AI 模型处理不同类型的推理任务,能耗的差异也很大。例如 1000 次请求计算,图片分类任务的耗电量是 0.007 千瓦时,而图片生成任务耗电 2.907 千瓦时。

  报告作者指出,AI 的训练是一次性事件,而它的使用是长期过程,讨论 AI 能耗问题时应该关注的不是爆发式增长,而是长期的影响。并且,从技术史的视角看来,AI 及其能耗的增长还将受到以下 4 个因素的限制:

  “ChatGPT 每日耗电量或超过 50 万千瓦时”的结论,出自技术博客 Digiconomist 作者亚历克斯·德·弗里斯(Alex de Vries)的估算。德·弗里斯还曾预测,在最糟糕的情况下,谷歌的 AI 用电量将与整个爱尔兰相当,达到每年 29.3 TWh(太瓦时)。但他同时也指出,要想达到这样的规模,谷歌需要在芯片上投入 1000 亿美元,此外还要数据中心的运营和电费投入数十亿美元。如果AI的运营成本居高不下,逐利的商业公司自然会放慢脚步,减少投入。

  近年来 AI 连续在许多领域取得了突破性进展,这也意味着它可能很快迎来一个瓶颈期。研发、运营更大的模型带来的回报将越来越低,在提升准确性上精益求精也将变得更困难。所以,优化 AI 模型可能是接下来的研发方向。

  AI 模型的优化,以及硬件技术的进步,都有望减少 AI 的能耗。一项发表于《科学》期刊的研究指出,在 2010~2018 年间,全球数据中心的运算量增长了 550%,存储空间增长了 2400%,但耗电量仅增长 6%。硬件、虚拟技术和数据中心设计方面的创新提升了能效,也使得云计算的规模化成为可能。

  同样,剪枝(pruning)、量化(quantization)、蒸馏(distillation)等技术有望带来更好的算法,让 AI 模型更快、更节能。谷歌公司和加州大学伯克利分校研究团队指出,有赖于各项技术进步,近年来在谷歌公司内部 AI 的能耗占比保持稳定,尽管机器学习增长到运算量的 70%~80%。

  整体上,当人们用电子邮件替代传统书信,用观看 DVD 或流媒体频道替代去电影院看电影,这些活动的数字化都减少了碳排放。AI 有望在这方面继续发挥作用,例如通过改进视频通话体验,使更多的会议转向远程进行。此外,AI 技术还可用于进行电网调度、分析气候数据,从而成为应对气候变化的助力。

  从历史的角度看,关于 AI 碳排放的担忧并不新鲜。90 年代曾有人预测,未来发电量的一半将用于满足互联网活动;在流媒体出现的时候,同样有人提出类似观点。如今我们知道,这些担忧都并未成为现实。ITIF 报告认为,如果没有完全理解 AI 能耗问题就急于进行管控,可能会阻碍 AI 的性能提升,限制其发展潜力。例如,使 AI 消除偏见和仇恨言论、避免输出有害信息,都需要进行更多的推断,从而提升能耗。

  一些机构已经在推动 AI 的信息公开。2023 年 12 月,欧盟通过《人工智能法案》,这是全球首部 AI 监管法案。法案督促 AI 开发者致力于使模型高能效、可持续,并要求进行相应的信息公开。

  德·弗里斯同样呼吁进行信息公开,同时他希望及时限制 AI 的发展,就像限制加密货币技术一样。数字经济学家(Digiconomist)博客指出:“ AI和先前的区块链等新兴技术的发展,伴随着大量的狂热和错失恐惧(FOMO),这通常会催生对终端用户没什么益处的应用 。”

  而在《纽约客》报道中,著名科学记者伊丽莎白·科尔伯特(Elizabeth Kolbert)的原话是:“每当 ChatGPT 吐出信息(或给某人写高中作文),都需要进行大量运算。据估计,ChatGPT 每天要响应约 2 亿次请求,同时消耗超过 50 万千瓦时电力。”也就是说,要应对 AI 能耗危机,或许可以从限制使用 AI 写作业开始。