2月15日(美国当地时间),美国人工智能研究公司OpenAI在其官网发布文生视频模型Sora。该模型可以遵循用户文本指令,生成长达一分钟的视频,包含细致情景、多角度镜头。此外,该模型还能根据静态图像生成视频,并精确将图像内容动画化。Sora模型的问世被认为是AI领域的重要进展,将AI技术在视频生成和处理领域的应用推向了新的高度。Sora模型的诞生预示着视频内容创作和编辑将迎来革新。
据研究,人工智能有望在能源优化、智能交通系统、精准农业、气候模型等方面帮助减少碳排放。然而也需要注意,AI系统的训练和运行需要大量的计算能力和电力,这可能导致更多的碳排放。
通用AI能耗统计
1)人工智能运行所需的计算能力正在稳步增长。例如,AlphaZero计划所需的功率每3.4个月翻一番,仅在2012年至2018年期间就增加了30万倍。
2)最近,旧金山的研究人员开发了能够解决魔方的人工智能。这项工作可能消耗了大约2.8吉瓦时的电力(大约相当于三个核电站一小时内的电量)(有线)。
3)GPU,类似风扇加热器的机器,用于挖掘加密货币,也用于人工智能,通常每产生 500瓦的热量会消耗500瓦的能量(这意味着人工智能的消耗直接导致二氧化碳排放)。
4)训练一个人工智能模型或聊天机器人可以比100个美国家庭全年使用的电力还要多。仅训练Chat-GPT就消耗了1.287吉瓦时的能源,大致相当于120个美国家庭一年的能源使用量。
5)谷歌研究人员最近发现,人工智能约占其公司总用电量的10-15%(彭博社)。
6)在一般使用期间,训练AI模型的前期电力成本仅为其总耗电量的40%左右。较新的AI模型也提供了更多变量——ChatGPT提供了1750亿,而其前身为15亿(彭博社)。
7)2019年的一项研究发现,创建一个具有1.1亿个参数的生成式AI模型(“BERT”)消耗的能量与往返跨大陆航班上的一张机票消耗的能量相同(《科学美国人》)。
8)创建一个更大的人工智能模型,比如GPT-3(有1750亿个参数),就能耗(1287兆瓦时)和碳排放(552吨)而言,相当于驾驶123辆汽油动力汽车一整年。这是单独构建模型,而不是在模型启动并运行后消费者使用(《科学美国人》)。
9)出于这个原因,一些公司正在努力创建更小的AI模型,比如LLaMA,这是Meta对OpenAI大型语言模型(《科学美国人》)的七倍大小的大型语言模型的回答。
10)然而,人工智能模型的大小并不是能源效率的唯一预测指标。谷歌进行的一项研究发现,使用更环保的数据中心、更高效的模型架构和更高效的处理器可以将AI模型的碳足迹减少10到100倍。
11)BLOOM模型的大小与GPT-3相似,但在其创建过程中仅消耗了433兆瓦时的电力,并且仅产生了30吨二氧化碳(《科学美国人》)。
AI 能耗成本
1)市场领导者英伟达(Nvidia)的主要数据中心主力芯片(负责操作为AI提供动力的GPU机器)的成本约为10,000美元。
2)据估计,在GPT-3范围内训练一个AI模型的成本可能高达400万美元(CNBC)。
● 训练一个更大、更高级的语言模型的成本可能是原来的两倍多(CNBC)。
● 训练Meta最大的语言模型LLaMA只有650亿个参数(而当前GPT模型有1750亿个参数),在100万个GPU(图形处理单元)小时(CNBC)的过程中训练成本为240万美元。
● LLaMA使用2,048个Nvidia A100 GPU对1.4万亿个代币进行训练(1,000个代币大致相当于750个单词)。这总共花了21天。
● “重新训练”人工智能模型和更新软件的成本也可能高达10,000美元。这就是为什么AI模型通常没有最新的“知识”——例如,GPT-3不知道2021年之后的事件(CNBC)。
3)“AI 员工”的成本通常与“人类员工”一样高——Latitude公司每月花费近200,000美元在2021年达到顶峰时为他们的模型AI Dungeon提供动力(同时它跟上了数百万的每日请求)(CNBC)。
4)推理的成本可能非常高。ChatGPT在今年1月拥有1亿活跃月度用户,据估计,仅当月处理他们的数百万条提示就花费了OpenAI 4000万美元(CNBC)。
●有些模型甚至每天使用数十亿次,例如Microsoft的Bing AI聊天机器人,它每天为所有Bing用户提供服务。据估计,必应人工智能聊天机器人至少需要40亿美元的基础设施才能继续以这种速度运行(CNBC)。
●初创公司Latitude的语言模型是由OpenAI训练的,因此较小的公司不负责训练成本。然而,推理成本仍然很高(每天数百万个请求中的每一个大约半美分)(CNBC)。
5)2023年2月,ChatGPT降低了公司访问其GPT模型的成本。现在,每750字的输出成本为五分之一美分(CNBC)。
数据中心能耗
在全球范围内,数据中心每年消耗约200太瓦时的电力(这意味着这些中心的消耗量超过一些国家/地区)。截至2021年,全球约有8,000个数据中心。
根据美国能源部的数据,数据中心约占美国总用电量的2%。
据估计,到2030年,计算和通信技术将消耗全球8-21%的电力,而数据中心将占这一统计数据的三分之一。
一些提供“云”服务的公司已经承诺或采取措施实现碳中和。谷歌的数据中心目前是碳中和的,微软计划到2030年实现“负碳”,OpenAI签署了使用Microsoft云服务的协议。
大多数数据中心以100%的容量运行,这意味着20兆瓦的设施将相当一致地消耗20兆瓦的能量(宾夕法尼亚大学)。
仅在2020年,全球新数据创建量就达到了59ZB。2010年至2025年间,数据创建量可能会增加146倍(美国国际贸易委员会)。
算力是人工智能发展的“底座”,继ChatGPT带来算力需求的爆发式增长之后,Sora进一步引爆全球算力需求。相较于ChatGPT,Sora所带来的算力需求增长将是倍数级。
ChatGPT已经让全球算力需求经历了一次洗礼,但Sora的出现犹如在湖面投下一颗重磅炸弹,其深度学习和大规模数据处理的能力要求远超ChatGPT。这样的需求增长使全球算力缺口愈发明显,尤其是在高性能计算领域,缺口之大几乎可以用‘饥渴’来形容。当前算力基础设施面对Sora带来的挑战显得捉襟见肘,急需大规模的升级和扩展。
据报道,OpenAI正在筹备一项最高可达7万亿美元的AI基础设施投资计划,以满足其实现通用人工智能所需要的算力需求。
这无疑意味着更多数据中心,更高能耗。
生成式AI能耗水耗惊人
1月,OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)终于承认了研究人员多年来一直在说的话——人工智能(AI)行业正走向能源危机。在瑞士达沃斯举行的世界经济论坛年会上,阿尔特曼警告说,下一波生成式人工智能系统将消耗比预期更多的电力,能源系统将难以应对。
阿尔特曼寄希望于什么能源突破呢?不是设计和部署更可持续的人工智能系统,而是核聚变。他也参与了这场游戏:2021年,阿尔特曼开始投资位于华盛顿州埃弗雷特的核聚变公司Helion Energy。
但是大多数专家都认为,核聚变不会对到本世纪中叶脱碳以应对气候危机的关键目标做出重大贡献。Helion最乐观的估计是,到2029年,它将产生足够的能源来为40,000个普通美国家庭供电;一项评估表明,OpenAI在加利福尼亚州旧金山创建的聊天机器人ChatGPT 已经消耗了33,000个家庭的能源。据估计,由生成式AI驱动的搜索消耗的能量是传统网络搜索的四到五倍。在几年内,大型人工智能系统可能需要与整个国家一样多的能源。
这不仅仅是能源。生成式人工智能系统需要大量的淡水来冷却其处理器并发电。在爱荷华州西得梅因,一个巨大的数据中心集群为OpenAI更先进的模型GPT-4提供服务。当地居民的诉讼显示,2022年7月,即OpenAI完成模型训练的前一个月,该集群使用了该地区约6%的水。当谷歌和Microsoft准备他们的Bard和Bing大型语言模型时,根据两家公司的环境报告,两者的用水量都出现了大幅飙升,一年内分别增长了20%和34%。预计到2027年,全球人工智能对水的需求可能是英国的一半。
另外根据AI初创公司Hugging Face和卡内基梅隆大学的研究人员进行的一项研究,生成图像是使用基于AI的任务中能源和碳排放量最大的。使用强大的AI模型生成1000张图像所产生的二氧化碳排放量大约相当于在一辆平均汽油车上行驶4.1英里的排放量。相比之下,他们研究中最少碳排放的文本生成模型所产生的二氧化碳排放量相当于在类似车辆上行驶0.0006英里。
Luccioni及其团队研究了Hugging Face平台上10个热门AI任务的排放情况,包括问答、文本生成、图像分类、字幕和图像生成等。他们在88个不同的模型上进行了实验。对于每个任务,比如文本生成,Luccioni运行了1000个提示,并使用她开发的Code Carbon工具测量了消耗的能源。团队还计算了使用8个生成模型进行这些任务所产生的排放量,这些模型经过训练,可以完成不同的任务。
研究人员不仅发现每项任务的排放量远高于他们预期,而且还发现AI的日常使用排放量远远超过训练大型模型的排放量。根据一些估计,像ChatGPT这样的热门模型每天有多达1000万的用户,其中许多用户会多次使用该模型。
因此限制人工智能对生态的影响势在必行,而且人工智能行业可以优先考虑使用更少的能源,建立更高效的模型,并重新思考如何设计和使用数据中心。正如法国的BigScience项目所展示的BLOOM模型3,可以构建一个与OpenAI的GPT-3大小相似的模型,碳足迹要低得多。
要获得关于环境影响的准确和完整的数据仍然非常困难。生成式人工智能的全部全球成本是严密保护的企业机密。这些数字依赖于艾玛·斯特鲁贝尔(Emma Strubell)等研究人员的实验室研究和萨沙·卢乔尼(Sasha Luccioni)有限公司报告;以及地方政府发布的数据。目前,生成式AI公司几乎没有改变的动力。
AI正在面临立法
2月1日,以马萨诸塞州参议员埃德·马基(Ed Markey)为首的美国民主党人提出了《2024年人工智能环境影响法案》。该法案指示美国国家标准与技术研究院(National Institute for Standards and Technology)与学术界、工业界和民间社会合作,制定评估人工智能对环境影响的标准,并为人工智能开发者和运营商创建一个自愿报告框架。该立法是否会通过仍不确定。
要真正解决人工智能对环境的影响,需要采取多方面的方法,包括人工智能行业、研究人员和立法者。在工业领域,可持续做法应势在必行,并应包括测量和公开报告能源和水的使用情况;优先开发节能硬件、算法和数据中心;并且只使用可再生能源。由独立机构定期进行环境审计将支持透明度和遵守标准。
研究人员可以优化神经网络架构以实现可持续性,并与社会和环境科学家合作,指导技术设计以实现更大的生态可持续性。
AI能耗预测存在误区
1月29日,美国信息技术与创新基金会(ITIF)发布了报告《重新审视对人工智能能耗的担忧》,概述当前一些批评者对AI技术能耗过大污染环境的推测,这些推测对政策的影响,重新审视了AI的能耗和未来几年的发展,并对政策制定者提出建议,以降低大众对AI能耗的担忧。
报告表示,AI对未来能源需求的预测如此之高,原因之一是,它们使用了不准确或误导性的测量方法。另一个原因是,这些预测忽略了AI广泛商业化所带来的实际经济和技术现实。
一)AI能耗受到经济因素限制
许多对AI能耗的估计都不切实际。购买更多芯片、建设更多数据中心以及为这些数据中心提供电力都很昂贵。企业是追求利润的企业,它们不会长期提供运营成本高于收入的服务。要么使用AI的能源成本会降低,要么企业部署AI的方式会受到成本因素的限制。
二)AI的能源足迹忽略了替代效应
如果不考虑技术的替代效应,讨论AI系统的能源使用趋势可能会产生误导。例如,发送电子邮件取代了邮寄信件,参加视频会议取代了亲临现场参加会议。随着时间的推移,AI也将产生类似的影响,研究结果表明,在其他条件相同的情况下,使用AI替代人力在某些情况下可以减少碳排放。
三)未来创新将提高AI的能效
计算的历史就是一部不断创新的历史,而这些创新也延伸到了能效领域。例如,2010年至2018年间,全球数据中心的计算实例增加了550%,存储容量增加了2400%,但全球数据中心的能源使用量仅增加了6%。这些能源效率的提高来自硬件、虚拟化和数据中心设计的改进,它们是云计算能够扩展的部分原因。类似的趋势已经出现在AI领域。
也许未来,生成式AI能自己给自己编一段节能节水小程序?