|
AI大模子的推行阶段频繁被以为是动力浪掷最高的阶段。在此阶段，推行诸如GPT系列的大模子需要大王人的数据集进行推行，并通过诊疗其参数来使量度输出与处所输出尽可能一致。 诚然大模子推行阶段的能耗很高，但有把柄标明，大模子推理调用频率远高于推行，导致推理阶段的能耗可能更高，成为更大的“电老虎”。 大模子推理能耗更高 跟着大模子的快速发展，与之相关的动力浪掷也在快速增长。在推行阶段，大模子便是“电老虎”。 Hugging Face曾显露其BLOOM 大模子在推行技能浪掷了433兆瓦时（MWh）的电力。而其他大模子，如GPT-3、Gopher和OPT，在推行技能划分浪掷了1287、1066和324 MWh的电力。这些模子王人在TB级别的数据上进行推行，并具有1750亿个或更多参数。 这些动力浪掷的数据看起来确乎很惊东说念主，然而大模子推行频繁只需要几个月的时辰，只消靠拢推行技能对动力的浪掷比较大。一朝模子推行罢了，则会参加部署应用阶段，也就所谓的推理阶段。 关联词商讨标明，推理阶段，即模子在本体应用中生成输出（举例，ChatGPT的讲演用户查询），也可能浪掷大王人的动力，致使可能高于推行阶段。 2023年2月，半导体分析机构SemiAnalysis曾估量，OpenAI需要3617台NVIDIA的HGX A100奇迹器（共28936个GPU）来援救ChatGPT，这意味着每天的能耗为564 MWh，用于措置约2亿个用户申请。比拟GPT-3推行阶段估量使用的1287 MWh，推理阶段的动力需求澄莹要高得多。
SemiAnalysis雷同预估，要是将近似ChatGPT的AI整合到每一次谷歌搜索中，可能需要512,821台NVIDIA的HGX A100奇迹器，要是按照每台奇迹6.5 kW 功率诡计，每天能耗要达到80 GWh，年动力浪掷量达到 29.2 TWh。 这些预估数据标明，这种谷歌搜索全面转向AI搜索，可能会使谷歌年用电量增多到与统共爱尔兰的用电量十分。 大模子推理经过中动力浪掷影响成分 目下，这些大模子驱动在各个领域鄙俚应用，一个日益伏击的问题也浮出水面：这些大模子在本体推理经过中需要浪掷几许动力？其动力资本是否可执续？ 最近，迪士尼彩乐园官网麻省理工学院（MIT）等机构的商讨东说念主员进行了一项深远的商讨，旨在量化分析大谈话模子推理的动力资本。 根据上海市公安局黄浦分局公示的行政处罚决定书显示，12月3日，董某石因寻衅滋事被警方处以行政拘留7日的处罚。 商讨以Meta AI的LLaMA模子为对象，在不同的硬件（NVIDIA V100和A100 GPU）和数据集（Alpaca和GSM8K）上进行了实验。 商讨评估了不同大小的LLaMA模子（7B，13B和65B）在最低硬件建立下的推感性能和能耗。此外，还深远分析了LLaMA 65B模子在多GPU和多节点环境下的漫步式推感性能，以及不同的批措置大小和分片数目对动力浪掷的影响。商讨的评估野心包括：每秒字数、每秒token数、每秒反应数、GPU应用率、动力浪掷（焦耳），以及每秒动力浪掷（瓦特）、每个token动力浪掷和每个反应动力浪掷。
商讨发现，A100 GPU 在推感性能上澄莹优于 V100 GPU，尤其是在较小的 LLaMA 模子（7B 和 13B）上，推理速率擢升了 1.25 到 2 倍。但在换取的模子大小下，使用 A100 GPU 的能耗也显赫增多，尤其是在 LLaMA 7B 模子上。因此，推理阶段，礼聘GPU类型需要权衡性能和能耗。
同期，就像汽车排量越大越耗油一样，模子越大推理也越“耗电”。商讨发现，关于 LLaMA 65B 这么的大模子，频繁需要进行漫步式推理，然而跟着分片数目的增多，推理的能耗也随之增多。
那么奈何智商裁减大模子的能耗呢？ 商讨东说念主员测试了GPU功耗闭幕（power capping）对LLaMA 65B模子推理时辰、能耗和token生成速率的影响。商讨发现，通过裁减GPU的功耗上限，不错大幅度减少推理经过中的动力浪掷，但这可能会导致推理时辰的略略增多。 举例，商讨团队将功耗闭幕从250W降至175W，不错罢了平均23.21%的能耗裁减，同期推理时辰仅平均增多约6.7%。而要是大幅度裁减功耗闭幕，举例从250W降至150W，推理时辰则显赫增多，平均增幅约 19.49%。 最新商讨具有较强的本体真谛。在本体部署大模子时迪士尼彩乐园1官网，数据中心不错根据不同的职责负载和性能需求，动态诊疗GPU类型以及适度功耗上限，从而裁减运营资本和环境影响。 |
