戴爾首席運(yùn)營官 Jeff Clarke 在上周公司的財(cái)報(bào)電話會議上透露 Nvidia 最新的 AI 加速器將消耗 1,000 瓦，比前身增加 42%。

        即便如此，他表示即將推出的 Nvidia 芯片（他稱之為 B200）將不需要在數(shù)據(jù)中心服務(wù)器中進(jìn)行液體冷卻。Nvidia 尚未宣布一款名為 B200 的芯片，但一些觀察人士推測，Clarke 可能指的是 Nvidia 路線圖上的 GB200 芯片，該芯片預(yù)計(jì)將結(jié)合 Nvidia 的 Grace CPU 和 B100 GPU，與 GH200 的配置相同。GB200的熱設(shè)計(jì)功率可達(dá)1,300瓦，比前代產(chǎn)品提高了30%。

        Nvidia 可能會在兩周后的 GTC 活動中透露更多信息。

        Nvidia 于 2023 年底推出了 H200，這是 H100 的更新版，由于采用了 HBM3e 內(nèi)存，能夠?qū)?LLM 性能提高一倍。

        在戴爾的財(cái)報(bào)電話會議上，Clarke說："我們對 H200 的發(fā)展及其性能提升感到興奮。然后他又說：要達(dá)到每個 GPU 1000 瓦的能量密度，確實(shí)不需要直接的液體冷卻。

        戴爾已經(jīng)展示了在大規(guī)模液冷、互連、遙測和電源管理方面的專業(yè)技術(shù)。"這確實(shí)使我們能夠做好準(zhǔn)備，將其大規(guī)模推向市場，以利用市場上將存在的這種令人難以置信的計(jì)算能力或強(qiáng)度或能力"。他說。

AI耗電是人類普通家庭上萬倍

        人工智能芯片的功耗是數(shù)據(jù)中心專家和戴爾等服務(wù)器制造商最關(guān)心的問題之一。

        據(jù)《紐約客》雜志報(bào)道，OpenAI的熱門聊天機(jī)器人ChatGPT每天可能要消耗超過50萬千瓦時(shí)的電力，以響應(yīng)用戶的約2億個請求。相比之下，美國家庭平均每天使用約29千瓦時(shí)電力，也就是說，ChatGPT每天用電量是家庭用電量的1.7萬多倍。

        如果生成式AI被進(jìn)一步采用，耗電量可能會更多。荷蘭國家銀行數(shù)據(jù)科學(xué)家亞歷克斯·德弗里斯在一篇論文中估計(jì)，到2027年，整個人工智能行業(yè)每年將消耗85至134太瓦時(shí)(1太瓦時(shí)=10億千瓦時(shí))的電力。