2025年11月22日 星期六

Registration is now open for #NVIDIAGTC 2026. ROGER'S LETTER

 Registration is now open for #NVIDIAGTC 2026

📣
Join us March 16–19 in San Jose for inspiring sessions, hands-on training, and opportunities to connect with experts and peers—and be part of the unique GTC experience.
Register by February 2 to save with:
🔹 Early-Bird pricing: Save $300+ on your Conference pass.
🔹 GTC Alumni discount: Receive a 40% discount on the full Conference pass regular rate.

ROGER'S LETTER

AI 吞噬世界:科技趨勢的變革與挑戰
Roger’s Takeaway
Benedict Evans是我長期關注的高手之一,比起更多的數據,他更偏向使用歷史進程來描述此次的AI進展。
他提到幾個重點:
1.模型層面已經開始大宗商品化,除了最前沿的專業應用之外,多數人無法透過問問題得知模型的好壞。
2.差異化只能往下游走,做出更多應用場景。而這些應用場景,會因為適合的情境不同,而同時存在,就像是Oracle的人資軟體與Workday彼此競爭,但又同時存在一樣。或著是依靠雙邊網路效應,將用戶捆綁在一起。
3.他認為AI有三個步驟,一是自動化,二是做新的事,三是改變市場。
目前AI正在大量自動化,降低許多製作成本,強化廣告轉換率,這也是目前AI的位置,但人們並不知道AI可以做什麼新的事。目前都在嘗試中。
4.最後,他認為人們往往看到早期的成功,就認為這個世界會改變,但事實上,改變需要花十數年,就像過去的智慧型手機、行動裝置、Web、個人電腦、計算,大型主機等時代,他們需要一些時間,當他們剛剛出現時,他們都是全新的酷炫東西,但最後都變成了世界的一部分。
而什麼是泡沫呢,就像加密貨幣熱潮那樣,認為圖表在上升,就認為它會無限期的一直上升下去。
他看到最經典且廣為流傳的圖片是,有人在一張對數尺度的圖表上畫了網際網路普及、智慧型手機普及,然後是正在使用的加密錢包數量,他們在圖表上畫了直線,然後說,因此,到 2026 年,地球上每個人都會有一個加密錢包。
預測不是這麼做的。
更多筆記請看留言連結。
摘要
Benedict Evans 討論了他關於科技趨勢的最新簡報,核心聚焦於人工智慧(AI)。他將 AI 視為一場重大的平台轉移,如同過去的網際網路與行動裝置革命。內容探討了大型科技公司的策略問題、AI 領域的投資泡沫、模型的商品化趨勢,以及企業應如何思考自身的 AI 策略。他也比較了歷史上的科技變革,強調儘管當前充滿不確定性,但 AI 的變革潛力巨大,將從自動化現有流程,逐步發展到創造全新的可能性。
Highlight
1.
AI 已經成為科技產業的中心、重大的平台轉移,以及改變一切的事物,這也是我們大部分 podcast 的主題。所以到了這個時候,我會試著將所有事情整理成一個連貫的故事,解釋如何理解正在發生的事,以及如何思考它。特別是如果你不深入了解模型,也不知道如何運行自己的基準測試,或者你不是 Nvidia 的股東,也不必然是新創公司的投資者,不想知道所有細節和過程,只想知道這對我們其他人意味著什麼、將會發生什麼,以及我們需要關心什麼。
2.
然後,當然還有第二件事正在發生,那就是投資泡沫。這些公司將共同花費超過四千億美元來建設基礎設施。他們不斷宣布數千億甚至上兆美元的投資。KKR 的某個人前幾天創造了一個詞叫「Bragawatt」,用來取代GW,因為人們似乎在吹噓他們要建置多少 GW 的電力,特別是 OpenAI。
3.
我想 Douglas Adams 有一句話是這樣說的:任何在你 15 歲之前被創造出來的東西,都是世界本來的樣子;任何在你 15 到 35 歲之間被創造出來的東西,都是驚人且令人興奮的,你會想投入其中;而任何在你 35 歲之後被創造出來的東西,都是對文明的威脅。
4.
想像一下,在 2006 年坐在一家顧問公司,和策略團隊討論,哪些產業會受到網際網路的影響。你可以做出一些非常高層次的評論,而且是對的。你也可以對某些產業做出一些斷言,而且可能是對的。但你不會預測到 Uber,你不會預測到 Airbnb,你也不會預測到超過一半的新關係是從網路上開始的。
5.
人們大概在 1997 或 1998 年就開始談論泡沫,我不太確定,我那時還在念大學。但它並不是真的泡沫。當我在 Andreessen Horowitz 工作時,我們在 2016 或 2017 年做了一份關於「科技業是不是泡沫」的大型報告。Morgan Bender,他現在去做別的更成功的事了,花了好幾個月的時間整理數據。當然那不是泡沫,但很多人在 2007 年、2008 年、2017 年都覺得那顯然是個泡沫。有個笑話是關於一位經濟學家,他成功預測了過去五次衰退中的十次。
6.
當你從宏觀角度看,過去一年來已經很清楚,這些模型在專業應用場景之外,基本上是商品。對於那些每天都在深度使用它們的人來說是另一回事。除非你在做圖像生成或寫程式之類的事,否-則情況就不同了。但如果你只是每天問幾個問題,你根本無法通過雙盲測試。
7.
那麼,你如何做出差異化?你是往下游走,在基礎設施上投入更多資本,建立更多設施,把其他人擠出市場嗎?這是一個有趣的對話,因為歷史上軟體是輕資產的。Microsoft 的資本支出佔銷售額的比例大概是 1% 或 2%,他們賣的是一張一美元的 CD,裝在一個十美元的盒子裡,售價 250 美元。所以你無法在資本上競爭,你必須在其他地方競爭,結果競爭的基礎是網絡效應,無論是 Windows 還是 Facebook。
另一面是,你可能需要創造產品、工具、市場推廣、品牌、分銷以及所有其他東西,你需要在這個商品化的基礎層之上建立各種東西。在那個類比中,你會說對於 Facebook 來說,社交本身是商品。分享文字片段是商品,製作 iPhone 應用程式也是商品。當然,他們在網絡效應上競爭,但他們是通過產品贏得了網絡效應。
這不可避免地會把你帶到一個結論:好吧,在這種情況下,下一個千億美元的企業軟體公司,可能會使用來自中國的開源模型,可能會使用十種不同的模型,可能會在 Google Cloud 上做這個,在 Amazon 上做那個。但它所做的事情,將是在企業軟體領域找到新的應用。就像今天典型的大公司會使用四五百種 SaaS 應用一樣。大型歐美公司會用四五百種 SaaS 應用。而所有這些基本上都是資料庫。你工作的公司 NationBuilder,當你還在做企業軟體時,它就是一個 CMS 和資料庫。
我大概幾年前在 Twitter 上和一個顧問聊過,他說他一半的工作是告訴人們用 Excel 來取代資料庫,另一半是告訴人們用資料庫來取代 Excel。是在 Oracle 裡做更有效率,還是在 Excel 裡做,還是從 Oracle 匯出資料到 Excel 裡處理,還是用第三方的 SaaS 應用?答案是,嗯,這要看問題是什麼。有些任務用 Excel 做比較好,有些則到了某個程度你會想買一個專門的 SaaS 應用,還有些情況下,你會想把它整合進 Oracle。所以這得看情況。我看到有人在社群媒體上說我應該賣印著「看情況」的周邊商品,但這就是重點。這件事會分解成許多不同的使用案例,它們不會全都符合一個單一的模式,就像我們不會所有事都用 Excel 做一樣。為什麼有四百種 SaaS 應用?答案是,看情況。
8.
我過去常談的關於電子商務的。第一步,自動化你所做的事;第二步,做新的事;第三步,改變市場。第一步,我們在行銷和廣告中看到了非常明顯的例子,那就是大量的自動化。所以,很多大型消費品牌現在都在談論用這個來將他們的製作成本減半,製作更多的影片,製作數百個素材而不是少數幾個。Amazon,不對,Meta 和 Google 也在談論用這個來提高他們廣告平台的轉換率。
但第二步是,我們能用這個做些什麼以前做不到的新事情?如果我只要用相機對著一張海報,它就能告訴我是哪一款 Sephora 的口紅,並讓我在 Sephora 上訂購,會怎麼樣?實際上是創造你以前做不到的東西。然後再進一步想,你到底要如何重新定義市場?我的一個思想實驗是,你現在去 Amazon 買包裝膠帶,它會推薦你買氣泡紙。它應該做的是說,你可能要搬家了,需要煙霧警報器和燈泡嗎?這些是後續的建議,是序列上的關聯。但更有趣的可能是,如果它能推薦房屋保險和抵押貸款呢?你可能已經有抵押貸款了,那房屋保險呢?
它帶你走完整個旅程。
9.
當我從宏觀角度看時,首先要記住,在 ChatGPT 出現之前的所有事情仍然存在。比如,電子商務現在佔美國零售業的 30%,Amazon 現在是第三大媒體擁有者,Waymo 每天的行程接近一百萬次。人們對機器人、AR 等東西感到興奮。
但我有一張圖片,是 1955 年美國政府關於「自動化」的報告。他們談論的其中一件事是電子控制的電梯。我在曼哈頓的公寓樓裡有一部手動電梯,門房會駕駛電梯,就像一台街車。如果他喝醉了,他可能會害死我,他可以開著電梯衝破屋頂,就像《巧克力冒險工廠》裡查理的那個玻璃電梯一樣。
現在,那已經是世界本來的樣子了。你走進電梯,按個按鈕,你不會去想它是一台電子控制的自動電梯。我們經歷了這些自動化的浪潮,它們都成了世界本來的樣子。今天,線上交友大概佔了所有新關係的 60%。
這就是世界本來的樣子了。當然每個人都有手機,每個人都有智慧型手機,每支智慧型手機都有相機。
大概十年前、五年前,你開始在新聞上看到智慧型手機拍攝的影片,那是一個時刻。現在是無人機。然後它就成了世界本來樣子的一部分。
如果我的簡報有一個一句話的總結,那就是:這將以我們無法想像的方式,徹底改變一切,就像我們過去所有其他時候一樣。
10.
你在兩三年前的加密貨幣熱潮中看到了這一切。有一張圖表廣為流傳,有人在一張對數尺度的圖表上畫了網際網路普及、智慧型手機普及,然後是正在使用的加密錢包數量,他們在圖表上畫了直線,然後說,因此,到 2026 年,地球上每個人都會有一個加密錢包。嗯,預測不是這麼做的,你不能在對數尺度的圖表上畫直線,然後說它就會到那裡。
11.
為什麼 10% 的人每天都在用這個?為什麼這麼多大公司已經部署了二三十個應用?是的,有些東西還沒成功。是的,現在還很早。是的,有很多胡說八道。但這是一個非常真實、非常有用的東西。
這似乎是個很好的結束點。
我們到了,這正是人們在每一次泡沫中說的話。

Explore Our Coverage of Artificial Intelligence美國正逐漸淪為「輝達化」國家(《大西洋》).......。韓國「戰略技術」的AI基礎設施投資等;NVIDIA 將收購記憶體公司?韓國 HBM 專家金正浩教授的大膽預測 (蕭上農)

 

Explore Our Coverage of Artificial Intelligence


News and Analysis


The Age of A.I.



《大西洋》美國正逐漸淪為「輝達化」國家
AI巨擘正在進行一場軍備競賽,投入巨額的資金在資料中心,股票不斷地飆漲,卻大多仍處於虧損狀態。
投入AI的資金存在一種「循環特性」,例如OpenAI 同意向甲骨文支付 3000 億美元獲取算力;甲骨文 向輝達支付數百億美元購買晶片;而輝達又同意向 OpenAI 投資至多 1000 億美元。
如果 AI 失敗: 投資數據中心的私募股權公司(它們構成了全球影子銀行體系)可能倒閉,引發另一場史無前例的金融崩盤。
如果 AI 成功: 這很可能意味著它們創造出了一種革命性的技術,將在人類來不及適應的情況下淘汰無數工作崗位,給全球經濟帶來前所未有的衝擊。

牟中原

我傾向失敗,因為整個都寄託在scaling law, 但全世界的數據都已經快被用完了。再下去就是inbreeding

----

蕭上農

韓國 AI 未來規劃首席秘書官河正宇,興奮分享獲得 26 萬張 GPU 的意義,成為世界第三算力大國
YT 下方一片好評河正宇為國立下大功,河正宇生於1977年,畢業於首爾國立大學,獲得計算機工程學士、碩士與博士學位。他於2015年加入Naver公司(Line 母公司),歷任AI實驗室主任、Clova AI創新中心長,以及Future AI中心長等職位,在此期間領導多項AI研究項目,包括韓國型大型語言模型HyperCLOVA的開發。
2025 年 6 月,河正宇被任命為李在明政府總統府首任AI未來規劃首席秘書官,這是該政府新設的職位,負責制定國家 AI 政策、推動 AI基礎設施建設,並將民間經驗應用於國家層級的 AI 戰略實施。
26萬張GPU的豪賭:韓國押注「實體AI」,決戰NVIDIA之後的戰場
黃仁勳旋風式造訪韓國,賣出韓國 26 萬張NVIDIA GPU。但這筆採購的重點,根本不在GPU。這是一場國家級的產業轉型宣告。在大型語言模型之後,韓國看見的下一個戰場是實體AI (Physical AI),機器人、自動駕駛車、智慧工廠。
這26萬張GPU,就是韓國用來點燃這場新工業革命的種子基礎設施。這筆巨額採購不是終點,而是起點,目標是確保韓國在AI驅動的物理世界中,佔據全球領導地位。
算力即王權:擠身全球前三的戰略布局
這批訂單的規模極具戰略意義。NVIDIA執行長黃仁勳在非公開會議中透露,美國目前約有2,000萬張GPU,中國次之。韓國目前持有約4萬張,若再加上這26萬張,總數將達30萬張。
這數字,將讓韓國一舉超越其他競爭者,成為全球第三大算力體(以Hopper架構以上等級計算),這被認為是取得AI時代最基礎入場券的必要投資。
這30萬張GPU,將被分配於公私兩大領域。其中5萬張將進入公共領域,投入「國家AI運算中心」,支援政府主導的R&D、學術界,以及關鍵的「國家代表AI企業」。其餘的21萬張,則由SK集團、現代汽車、Naver等民營巨頭自行採購,用於各自的商業戰略。
「這26萬張追加的GPU,將成為極為重要的種子基礎設施。」
此舉的直接目標非常清晰:用當下最強的算力,去打造最強大的AI模型。無論是大型語言模型、基礎模型 (Foundation Model),還是專為實體AI打造的「世界基礎模型 (World Foundation Model)」,都需要龐大到難以想像的運算量進行訓練 (Training)。沒有足夠的GPU,韓國的AI新創、乃至大企業,都將在起跑點上落後。
雙軌並行:用NVIDIA的「訓練」,養自己的「推論」
然而,這場會議的核心主軸,從來不只是GPU的數量。真正的關鍵字,是實體AI。韓國高層意識到,在純粹的軟體與大型語言模型競賽中,要超越美國的開放生態與龐大資本,難度極高。但如果戰場轉移到AI與硬體的結合機器人、自動駕駛、智慧製造,韓國的勝算將截然不同。韓國擁有全球頂尖的製造業基礎,這就是他們的「實體AI全端技術棧 (Physical AI Full Stack)」。
這就帶出韓國的「K-NVIDIA」雙軌戰略。
第一軌:即刻採購(訓練) 當下,AI模型的訓練環節,NVIDIA的GPU是唯一解,其市場地位近乎壟斷。韓國別無選擇,必須投入巨資購買,以維持AI研發的動能。這26萬張GPU主要用於此。
第二軌:長期內製(推論) 但韓國的野心不止於此。他們清楚,AI的價值鏈分為「訓練」和「推論 (Inference)」。訓練就像在大學培養一位博士,成本高昂且集中;推論則是博士畢業後,在各種崗位上實際應用知識,需求分散且龐大。
「GPU太貴。當AI模型被部署到工廠、機器人、汽車上時,我們需要有價格和電力競爭力的MPU(AI加速器),這就是國內企業的機會。」
NVIDIA的GPU在訓練上無可匹敵,但在推論應用上,其高昂的價格與功耗成為一大門檻。韓國的策略是,利用NVIDIA的GPU「訓練」出強大的AI模型,然後催生出一個巨大的國內市場,去部署這些模型。這個市場,將由韓國本土的AI半導體企業,用更具成本效益、更低功耗的MPU(AI加速器)來滿足,用NVIDIA的「訓練」霸權,來撬動並餵養本土的「推論」晶片產業。
國家隊聯盟:從企業CAPEX到產業生態
這場轉型不是政府的獨角戲,而是產官學的總動員。現代汽車集團與NVIDIA宣布共同投資30億美元,成立實體AI研究中心,目標直指軟體定義汽車 (SDV) 與未來的智慧移動。
SK集團則展現更大的格局。SK海力士是NVIDIA的記憶體夥伴,但SK集團的目標是整個製造業AI。SK宣布,將開發基於數位分身的「製造AI平台」,這平台不僅SK集團內部工廠使用,更關鍵的是,他們將以此為基礎,建立一個「製造AI新創聯盟」,將平台開放給所有韓國相關新創。
「SK將開發的製造AI平台,不僅SK使用,也將開放給國內的製造AI新創聯盟。」
SK的提議,等於是要求政府共同打造一個生態系。他們向政府喊話:企業負責投入資本與技術開發平台,政府則應在資料中心、數據法規、以及對新創的財政支援上「積極支援」。這顯示韓國大企業正從單純的資本支出 (CAPEX),轉向主導產業生態系的建立。
政府的回應也相當迅速。對於這些被列為「戰略技術」的AI基礎設施投資,政府正在內部研擬包含稅收減免在內的支援方案。這是一場由國家意志推動,以企業巨頭為先鋒,目標是抓住實體AI這個新典範的全面戰爭。



----

NVIDIA 將收購記憶體公司?韓國 HBM 專家金正浩教授的大膽預測
YouTube 上看到一支訪談影片,韓國科學技術院(KAIST)電子及電氣工程系教授金正浩說了一句讓人印象深刻的話。他說:「我的夢想是,NVIDIA 要以其為中心運轉的話,NVIDIA 會收購記憶體公司。」他提到的收購目標包括 Micron、SanDisk,甚至 SK Hynix 或 Samsung。
他還說,連 OpenAI 都可能收購記憶體公司,因為「記憶體比 GPU 更重要」。
金正浩教授是 HBM 領域的專家,他開發了 HBM 的基礎概念和結構。他的實驗室 TERALAB 在 HBM 設計技術領域領先全球超過 20 年,自 2010 年起直接參與 HBM 商業化,與 Samsung、SK Hynix、Google、NVIDIA、Apple、Tesla 等公司合作。30 年研究生涯中,他發表了 712 篇論文,獲得 34 個優秀論文獎,2025 年獲得韓陽百南獎(15 億韓元獎金)。
這是一個記憶體領域專家的預測,金教授用「夢想」這個詞,表示這是他的想像和推測,不是確定會發生的事。但他在訪談中花了很多時間解釋為什麼會有這個想法,提到的 HBF 技術和記憶體在 AI 時代的重要性,是一個正在發生的趨勢。這篇文章主要是整理金教授在訪談中提到的內容,以及一些可驗證的產業現況。
HBF 是什麼?
金教授在訪談中花了很多時間解釋一個新的記憶體技術:HBF,High Bandwidth Flash,高頻寬快閃記憶體。簡單說,就是把 NAND Flash,SSD 用的那種晶片,像 HBM 一樣垂直堆疊起來,讓它有更高的頻寬,可以更快速地讀取資料。
金教授用了一個比喻來解釋 AI 為什麼需要大容量記憶體,他說 AI 模型的核心知識就像一本「密碼本」或「百科全書」,這本書存在記憶體裡,AI 每次生成文字或圖片時都要去翻這本書。他更具體地解釋,這個密碼本在技術上叫做 K cache 和 V cache。K cache 是單詞之間的關係,V cache 是每個單詞的重要性。AI 每生成一個字都要去翻這本密碼本,所以讀取次數非常頻繁。
現在 AI 用的是 HBM,High Bandwidth Memory,高頻寬記憶體,但 HBM 是 DRAM 做的,速度快但容量小、成本高。HBF 用的是 NAND Flash,容量是 HBM 的 10 倍,成本更低,速度比 HBM 慢一點但比傳統 SSD 快很多。金教授說 HBF 適合存放 AI 模型的「密碼本」,因為這個密碼本需要的是大容量和穩定讀取,不需要像 HBM 那樣極致的速度。
HBF 為什麼現在才出現?金教授說因為需求剛剛產生,HBM 的成功讓 NAND Flash 廠商意識到「我們也可以堆疊」,技術上其實已經準備好了。3D NAND 內部已經是 128 層、256 層的堆疊,再把這些堆疊起來就是 2000-3000 層。金教授說:「為什麼以前不做?因為需求現在才出現,AI 這邊的需求只有 1-2 年。」
時程是什麼?金教授說全球有 4 家 NAND Flash 公司正在計劃推出 HBF,2027 年會推出,如果慢的話 2028 年。他預測,對 HBF 保守估計大約 10 年會超越 HBM 的銷售額。2025 年 8 月 SanDisk 和 SK Hynix 宣布合作推動 HBF 標準化,Samsung 也在開發類似技術。
為什麼 NVIDIA 會收購記憶體公司?
金教授的邏輯很直接:記憶體是瓶頸,NVIDIA 被卡脖子了。
他在訪談中說 GPU 現在 60-70% 的時間在等待記憶體,主持人問「GPU 現在是在閒置嗎」,金教授回答「是的,要配合記憶體工作,所以瓶頸在那裡」。主持人又問「那為什麼 NVIDIA 還要一直升級 GPU」,金教授說「就是試試看能不能做點什麼,在學習階段可能有點幫助」。
金教授說 GPU 的發展幾乎停滯了,未來會透過記憶體的創新來持續提升效能。他用 NVIDIA 的產品演進舉例:「仔細看 NVIDIA 的簡報,如果按照摩爾定律,GPU 應該是 1 個變 2 個、2 個變 4 個、4 個變 8 個,但實際上不是這樣。反而是記憶體一直在翻倍,2 倍、4 倍、8 倍。」
這就是為什麼金教授認為 NVIDIA 可能會收購記憶體公司。現在 NVIDIA 太依賴 SK Hynix 和 Samsung,HBM 市占率 SK Hynix 60%、Samsung 和 Micron 各 20%,產能都被預訂到 2026 年。如果未來 HBF 也被這些韓國廠商壟斷,NVIDIA 會繼續被卡脖子,金教授說垂直整合是解決方法。
收購目標會是誰?
金教授在訪談中提到幾個可能的目標。
首先是 SK Hynix 或 Samsung,他說「NVIDIA 可能會試圖收購 SK Hynix 或 Samsung」,但他接著說「如果條件不符合」,暗示這兩家比較困難,可能是因為反壟斷或地緣政治的問題。
接著是 Micron 或 SanDisk,金教授說「如果條件不符合,就收購 Micron 或 SanDisk」,他特別提到主持人說「SanDisk 看起來很適合收購」,金教授回應「是的」。為什麼 SanDisk 適合?因為 SanDisk 是 NAND Flash 龍頭,正在推動 HBF 標準化,而且規模比 SK Hynix 或 Samsung 小,收購難度較低。
金教授還透露他 2 週前和 SanDisk 開了 1 天 3 夜的會議,他說 SanDisk 最近 3 個月股價漲了 3 倍,其中一半原因是數據中心 NAND 需求增加。主持人問「那是不是要賣掉 SK Hynix 股票,買 SanDisk」,金教授說要繼續持有 SK Hynix,因為 SK Hynix 同時有 HBM 和 HBF 能力,這是很大的優勢。
最驚人的是金教授說連 OpenAI 都可能收購記憶體公司,他說「記憶體比 GPU 更重要,所以 OpenAI 也可能收購」。
記憶體的時代
金教授在訪談中用了一個比喻:「就像加州淘金熱時代,真正賺錢的不是淘金的人,而是賣牛仔褲的 Levi's 和修鐵路的公司,AI 熱潮也一樣,GPU 是主角,但記憶體可能是真正賺錢的產業。」
他說記憶體公司的股價會上漲,未來會是「記憶體的世界」。金教授在訪談中說「Jensen Huang 下次可能會來韓國,Sam Altman 已經來過了」,而就在訪談後不久,黃仁勳果真在 10 月底訪韓,參加 APEC CEO 峰會,並宣布供應 26 萬顆 GPU 給韓國。主持人問為什麼會這樣預測,金教授說因為記憶體供應在韓國,NVIDIA 需要跟韓國廠商合作。
金教授還提到,如果按照摩爾定律,記憶體需求每 2 年翻倍,20 年就是 10 次,也就是 1000 倍。他說「現在 Samsung 和 SK Hynix 的記憶體營收是 100 兆韓元,1000 倍是多少?100 京韓元,利潤率 10% 的話就是 1 京韓元,韓國一年預算才 600 兆韓元」,這是一個巨大的市場。
現實是什麼?
NVIDIA 現在的策略是供應合約和技術合作:SK Hynix 的 2025-2026 產能大部分被 NVIDIA 預訂,Micron 通過認證後開始供應 HBM3E,NVIDIA 和 SK Hynix、Micron、Samsung 合作開發新記憶體標準,這些都是合作,不是收購。
HBF 會不會取代 HBM?NVIDIA 會不會垂直整合記憶體?這些問題的答案可能要等到 2027-2028 年才會比較清楚。金教授用「夢想」這個詞,表示這是他的想像,他自己也說「我不是什麼神算,但今天說的這些,大概有 4-6 成會準確吧」。

關於"The future of Tensor Processing Units (TPUs) "和 "The "total output" of GPUs and TPUs " 2提問的AI Overview

 

The Google Data Center in Midlothian, Texas.Credit...Ron Jenkins/Getty Images
The future of Tensor Processing Units (TPUs) involves 
continuous innovation to meet the escalating demands of artificial intelligence (AI), focusing on enhanced performancescalabilityenergy efficiency, and a strategic shift towards AI inference. Google has recently introduced its sixth-generation (Trillium) and seventh-generation (Ironwood) TPUs to power the next wave of AI applications. 
Key Developments and Future Directions
  • Next-Generation Hardware: Google has announced two new generations of TPUs in 2024-2025:
    • Trillium (sixth-generation): Available in preview since October 2024, Trillium offers a 4.7x performance increase per chip over its predecessor (TPU v5e), doubled memory capacity/bandwidth, and improved energy efficiency by over 67%.
    • Ironwood (seventh-generation): Unveiled in April 2025 and expected to be generally available in Q4 2025, Ironwood is Google's most powerful and efficient TPU yet, specifically optimized for large-scale AI inference workloads.
  • Focus on Inference: As AI models mature, the industry focus is shifting from initial model training to the high-volume, low-latency processing of real-time AI queries (inference). TPUs are purpose-built for this, giving them a potential advantage over more general-purpose GPUs in the long run.
  • Massive Scalability: TPUs are deployed in "pods" and large-scale "AI hyperclusters" that can link thousands of chips together into a single, building-sized supercomputer, providing the immense computational power needed for trillion-parameter models.
  • Expanded Adoption: Major AI companies, including Anthropic and Apple, are increasingly using or testing Google's TPU infrastructure, signaling a growing external market for Google's custom silicon and a more competitive landscape against Nvidia's GPUs.
  • Edge Computing Integration: Beyond data centers (Cloud TPUs), Google is integrating Edge TPUs into consumer devices like Pixel smartphones (Pixel Neural Core, Google Tensor SoCs) and various IoT devices, enabling on-device AI processing and reducing reliance on cloud connectivity.
  • Sustainability and Efficiency: Energy efficiency is a key design priority. Newer TPU generations like Trillium demonstrate significant improvements in performance per watt, aligning with sustainability goals for massive AI operations.
  • Software Ecosystem: Google is enhancing the software ecosystem to support TPUs, making them compatible with popular AI frameworks like TensorFlow, JAX, and PyTorch, and simplifying deployment for developers.
  • Future Research: Google is even exploring radical concepts like space-based ML compute, with a plan to launch prototype satellites by early 2027 to test TPU hardware in orbit. 
In essence, the future of TPUs is defined by their central role in powering the next generation of AI innovation, from massive cloud-based language models to everyday edge devices, with continuous hardware improvements driving performance and efficiency to unprecedented levels. 
  • Introducing Trillium, sixth-generation TPUs | Google Cloud Blog
    May 14, 2024 — Amin Vahdat * Generative AI is transforming how we interact with technology while simultaneously opening tremendous ef...
    Google Cloud
  • The Little-Known Chip Powering the Very Future of AI - InvestorPlace
    Jul 1, 2025 — The Little-Known Chip Powering the Very Future of AI * Unlike Nvidia's GPUs, which dominate AI model training, Google's...
    InvestorPlace
  • Google unveils Ironwood, seventh generation TPU, competing ...
    Nov 5, 2025 — Ironwood, according to Google, is more than four times faster than its predecessor, and major customers are already lin...
    CNBC·Jennifer Elias
    3:53
Show all
Dive deeper in AI Mode


The "total output" of GPUs and TPUs is 
measured in floating point operations per second (FLOPS) or tera operations per second (TOPS), and the value varies by specific chip model, generation, and workload. TPUs are generally more powerful and energy-efficient for specific AI tasks (like large-scale neural network training), while GPUs offer more versatility for a broader range of general-purpose and AI-related tasks. 
Individual Chip Performance (Approximate Peak)
Performance is typically compared per chip or per system/pod. 
  • NVIDIA H100 GPU: A high-end data center GPU, the H100 offers significant performance, with estimates placing its sparse performance at a very high level, sometimes several times more powerful than previous generations.
  • Google TPU v4: A single TPU v4 chip consumes less power (175-250W) than an H100 and excels in performance-per-watt for specific AI tasks. A full pod of 256 TPU v4 chips achieves 11.5 petaFLOPS of performance.
  • Google TPU v5p: A single v5p chip can achieve 500 TFLOPS/sec. A full pod of 8960 chips can reach approximately 4.45 ExaFLOPS/sec (4.45 * 10^18 FLOPS).
  • Google Trillium (TPU v6): The newest generation offers 4.7x the peak compute performance of its predecessor and is 67% more energy-efficient. 
Total Global Capacity
Estimates for the total amount of computing capacity in all installed GPUs and TPUs globally are more challenging to pinpoint exactly, but some analyses provide ballpark figures:
  • As of Q1 2023, the total combined global computing capacity of GPUs and TPUs was estimated to be around 3.98 x 10^21 FLOP/s (FP32).
  • One estimate suggests there are currently 4 x 10^21 FLOP/s of computing power available across NVIDIA GPUs alone (approximately 4 million H100-equivalents). 
Key Differences in Output
The main difference lies in their architecture and optimization: 
  • GPUs (Graphics Processing Units) are general-purpose processors with thousands of small, efficient cores, making them versatile for a wide range of tasks, including graphics rendering, scientific computing, and various AI models.
  • TPUs (Tensor Processing Units) are Google's custom-designed, application-specific integrated circuits (ASICs) optimized for the specific matrix multiplication operations at the heart of neural networks. They use a systolic array architecture to minimize data movement and power consumption, achieving superior efficiency for large-scale, consistent AI workloads. 
Ultimately, a TPU will generally outperform a GPU in its specialized domain (tensor operations), while a GPU provides greater flexibility and broader software support. 
  • Energy-Efficient GPU vs. TPU Allocation - Artech Digital
    Energy-Efficient GPU vs. TPU Allocation. When deciding between GPUs and TPUs for AI workloads, energy efficiency is a key factor. ...
    Artech Digital
  • TPU vs GPU
    May 11, 2025 — nvidia is one of the most valuable companies in the world because of the GPUs it sells. and so it's useful to understa...
    YouTube·Trelis Research
    33:45
  • The stock of computing power from NVIDIA chips is ... - Epoch AI
    Feb 12, 2025 — Overview. We estimate the world's installed NVIDIA GPU compute capacity, broken down by GPU model. These estimates are...
    Epoch AI
Show all
Dive deeper in AI Mode