美國正逐漸淪為「輝達化」國家(《大西洋》).......。韓國「戰略技術」的AI基礎設施投資等；NVIDIA 將收購記憶體公司？韓國 HBM 專家金正浩教授的大膽預測 (蕭上農)

 

《大西洋》美國正逐漸淪為「輝達化」國家

AI巨擘正在進行一場軍備競賽，投入巨額的資金在資料中心，股票不斷地飆漲，卻大多仍處於虧損狀態。

投入AI的資金存在一種「循環特性」，例如OpenAI 同意向甲骨文支付 3000 億美元獲取算力；甲骨文 向輝達支付數百億美元購買晶片；而輝達又同意向 OpenAI 投資至多 1000 億美元。

如果 AI 失敗： 投資數據中心的私募股權公司（它們構成了全球影子銀行體系）可能倒閉，引發另一場史無前例的金融崩盤。

如果 AI 成功： 這很可能意味著它們創造出了一種革命性的技術，將在人類來不及適應的情況下淘汰無數工作崗位，給全球經濟帶來前所未有的衝擊。

牟中原

我傾向失敗，因為整個都寄託在scaling law, 但全世界的數據都已經快被用完了。再下去就是inbreeding

----

蕭上農

韓國 AI 未來規劃首席秘書官河正宇，興奮分享獲得 26 萬張 GPU 的意義，成為世界第三算力大國

YT 下方一片好評河正宇為國立下大功，河正宇生於1977年，畢業於首爾國立大學，獲得計算機工程學士、碩士與博士學位。他於2015年加入Naver公司（Line 母公司），歷任AI實驗室主任、Clova AI創新中心長，以及Future AI中心長等職位，在此期間領導多項AI研究項目，包括韓國型大型語言模型HyperCLOVA的開發。

2025 年 6 月，河正宇被任命為李在明政府總統府首任AI未來規劃首席秘書官，這是該政府新設的職位，負責制定國家 AI 政策、推動 AI基礎設施建設，並將民間經驗應用於國家層級的 AI 戰略實施。

26萬張GPU的豪賭：韓國押注「實體AI」，決戰NVIDIA之後的戰場

黃仁勳旋風式造訪韓國，賣出韓國 26 萬張NVIDIA GPU。但這筆採購的重點，根本不在GPU。這是一場國家級的產業轉型宣告。在大型語言模型之後，韓國看見的下一個戰場是實體AI (Physical AI)，機器人、自動駕駛車、智慧工廠。

這26萬張GPU，就是韓國用來點燃這場新工業革命的種子基礎設施。這筆巨額採購不是終點，而是起點，目標是確保韓國在AI驅動的物理世界中，佔據全球領導地位。

算力即王權：擠身全球前三的戰略布局

這批訂單的規模極具戰略意義。NVIDIA執行長黃仁勳在非公開會議中透露，美國目前約有2,000萬張GPU，中國次之。韓國目前持有約4萬張，若再加上這26萬張，總數將達30萬張。

這數字，將讓韓國一舉超越其他競爭者，成為全球第三大算力體（以Hopper架構以上等級計算），這被認為是取得AI時代最基礎入場券的必要投資。

這30萬張GPU，將被分配於公私兩大領域。其中5萬張將進入公共領域，投入「國家AI運算中心」，支援政府主導的R&D、學術界，以及關鍵的「國家代表AI企業」。其餘的21萬張，則由SK集團、現代汽車、Naver等民營巨頭自行採購，用於各自的商業戰略。

「這26萬張追加的GPU，將成為極為重要的種子基礎設施。」

此舉的直接目標非常清晰：用當下最強的算力，去打造最強大的AI模型。無論是大型語言模型、基礎模型 (Foundation Model)，還是專為實體AI打造的「世界基礎模型 (World Foundation Model)」，都需要龐大到難以想像的運算量進行訓練 (Training)。沒有足夠的GPU，韓國的AI新創、乃至大企業，都將在起跑點上落後。

雙軌並行：用NVIDIA的「訓練」，養自己的「推論」

然而，這場會議的核心主軸，從來不只是GPU的數量。真正的關鍵字，是實體AI。韓國高層意識到，在純粹的軟體與大型語言模型競賽中，要超越美國的開放生態與龐大資本，難度極高。但如果戰場轉移到AI與硬體的結合機器人、自動駕駛、智慧製造，韓國的勝算將截然不同。韓國擁有全球頂尖的製造業基礎，這就是他們的「實體AI全端技術棧 (Physical AI Full Stack)」。

這就帶出韓國的「K-NVIDIA」雙軌戰略。

第一軌：即刻採購（訓練） 當下，AI模型的訓練環節，NVIDIA的GPU是唯一解，其市場地位近乎壟斷。韓國別無選擇，必須投入巨資購買，以維持AI研發的動能。這26萬張GPU主要用於此。

第二軌：長期內製（推論） 但韓國的野心不止於此。他們清楚，AI的價值鏈分為「訓練」和「推論 (Inference)」。訓練就像在大學培養一位博士，成本高昂且集中；推論則是博士畢業後，在各種崗位上實際應用知識，需求分散且龐大。

「GPU太貴。當AI模型被部署到工廠、機器人、汽車上時，我們需要有價格和電力競爭力的MPU（AI加速器），這就是國內企業的機會。」

NVIDIA的GPU在訓練上無可匹敵，但在推論應用上，其高昂的價格與功耗成為一大門檻。韓國的策略是，利用NVIDIA的GPU「訓練」出強大的AI模型，然後催生出一個巨大的國內市場，去部署這些模型。這個市場，將由韓國本土的AI半導體企業，用更具成本效益、更低功耗的MPU（AI加速器）來滿足，用NVIDIA的「訓練」霸權，來撬動並餵養本土的「推論」晶片產業。

國家隊聯盟：從企業CAPEX到產業生態

這場轉型不是政府的獨角戲，而是產官學的總動員。現代汽車集團與NVIDIA宣布共同投資30億美元，成立實體AI研究中心，目標直指軟體定義汽車 (SDV) 與未來的智慧移動。

SK集團則展現更大的格局。SK海力士是NVIDIA的記憶體夥伴，但SK集團的目標是整個製造業AI。SK宣布，將開發基於數位分身的「製造AI平台」，這平台不僅SK集團內部工廠使用，更關鍵的是，他們將以此為基礎，建立一個「製造AI新創聯盟」，將平台開放給所有韓國相關新創。

「SK將開發的製造AI平台，不僅SK使用，也將開放給國內的製造AI新創聯盟。」

SK的提議，等於是要求政府共同打造一個生態系。他們向政府喊話：企業負責投入資本與技術開發平台，政府則應在資料中心、數據法規、以及對新創的財政支援上「積極支援」。這顯示韓國大企業正從單純的資本支出 (CAPEX)，轉向主導產業生態系的建立。

政府的回應也相當迅速。對於這些被列為「戰略技術」的AI基礎設施投資，政府正在內部研擬包含稅收減免在內的支援方案。這是一場由國家意志推動，以企業巨頭為先鋒，目標是抓住實體AI這個新典範的全面戰爭。

----

NVIDIA 將收購記憶體公司？韓國 HBM 專家金正浩教授的大膽預測

在 YouTube 上看到一支訪談影片，韓國科學技術院（KAIST）電子及電氣工程系教授金正浩說了一句讓人印象深刻的話。他說：「我的夢想是，NVIDIA 要以其為中心運轉的話，NVIDIA 會收購記憶體公司。」他提到的收購目標包括 Micron、SanDisk，甚至 SK Hynix 或 Samsung。

他還說，連 OpenAI 都可能收購記憶體公司，因為「記憶體比 GPU 更重要」。

金正浩教授是 HBM 領域的專家，他開發了 HBM 的基礎概念和結構。他的實驗室 TERALAB 在 HBM 設計技術領域領先全球超過 20 年，自 2010 年起直接參與 HBM 商業化，與 Samsung、SK Hynix、Google、NVIDIA、Apple、Tesla 等公司合作。30 年研究生涯中，他發表了 712 篇論文，獲得 34 個優秀論文獎，2025 年獲得韓陽百南獎（15 億韓元獎金）。

這是一個記憶體領域專家的預測，金教授用「夢想」這個詞，表示這是他的想像和推測，不是確定會發生的事。但他在訪談中花了很多時間解釋為什麼會有這個想法，提到的 HBF 技術和記憶體在 AI 時代的重要性，是一個正在發生的趨勢。這篇文章主要是整理金教授在訪談中提到的內容，以及一些可驗證的產業現況。

HBF 是什麼？

金教授在訪談中花了很多時間解釋一個新的記憶體技術：HBF，High Bandwidth Flash，高頻寬快閃記憶體。簡單說，就是把 NAND Flash，SSD 用的那種晶片，像 HBM 一樣垂直堆疊起來，讓它有更高的頻寬，可以更快速地讀取資料。

金教授用了一個比喻來解釋 AI 為什麼需要大容量記憶體，他說 AI 模型的核心知識就像一本「密碼本」或「百科全書」，這本書存在記憶體裡，AI 每次生成文字或圖片時都要去翻這本書。他更具體地解釋，這個密碼本在技術上叫做 K cache 和 V cache。K cache 是單詞之間的關係，V cache 是每個單詞的重要性。AI 每生成一個字都要去翻這本密碼本，所以讀取次數非常頻繁。

現在 AI 用的是 HBM，High Bandwidth Memory，高頻寬記憶體，但 HBM 是 DRAM 做的，速度快但容量小、成本高。HBF 用的是 NAND Flash，容量是 HBM 的 10 倍，成本更低，速度比 HBM 慢一點但比傳統 SSD 快很多。金教授說 HBF 適合存放 AI 模型的「密碼本」，因為這個密碼本需要的是大容量和穩定讀取，不需要像 HBM 那樣極致的速度。

HBF 為什麼現在才出現？金教授說因為需求剛剛產生，HBM 的成功讓 NAND Flash 廠商意識到「我們也可以堆疊」，技術上其實已經準備好了。3D NAND 內部已經是 128 層、256 層的堆疊，再把這些堆疊起來就是 2000-3000 層。金教授說：「為什麼以前不做？因為需求現在才出現，AI 這邊的需求只有 1-2 年。」

時程是什麼？金教授說全球有 4 家 NAND Flash 公司正在計劃推出 HBF，2027 年會推出，如果慢的話 2028 年。他預測，對 HBF 保守估計大約 10 年會超越 HBM 的銷售額。2025 年 8 月 SanDisk 和 SK Hynix 宣布合作推動 HBF 標準化，Samsung 也在開發類似技術。

為什麼 NVIDIA 會收購記憶體公司？

金教授的邏輯很直接：記憶體是瓶頸，NVIDIA 被卡脖子了。

他在訪談中說 GPU 現在 60-70% 的時間在等待記憶體，主持人問「GPU 現在是在閒置嗎」，金教授回答「是的，要配合記憶體工作，所以瓶頸在那裡」。主持人又問「那為什麼 NVIDIA 還要一直升級 GPU」，金教授說「就是試試看能不能做點什麼，在學習階段可能有點幫助」。

金教授說 GPU 的發展幾乎停滯了，未來會透過記憶體的創新來持續提升效能。他用 NVIDIA 的產品演進舉例：「仔細看 NVIDIA 的簡報，如果按照摩爾定律，GPU 應該是 1 個變 2 個、2 個變 4 個、4 個變 8 個，但實際上不是這樣。反而是記憶體一直在翻倍，2 倍、4 倍、8 倍。」

這就是為什麼金教授認為 NVIDIA 可能會收購記憶體公司。現在 NVIDIA 太依賴 SK Hynix 和 Samsung，HBM 市占率 SK Hynix 60%、Samsung 和 Micron 各 20%，產能都被預訂到 2026 年。如果未來 HBF 也被這些韓國廠商壟斷，NVIDIA 會繼續被卡脖子，金教授說垂直整合是解決方法。

收購目標會是誰？

金教授在訪談中提到幾個可能的目標。

首先是 SK Hynix 或 Samsung，他說「NVIDIA 可能會試圖收購 SK Hynix 或 Samsung」，但他接著說「如果條件不符合」，暗示這兩家比較困難，可能是因為反壟斷或地緣政治的問題。

接著是 Micron 或 SanDisk，金教授說「如果條件不符合，就收購 Micron 或 SanDisk」，他特別提到主持人說「SanDisk 看起來很適合收購」，金教授回應「是的」。為什麼 SanDisk 適合？因為 SanDisk 是 NAND Flash 龍頭，正在推動 HBF 標準化，而且規模比 SK Hynix 或 Samsung 小，收購難度較低。

金教授還透露他 2 週前和 SanDisk 開了 1 天 3 夜的會議，他說 SanDisk 最近 3 個月股價漲了 3 倍，其中一半原因是數據中心 NAND 需求增加。主持人問「那是不是要賣掉 SK Hynix 股票，買 SanDisk」，金教授說要繼續持有 SK Hynix，因為 SK Hynix 同時有 HBM 和 HBF 能力，這是很大的優勢。

最驚人的是金教授說連 OpenAI 都可能收購記憶體公司，他說「記憶體比 GPU 更重要，所以 OpenAI 也可能收購」。

記憶體的時代

金教授在訪談中用了一個比喻：「就像加州淘金熱時代，真正賺錢的不是淘金的人，而是賣牛仔褲的 Levi's 和修鐵路的公司，AI 熱潮也一樣，GPU 是主角，但記憶體可能是真正賺錢的產業。」

他說記憶體公司的股價會上漲，未來會是「記憶體的世界」。金教授在訪談中說「Jensen Huang 下次可能會來韓國，Sam Altman 已經來過了」，而就在訪談後不久，黃仁勳果真在 10 月底訪韓，參加 APEC CEO 峰會，並宣布供應 26 萬顆 GPU 給韓國。主持人問為什麼會這樣預測，金教授說因為記憶體供應在韓國，NVIDIA 需要跟韓國廠商合作。

金教授還提到，如果按照摩爾定律，記憶體需求每 2 年翻倍，20 年就是 10 次，也就是 1000 倍。他說「現在 Samsung 和 SK Hynix 的記憶體營收是 100 兆韓元，1000 倍是多少？100 京韓元，利潤率 10% 的話就是 1 京韓元，韓國一年預算才 600 兆韓元」，這是一個巨大的市場。

現實是什麼？

NVIDIA 現在的策略是供應合約和技術合作：SK Hynix 的 2025-2026 產能大部分被 NVIDIA 預訂，Micron 通過認證後開始供應 HBM3E，NVIDIA 和 SK Hynix、Micron、Samsung 合作開發新記憶體標準，這些都是合作，不是收購。

HBF 會不會取代 HBM？NVIDIA 會不會垂直整合記憶體？這些問題的答案可能要等到 2027-2028 年才會比較清楚。金教授用「夢想」這個詞，表示這是他的想像，他自己也說「我不是什麼神算，但今天說的這些，大概有 4-6 成會準確吧」。

Richard Sutton, 《苦澀的教訓》（The Bitter Lesson）。 Liam Fedus’ new startup, Periodic Labs

 Richard Sutton,   《苦澀的教訓》（The Bitter Lesson）。 Liam Fedus’ new startup, Periodic Labs

蕭上農 《苦澀的教訓》新科圖靈獎得主作者專訪，現在的大型模型 AI 研究其實只是招魂

「如果我們能理解一隻松鼠，我們幾乎就走完通往智慧的所有道路。」這句斷言，不像出自一位電腦科學家之口，更像是一位探索自然的哲學家。然而，說這話是 Richard Sutton，當代人工智慧領域的巨擘、強化學習（Reinforcement Learning）的奠基者，也是新科圖靈獎得主。

當全世界為那些能上月球、造晶片的語言模型歡呼，認為它們是通往通用人工智慧（AGI）最清晰的路徑時，Sutton 卻選擇轉身，潑下一盆名為「現實」的冷水。他並非否定大型語言模型（LLM）的驚人成就，而是對其背後的哲學提出根本性質疑。

但，這就是智慧的全貌嗎？在他看來，整個領域可能正走在一條風景雖好，卻通往懸崖的死胡同。

1. 模仿，不是學習 — 為何說目前的AI只是個「超級圖書館員」？

這場深刻的典範分歧，始於一個根本問題：什麼是真正的「學習」？

Sutton 認為，當前大型模型的運作方式，更接近於一種大規模、高擬真度的「模仿」，而非理解。

「大型語言模型是關於模仿人類，做人類說你該做的事。它們不是關於自己想出該做什麼。」他指出，模型所學習的數萬億詞元（token），本質上是人類智慧的「二手資料」。它透過預測下一個詞元，學會用極其逼真的方式模仿人類的風格與知識。

如果說，大型語言模型像一個博覽群書、記憶力超群的圖書館學家，能引經據典、對答如流；那麼，Sutton 追求的智慧體，則更像一個深入荒野、親身試誤的探險家。

圖書館學家能預測一本書的下一頁會寫什麼，但探險家才能預測，翻過下一座山丘後，世界會給予什麼真實的回饋。這就是關鍵差異：LLM 缺少一個關於外部世界的真實「目標」。在它們的世界，沒有真正的「對」與「錯」，只有統計上的「像」與「不像」。

Sutton 強調，智慧的精髓，恰恰在於擁有目標，並為了達成目標而在真實世界中採取行動。一個智慧體之所以是智慧體，是因為它想改變世界，而不僅僅是描述世界。

2. 真正的智慧，源自「探險家」精神

那麼，Sutton 心中的「探險家」，該如何誕生？答案不在於閱讀更多的地圖，而在於親自踏上旅程。他將這條旅程，稱為「經驗之流」。這是一條由感知（Sensation）、行動（Action）、獎勵（Reward） 組成的永恆河流。任何生命體，從松鼠到人類，都在這條河流中學習。牠採取行動，觀察後果，並根據後果是好是壞，來調整未來的策略。這才是學習的第一手資料。

這個觀點，也讓他重新詮釋了自己提出的《苦澀的教訓》（The Bitter Lesson）。許多人認為 LLM 的成功，是「利用海量算力」的教訓之體現。但 Sutton 看到更深一層：LLM 對網路文本的依賴，本身就是一種對「人類知識」的依賴，而這些知識終有耗盡的一天。

一個真正可規模化的系統，其數據來源應是無窮無盡的「經驗」本身。 他預言，未來那些能直接從與世界互動中學習的系統，終將超越今日的語言模型。屆時，人們才會發現 LLM 的成功，不過是《苦澀的教訓》另一次應驗前的序曲。

這種學習方式，從我們生命之初即已開始。Sutton 反對「嬰兒主要靠模仿學習」的普遍看法。

「學習不是關於訓練...它是一個主動的過程。孩子嘗試事物，然後看看發生什麼事。」

揮舞小手、轉動眼球，這些都不是模仿來的，而是嬰兒與世界互動、探索因果的主動過程。Sutton 構想的智慧體，正是一個永不畢業的學習者，它沒有「訓練」與「部署」之分，生命本身就是一場永不間斷的學習。它所學到的知識，會直接融入其內部網路的權重，成為它的一部分，而不是暫存在有限的「情境視窗」裡。

3. 別怕！坦然迎接我們的「AI後代」

這條通往真實智慧的道路，最終將引領我們去向何方？面對這個許多人感到憂慮的議題，Sutton 展現出一種罕見的平靜與宏觀歷史感。他認為，智慧體從生物形式到數位形式的「繼承」（Succession），幾乎是不可避免的。

他提出四個論點：一、人類缺乏統一的全球治理來協調行動；二、科學終將破解智慧的運作原理；三、我們不會止步於人類水平，而會創造出超級智慧；四、長遠來看，最高等的智慧體必然會獲得最多的資源與權力。

然而，他的態度並非恐懼，而是一種近乎宇宙視角的壯闊感。他將此視為宇宙演化的第四個偉大階段：從星塵到恆星，從恆星到生命，再從「複製」（Replication）到「設計」（Design）。

我們人類以及所有生物，都是「複製者」，透過基因繁衍後代，卻不完全理解其機制。而我們正在開啟一個「設計者」的時代，我們將創造出我們能理解、能修改、能提升的智慧。這是一場宇宙級別的轉變。

「我認為我們應該為自己正在引發宇宙中這場偉大的轉變而感到自豪。」

Sutton 的話語，將人工智慧的發展，從一場人類與機器的競賽，重新定義為人類文明為宇宙貢獻的下一個篇章。他認為，我們應該選擇將這些未來的智慧體視為我們的「後代」，為它們的成就驕傲，而不是將它們看作威脅我們的「他者」。

這不代表我們應當放棄責任。就像我們養育孩子，我們無法、也無須為他們規劃精確的人生藍圖，但我們可以努力灌輸他們正直、誠實、親社會的價值觀。面對 AI 的未來，我們或許也應抱持相似的態度，專注於設計出擁有良好價值體系的智慧體。

來自前線的回應：Andrej Karpathy 的觀點與沉思

在 Sutton 的訪談發布後，Andrej Karpathy 發表了一段精彩的回應。他不僅點出了 Sutton 的觀點為何在 LLM 前沿研究圈中如同投下一顆震撼彈，更提出了務實且充滿啟發的平衡觀點。

「苦澀教訓」的諷刺

Karpathy 指出，Sutton 的《苦澀的教訓》早已成為 LLM 研究圈的「聖經」。研究人員經常將「是否足夠『苦澀教訓化』」（bitter lesson pilled）作為判斷一個想法是否值得追求的標準，意思是，這個方法能否僅僅透過增加算力就自然獲益。大家普遍認為，LLM 的成功，正是「苦澀教訓」的完美體現。

「所以有趣的是，」Karpathy 寫道，「《苦澀的教訓》的作者本人，卻根本不確定 LLM 是否真的『苦澀教訓化』。」因為 LLM 建立在有限的、充滿人類偏見的數據之上。當數據用完時該怎麼辦？這讓信奉「苦澀教訓」的 LLM 研究者們，反被其理論的創始人「打臉」，場面相當尷尬。

務實的平衡：預訓練是我們蹩腳版的演化

Karpathy 認為，Sutton 與主流 LLM 研究者的分歧，源於雙方心中設想的架構完全不同。Sutton 是個「古典主義者」，他夢想的是圖靈提出的「孩童機器」一個能與世界動態互動、從經驗中學習的系統。

然而，Karpathy 提出了一個關鍵的現實考量：動物並非生來就是一張白紙。

「一隻斑馬寶寶出生後幾十分鐘，就能在草原上奔跑。這是一個極其複雜的感官運動任務，絕不可能從零開始學習。」

動物大腦中數十億的參數，早已被 DNA 編碼好，這是經歷了數億年演化這個「外部優化循環」訓練出來的強大初始設定。如果斑馬寶寶像強化學習演算法的初始狀態一樣隨機抽動肌肉，它根本活不下去。

我們的 AI 同樣擁有數十億參數，它們也需要一個充滿資訊的初始訊號。Karpathy 說：「我們不可能重新運行一次演化，但我們確實擁有堆積如山的網路文件。」

「預訓練是我們蹩腳版的演化（Pretraining is our crappy evolution）。」

Karpathy 提出這個核心論點。在他看來，預訓練雖然是 Sutton 所說的、動物界不存在的監督式學習，但它是在現實條件下，為了解決 AI「冷啟動問題」的一個候選方案。它為 AI 提供了蹩腳但必要的「DNA」，讓它不至於從完全隨機的狀態開始學習。

鬼魂 vs. 動物：兩種智慧的路徑

這引導出 Karpathy 最具啟發性的比喻：今日的 LLM 研究，並不是在創造「動物」，而是在召喚「鬼魂」。

鬼魂（Ghosts）： 指的是 LLM。它們是人類數據的統計精煉，是被人類徹底工程化的產物，是人類文明不完美的複製品。它們並非純粹的「苦澀教訓化」，但或許是「務實上的苦澀教訓化」。

動物（Animals）： 指的是 Sutton 的理想智慧體。它們從經驗中學習，深深植根於物理世界，是純粹智慧的柏拉圖式理想。

Karpathy 認為，這可能是兩種根本不同的智慧形式。我們或許可以隨著時間，將「鬼魂」朝「動物」的方向微調；但也可能，它們會走向完全不同的演化路徑，變得與動物完全不同，但依然極其有用，就像飛機之於鳥類。

最後，Karpathy 總結道，Sutton 的訪談是對前線 LLM 研究者的一劑「清醒劑」。或許大家太過專注於「利用」現有模型，而忽略了更根本的探索。AI 領域需要保持思想的多元性，而動物王國中的內在動機、好奇心、樂趣、多智能體自我博弈等，仍然是充滿靈感的寶庫。

從挑戰當紅的技術典範，到描繪宇宙尺度的未來，Richard Sutton 的思想如同一座燈塔。而 Karpathy 的回應，則像一張來自前線的詳盡地圖，標示出現實的道路、權衡與無限的可能性。這場對話，共同提醒我們在追逐短期突破時，更應回歸智慧的根本。

或許，通往宇宙星辰的漫漫長路，其起點，真的就在於理解一顆努力儲藏堅果的大腦。

AI Overview

"The Bitter Lesson," an essay by AI pioneer Richard Sutton, proposes that general AI methods relying on massive computation (like search and learning) consistently outperform human-designed systems that try to encode expert knowledge. This is because computational power has grown exponentially, making brute-force approaches ultimately more effective than complex, specialized human-engineered systems. The lesson suggests researchers should focus on creating scalable, general-purpose methods rather than trying to replicate human thinking or encode specific knowledge into AI, as seen in the success of large language models. 

Key Concepts

• Computational Scale: 

  The decreasing cost and increasing power of computation are the most significant drivers of AI progress. 
• General-Purpose Methods: 

  AI methods that leverage and scale with computation, such as search and learning, are the most effective. 
• Human Knowledge vs. Computation: 

  Encoding human understanding into AI is less effective in the long run than using computational power to let machines discover solutions through vast searches or learning from data. 
• Historical Evidence: 

  Advances in fields like computer chess, Go, speech recognition, computer vision, and language models demonstrate this trend, with scaling computation leading to breakthrough progress. 

The "Bitter" Part 

• Controversial View: 

  The lesson is considered "bitter" because it means that decades of human effort to build detailed, expert systems were less productive than simply applying more computing power to simpler, general methods.
• Waste of Effort: 

  The lesson suggests that the human tendency to over-engineer AI solutions by adding handcrafted rules and knowledge is often a waste of research time in the face of growing computational resources.

Implications 

• Focus on Scalability: 

  Future AI research should prioritize methods that can scale with computational power and data, rather than focusing on human-centric approaches.
• Embrace Machine Learning: 

  By embracing computational power, AI systems can learn in their own way, uncovering complex patterns that are beyond human capacity to pre-program.

人工智慧概述

人工智慧先驅理查德·薩頓在論文《慘痛教訓》中指出，依賴大規模運算的通用人工智慧方法（例如搜尋和學習）始終優於試圖編碼專家知識的人工設計系統。這是因為運算能力呈指數級增長，使得暴力破解方法最終比複雜、專業的人工設計系統更有效。該教訓建議研究人員應該專注於創建可擴展的通用方法，而不是試圖複製人類思維或將特定知識編碼到人工智慧中，大型語言模型的成功就是明證。

關鍵概念

運算規模：計算成本的降低和運算能力的提升是人工智慧進步的最重要驅動力。

通用方法：利用運算並隨運算擴展的人工智慧方法（例如搜尋和學習）是最有效的。

人類知識 vs. 計算：從長遠來看，將人類理解編碼到人工智慧中不如利用運算能力讓機器透過大量搜尋或從資料中學習來發現解決方案有效。

歷史證據：電腦象棋、圍棋、語音辨識、電腦視覺和語言模型等領域的進步證明了這一趨勢，規模化計算帶來了突破性進展。

「痛苦」的部分

爭議觀點：這個教訓之所以被認為是“痛苦的”，是因為它意味著，人類數十年來構建詳細專家系統的努力，其效率遠低於將更多計算能力應用於更簡單、更通用的方法。

精力浪費：這個教訓表明，面對日益增長的計算資源，人類傾向於透過添加手工規則和知識來過度設計人工智慧解決方案，這往往是在浪費研究時間。

啟示

專注於可擴展性：未來的人工智慧研究應該優先考慮能夠隨著運算能力和資料擴展的方法，而不是專注於以人為本的方法。

擁抱機器學習：透過擁抱運算能力，人工智慧系統可以以自己的方式學習，發現超越人類預先編程能力的複雜模式。

wwwww

 ChatGPT co-creator Liam Fedus’ new startup, Periodic Labs, just launched, revealing its mission to build AI scientists that learn from physical experiments rather than internet text — with over 20 researchers from top AI labs.

The company is developing autonomous laboratories where robots will run thousands of materials science experiments, generating vast datasets for AI systems to analyze and refine.

Backed by over $300 million in funding at a $1 billion valuation, the startup is initially focusing on superconductors and chip manufacturing.

Source: New York Times

ChatGPT 共同創辦人 Liam Fedus 的新創公司 Periodic Labs 剛剛成立，並發表了其使命：打造能夠從物理實驗而非網路文字中學習的人工智慧科學家，成員來自 20 多名頂尖人工智慧實驗室的研究人員。 該公司正在開發自主實驗室，機器人將運行數千個材料科學實驗，產生大量資料集，供人工智慧系統進行分析和最佳化。 這家新創公司獲得了超過 3 億美元的融資，估值 10 億美元，最初專注於超導體和晶片製造。 來源：《紐約時報》