Silicon Valley has great expectations for agentic AI, in which LLMs can perform actions on a user’s behalf. But several factors make it harder to create agents than chatbots
---朱敬一
《Life 3.0》談人工智慧，有優點也有盲點
本書的作者 Max Tegmark 是 MIT 物理系的教授，作者中譯名「鐵馬克」，他是宇宙學的專家，對於種種物理學知識的應用，差不多已經到了「從心所欲」的境界。他用物理的知識來理解電腦運算、理解神經網路、理解生物繁殖，確實也是成一家之言。例如他說，生物繁殖就是把自己的「亂度」放大，非常像是熱力學第二定律，極大化「熵」。這個說法雖然沒有什麼先驗解釋力，但是卻與現實現象若合符節。
Life 3.0 的關鍵論述是這樣的：生命 1.0 階段，一切演進是由 biological factors 所解釋，差不多是達爾文進化論所描述的情節，所有的物種都在做生物性競逐。到了生命 2.0 階段，人的智慧進場，在 biological factors 之外，創造了許多人造的 infrastructures, 例如語言、數學、物理等知識框架。這些 infrastructures 幫助人類加速演進的步調，逐漸超越其他物種。
到了 life 3.0 階段，人工智慧進場。雖然人工智慧也是人類創造出來的，但是它「比人類更聰明」，能夠創造出更豐富、更高深、超越人類理解的複雜 infrastructures, 進而透過這些，加速演進的速度。例如，像貝多芬、柴可夫斯基這樣不世出的音樂天才，他們的作曲差不多是人類音樂文明的天花板。但是人工智慧絕對可以創作新一波的音樂作品，讓聽眾讚歎不已。當然，Alpha Go 早就已經證明：電腦絕對比人類厲害。
音樂如此、圍棋如此，就更不用說更機械式的突破了：更有效率的電腦運算、更接近量子運算的系統能力、更遙遠的太空探索等。簡單說，鐵馬克認識，這些都是「極限的突破」。他說，所有極限的突破，都是令人振奮的事情。這是一種優秀理工科學工作者的情懷吧。
但是，作者的推論，在這裡有一點跳躍。從 life 2.0 到 life 3.0，除了 infrastructure capacity 的躍進，還有一點更重要的改變：「主體」改變了。李世乭下棋的對手以前是人，將來都是機器；李某人再也下不贏了。佛教以前要度化「無量無邊眾生」，但是將來要度化的對象，難道是機器嗎？
像鐵馬克這樣的物理學者，對於「主體改變」的變化，最關心的是：變得比人類聰明的機器，還會不會聽人類的話？他們會不會自做主張？人類如何才能把這些機器「牽牢牢」？能不能有幾個簡單程式指令如同憲法，框住人工智慧這個可能脫韁的野馬？史丹福大學李飛飛的說法則是：人工智慧的發展必須要「人本」，英文是 human-centered. 鐵馬克差不多也是這種思考。
以上的論述有什麼問題呢？大致說來，潛在問題是這樣的：若干物理科學家與電腦科學家總是習慣性地把「人類」視為單一群體，好像「人類」要想辦法約束「智慧機器」，「我們」要約束「他們」。可是，「我們」真的是單一群體嗎？就拿現狀來說吧。全世界現在競爭人工智慧與量子運算的，其實有兩群人，一是老美、一是老中。這兩個集團根本不把人工智慧當「他們」，反而是美國將中國視為對手、中國視美國為對手。美、中之間，把人工智慧與量子運算的競逐，視為霸權鬥爭最最關鍵的戰略。
不只現在如此，人類歷史上大概每一次科技競爭都是如此：1940 年代的曼哈頓計劃，絕對不是要發展「人類共通的新核能」，而是要發展「能夠摧毀敵軍的新核彈」。當年盟軍與德國之間的競爭，與現在美國與中國之間，有什麼不同？二次大戰之後，納粹主義消滅了，但是人類總是有辦法找到另外一個矛盾，集權/民主啦、共產主義/民主主義啦。這些人類之間的內部矛盾不止是意識形態之爭，而是實質上拘束了核能的研發、應用與拓展。「因為害怕核子武器的擴散，因此限制核能設施的擴散」。
簡單說：人類不是單一群體，我們之間彼此的矛盾，才是影響人工智慧發展的關鍵。大家可以想像：如果全世界最優秀的人工智慧專家分成兩群，一群幫普丁，另一群幫Zelensky。這兩群人設計出來的人工智慧，其目標函數絕對是「摧毀烏克蘭反抗軍」與「摧毀俄羅斯侵略者」。各方的人工智慧都「沒有違背各群體人類的意志」，但是，你確定這是我們期待的發展方向？這個問題，怎麼能忽視呢？忽視了人與人之間的矛盾，直線推理又還剩下多少殘存意義呢？
部分理工學者直線推理的毛病之一，就是把問題簡化為 searching for optimum. 鐵馬克書中用了不少演化的例子。絕大多數的「物競天擇適者生存」的演化，確實是「大自然挑選了那些機大化繁殖率的物種」，讓他們存活下來。但是在人類出現之後， life 2.0 的演化就不再是「極大化理論」的應用，而是一群人與另外其他人的「對抗性賽局」。賽局均衡截然不同於極大化均衡，而這也就是若干直線性思考忽略的地方。要注意喔：這可不是枝微末節的忽略，而是「差之毫釐 繆以千里」。
最後，則是智慧機器取代「人」之後，主體定位的哲學問題。假設智慧機器比人類聰明一千倍，不會腰酸背痛、不需要睡眠、壽命不可限量。人類跟這些更優秀的智慧機器相比，簡直是遜斃了的爛物種。那麼，是不是乾脆我們人類「禪讓」給智慧機器，由他們去突破機限、探索宇宙呢？如果我們人類「禪讓」給更聰明機器，似乎也就不需要回答「是否 human-centered」這一類的問題了，不是嗎？我覺得作者鐵馬克把「突破極限、無窮探索」這個目標賦予極大的權重，但對於「生命」定位卻不夠清晰。這裡，幾乎涉及哲學觀與宗教觀，討論起來真的不容易。
就算將來智慧機器完全可以「自行生產製造機器」，而且其智慧一代比一代高，代代「繁衍」，他們算不算是「生命」？這些智慧機器有邏輯思考、有比較推理、有取捨評估。鐵馬克唯一不確定的，是智慧機器「有沒有意識」。又，究竟什麼是「意識」？鐵馬克的定義是：意識=主觀的體驗。但這有點像是 tautology。什麼又是「主觀」呢？這，大概就到物理學知識的邊界了。到這裡，我不認為鐵馬克的物理學討論能繼續下去。
如果達賴喇嘛「轉世投胎」的描述不是虛幻的，那麼當有主觀意識的生物死亡之後，那個「意識」會投入下一世的某個生命體。從這個比喻去理解，智慧機器就不是「生命」。當機器智慧大幅超越人類，人類做為智力領袖的主體地位遭到取代之後，我們人類就要面臨一個複雜的問題：我們人類生命要禪讓給不是生命的機器，讓他們去遂行「突破極限」嗎？I doubt it. 老實說，我認為這個問題非常天真，幾近愚蠢地天真。
更何況，我覺得我們根本到不了那一天。因為人類之間競逐主宰智慧機器的廝殺，就是天翻地覆的戰局。歷史不是直線的，中間有太多 path-dependent 的分叉。物理學家的直線思考，也許是很好的直線習題，但就只是習題而已。
