Journal 新生歲月: 有情世界：書與人9 管理行為：管理學與AI 的融合 1996 (每章加" 評論與發揮 COMMEMTARIES)；諾貝爾經濟學獎 1978 Administrative Behavior, 4th Edition: Simon, Herbert A. 牟中原講美國統計力學老師的故事；有一段時間人工智慧不叫AI, 而是叫統計力學 How a subfield of physics led to breakthroughs in AI – and from there to this year’s Nobel Prize

2024年10月14日星期一

有情世界：書與人9 管理行為：管理學與AI 的融合 1996 (每章加" 評論與發揮 COMMEMTARIES)；諾貝爾經濟學獎 1978 Administrative Behavior, 4th Edition: Simon, Herbert A. 牟中原講美國統計力學老師的故事；有一段時間人工智慧不叫AI, 而是叫統計力學 How a subfield of physics led to breakthroughs in AI – and from there to this year’s Nobel Prize

牟中原講美國統計力學老師的故事

牟中原

AI 教父Hinton 得諾貝爾物理奬使很多人驚訝，但我覺得更令人吃驚的是他辭去工作了10年的Google 然後到處演講努力告訴世人AI 的危險性。

Hinton利用一個例子來體現大模型甚至擁有超越人類的類比思維，而不是簡單重複自己之前預訓練學習過的內容。以下是常用的的兩個例子。

（1）訊問 GPT-4，為什麼堆肥堆像原子彈？大多數人回答不出來。大多數人沒有想過，他們會認為原子彈和堆肥堆是非常不同的東西。但 GPT-4 會告訴你，它們的能量規模非常不同，時間規模非常不同。但它們的共同點是，當堆肥堆變得更熱時，它產生熱量的速度更快；當原子彈產生更多的中子時，它產生中子的速度也更快。所以這就得到了連鎖反應的概念。（他當初問這問題時曾確認過，網路上從來沒有人問過這個問題）

大模型似乎理解這兩種連鎖反應，並使用這種理解將所有這些資訊壓縮到它的權重中。如果它確實在這樣做，那麼它將會對我們還沒有看到的所有事物進行同樣的操作。這就是創造力的來源 —— 看到這些表面上截然不同的事物之間的類比關係。

（2）問GPT-4, 我有三個房間分別漆成白、藍、黃，並說黃色的在一年會褪成白色。一年以後我希望他們都是白色。回答是你只要把藍色的漆成白色的就可以。這回答其實使Hinton 非常吃驚，因為GPT-4 並沒有內建的邏輯推理程式。是他自己學到的。

Hinton在採訪時表示，大腦認知實際上採用了和大模型一樣的處理邏輯。即大腦將這些符號轉換為嵌入，並使用多層嵌入，因而大腦將得到非常豐富的嵌入。而嵌入仍然與符號相關聯。人們曾認為符號處理只是簡單地匹配符號，一個符號只有一個屬性：要麼與另一個符號相同，要麼不相同。實際並不是這樣，而是利用上下文為符號提供嵌入向量，然後利用這些嵌入向量之相互作用而思考。。這使他非常擔心，AI 的創意及推理能力馬上會超過人類很多。他現在同時也被叫做「末日教父」