日期:2024/10/08 IAE 報導
2024 年諾貝爾物理學獎
他們利用物理學來尋找資訊模式
機器學習長期以來對於研究非常重要，包括對大量資料的排序和分析。約翰·霍普菲爾德 (John Hopfield) 和傑弗裡·辛頓 (Geoffrey Hinton) 使用物理工具構建了為當今強大的機器學習奠定基礎的方法。基於人工神經網路的機器學習目前正在徹底改變科學、工程和日常生活。
John Hopfield and Geoffrey Hinton.
Ill. Niklas Elmehed © Nobel Prize Outreach
2024 年物理學獎得主
2024 年諾貝爾物理學獎授予約翰·J·霍普菲爾德(John J. Hopfield) 和杰弗裡·E·辛頓(Geoffrey E. Hinton)，以表彰他們「透過人工神經網路實現機器學習的基礎性發現和發明」。
霍普菲爾德創建了一個可以儲存和重建資訊的結構。 Hinton 發明了一種可以獨立發現資料屬性的方法，這對於現在使用的大型神經網路來說變得非常重要。
瑞典皇家科學院將2024 年諾貝爾物理學獎授予約翰·霍普菲爾德(John Hopfield) 和杰弗裡·辛頓(Geoffrey Hinton)，以表彰他們“通過人工神經網絡實現機器學習的基礎發現和發明” 。
在宣布這一消息後的新聞發布會上，辛頓被問到他對未來的預測：
「我認為這將會產生巨大的影響。它將與工業革命相媲美。但它不會在體力上超越人們，而是在智力上超越人們。我們沒有經歷過比我們更聰明的事物是什麼感覺。
它在很多方面都將是精彩的。在醫療保健等領域，它將為我們提供更好的醫療保健。在幾乎所有行業中，這都會提高效率。人們將能夠在人工智慧助理的幫助下用更少的時間完成同樣數量的工作。這將意味著生產力的巨大提高。
相關文章
新聞稿
熱門訊息：他們利用物理學來尋找資訊模式
科學背景：“透過人工神經網路實現機器學習的基礎發現和發明”
2024 年諾貝爾物理學獎
今年的獲獎者使用物理工具建構方法，為當今強大的機器學習奠定了基礎。約翰·霍普菲爾德創造了一個可以儲存和重建資訊的結構。 Geoffrey Hinton 發明了一種可以獨立發現資料屬性的方法，這對於現在使用的大型人工神經網路來說已經變得很重要。
他們利用物理學來尋找資訊模式
插圖
© Johan Jarnestad/瑞典皇家科學院
許多人都體驗過電腦如何在語言之間進行翻譯、解釋圖像甚至進行合理的對話。也許不太為人所知的是，這種技術長期以來對研究很重要，包括對大量數據的排序和分析。機器學習的發展在過去十五到二十年中呈現爆炸性成長，並利用了一種稱為人工神經網路的結構。如今，當我們談論人工智慧時，我們通常指的是這種技術。
儘管電腦無法思考，但機器現在可以模仿記憶和學習等功能。今年的物理學獎得主幫助實現了這一目標。他們利用物理學的基本概念和方法，發展了利用網路結構來處理資訊的技術。
機器學習與傳統軟體不同，傳統軟體的工作原理就像一種食譜。該軟體接收數據，根據清晰的描述進行處理並產生結果，就像有人收集原料並按照食譜進行處理以生產蛋糕一樣。相反，在機器學習中，電腦透過範例進行學習，使其能夠解決過於模糊和複雜而無法透過逐步指令進行管理的問題。一個例子是解釋一張圖片以識別其中的物件。
模仿大腦
人工神經網路使用整個網路結構來處理資訊。靈感最初來自於了解大腦如何運作的願望。 20 世紀 40 年代，研究人員開始圍繞大腦神經元和突觸網路背後的數學進行推理。另一個難題來自心理學，這要歸功於神經科學家唐納德·赫布（Donald Hebb）的假設，即學習是如何發生的，因為神經元之間的聯繫在神經元一起工作時會得到加強。
後來，這些想法被嘗試透過建構人工神經網路作為電腦模擬來重建大腦網路的功能。在這些模型中，大腦的神經元被賦予不同值的節點所模仿，而突觸則由節點之間的連接來表示，這些連接可以變得更強或更弱。唐納德·赫布的假設仍然被用作透過訓練過程更新人工網絡的基本規則之一。
© Johan Jarnestad/瑞典皇家科學院
20 世紀 60 年代末，一些令人沮喪的理論結果導致許多研究人員懷疑這些神經網路永遠不會有任何實際用途。然而，人們對人工神經網路的興趣在 20 世紀 80 年代重新被喚醒，當時幾個重要的想法產生了影響，其中包括今年獲獎者的工作。
聯想記憶
想像一下，您正在嘗試記住一個您很少使用的相當不尋常的單詞，例如電影院和演講廳中常見的傾斜地板的單詞。你搜索你的記憶。有點像斜坡……也許是徑向……徑向？不，不是那樣。耙子，就是這樣！
這種搜尋相似單字以找到正確單字的過程讓人想起物理學家約翰霍普菲爾德 (John Hopfield) 在 1982 年發現的聯想記憶。當給網路一個不完整或輕微扭曲的模式時，該方法可以找到最相似的儲存模式。
霍普菲爾德先前曾利用他的物理學背景來探索分子生物學的理論問題。當他受邀參加一個有關神經科學的會議時，他遇到了有關大腦結構的研究。他對所學到的東西很著迷，並開始思考簡單神經網路的動力學。當神經元一起行動時，它們可以產生新的、強大的特徵，而這些特徵對於只關注網路獨立組件的人來說是不明顯的。
1980 年，霍普菲爾德離開了他在普林斯頓大學的職位，他的研究興趣使他離開了物理學同事們工作的領域，並搬到了整個非洲大陸。他接受了南加州帕薩迪納市加州理工學院化學和生物學教授職位的邀請。在那裡，他可以使用電腦資源進行免費實驗並發展他關於神經網路的想法。
然而，他並沒有放棄自己的物理學基礎，在那裡他找到了靈感，了解具有許多小組件協同工作的系統如何產生新的有趣的現象。他特別受益於了解磁性材料，這些材料由於原子自旋而具有特殊特性，這種特性使每個原子都成為微小的磁鐵。相鄰原子的自旋相互影響；這可以允許形成具有相同方向自旋的域。他能夠利用物理學描述材料在自旋相互影響時如何發展，從而建立一個具有節點和連接的模型網絡。
網路以風景形式保存影像
霍普菲爾德建構的網路具有透過不同強度的連接連接在一起的節點。每個節點都可以儲存一個單獨的值——在 Hopfield 的第一個作品中，這個值可以是 0 也可以是 1，就像黑白圖片中的像素一樣。
霍普菲爾德描述了網路的整體狀態，其屬性相當於物理學中自旋系統中的能量；能量是使用一個公式計算的，該公式使用節點的所有值以及它們之間的所有連接強度。 Hopfield 網路透過饋送到節點的圖像進行編程，節點被賦予黑色 (0) 或白色 (1) 值。然後使用能量公式調整網路的連接，以便保存的圖像獲得低能量。當另一種模式被輸入網路時，有一個規則會逐一遍歷節點，並檢查如果該節點的值發生變化，網路是否具有較低的能量。如果事實證明，如果黑色像素變成白色，能量就會減少，它就會改變顏色。這個過程一直持續到不可能找到任何進一步的改進為止。當達到這一點時，網路通常會再現其訓練時所使用的原始圖像。
如果您只保存一種模式，這可能不會顯得那麼引人注目。也許您想知道為什麼不直接保存圖像本身並將其與正在測試的另一張圖像進行比較，但 Hopfield 的方法很特別，因為可以同時保存多張圖片，並且網絡通常可以區分它們。
霍普菲爾德將在網路中搜尋已儲存的狀態比喻為在山峰和山谷中滾動一個球，摩擦力會減慢其運動速度。如果球掉落在特定位置，它會滾入最近的山谷並停在那裡。如果給予網路一個接近已保存模式之一的模式，它將以相同的方式繼續前進，直到到達能量景觀中的山谷底部，從而找到其記憶中最接近的模式。
Hopfield 網路可用於重新建立包含雜訊或已部分清除的資料。
-
© Johan Jarnestad/瑞典皇家科學院
Hopfield 和其他人繼續開發 Hopfield 網路功能的細節，包括可以儲存任何值的節點，而不僅僅是零或一。如果您將節點視為圖片中的像素，那麼它們可以具有不同的顏色，而不僅僅是黑色或白色。改進的方法使得保存更多圖片成為可能，並且即使它們非常相似也能區分它們。識別或重建任何資訊都是可能的，只要它是由許多數據點建構的。
使用十九世紀物理學進行分類
記住圖像是一回事，但解釋它所描繪的內容需要更多。
即使很小的孩子也可以指著不同的動物並自信地說出它是狗、貓還是松鼠。他們偶爾可能會出錯，但很快他們幾乎總是正確的。即使沒有看到任何圖表或物種或哺乳動物等概念的解釋，孩子也可以學到這一點。在遇到每種動物的一些例子後，不同的類別就會在孩子的腦海中就位。人們透過體驗周圍的環境來學習識別一隻貓，或者理解一個單詞，或者進入一個房間並注意到某些東西發生了變化。
當霍普菲爾德發表有關聯想記憶的文章時，傑弗裡·辛頓正在美國匹茲堡的卡內基美隆大學工作。他之前曾在英格蘭和蘇格蘭研究過實驗心理學和人工智慧，並想知道機器是否可以學習以與人類類似的方式處理模式，找到自己的類別來排序和解釋資訊。 Hinton 與他的同事 Terrence Sejnowski 一起從 Hopfield 網路開始，並利用統計物理學的想法將其擴展以建立新的東西。
統計物理學描述由許多相似元素組成的系統，例如氣體中的分子。追蹤氣體中的所有單獨分子是困難或不可能的，但可以將它們集中考慮以確定氣體的整體特性，例如壓力或溫度。氣體分子有許多潛在的方式以各自的速度在其體積中擴散，但仍產生相同的集體特性。
可以使用統計物理學來分析各個組件可以共同存在的狀態，並計算它們發生的機率。有些狀態比其他狀態更有可能發生；這取決於可用能量的大小，十九世紀物理學家路德維希·玻爾茲曼用方程式描述了這一點。 Hinton 的網路利用了該方程，該方法於 1985 年以玻爾茲曼機的醒目名稱發布。
識別相同類型的新例子
玻爾茲曼機通常與兩種不同類型的節點一起使用。資訊被饋送到一組，稱為可見節點。其他節點形成隱藏層。隱藏節點的值和連接也為整個網路的能量做出了貢獻。
該機器透過應用一種規則來運行，一次更新一個節點的值。最終，機器將進入一種狀態，其中節點的模式可以改變，但整個網路的屬性保持不變。然後，每種可能的模式都有一個特定的機率，該機率由網路能量根據玻爾茲曼方程式確定。當機器停止時，它會創建一個新的模式，這使得玻爾茲曼機成為生成模型的早期範例。
-
-
© Johan Jarnestad/瑞典皇家科學院
玻爾茲曼機可以學習－不是從指令中學習，而是從給定的例子中學習。它透過更新網路連接中的值來進行訓練，以便在訓練時饋送到可見節點的範例模式在機器運行時具有最高的可能發生機率。如果在訓練過程中多次重複相同的模式，則出現該模式的機率會更高。訓練也會影響輸出與機器訓練範例類似的新模式的機率。
經過訓練的玻爾茲曼機可以辨識出以前從未見過的資訊中的熟悉特徵。想像一下，見到一個朋友的兄弟姊妹，你立刻就能看出他們一定有親戚關係。以類似的方式，玻爾茲曼機可以識別一個全新的例子，如果它屬於訓練材料中找到的類別，並將其與不相似的材料區分開來。
在其原始形式中，玻爾茲曼機效率相當低，並且需要很長時間才能找到解決方案。當事物以多種方式發展時，它會變得更加有趣，這是 Hinton 不斷探索的。後來的版本已被精簡，因為某些單元之間的連接已被刪除。事實證明，這可能會使機器更有效率。
1990 年代，許多研究人員對人工神經網路失去了興趣，但 Hinton 是繼續在該領域工作的人之一。他也幫助開啟了新一輪令人興奮的成果； 2006 年，他和同事 Simon Osindero、Yee Whye Teh 和 Ruslan Salakhutdinov 開發了一種預訓練網路的方法，該方法使用一系列分層的玻爾茲曼機（一個在另一個之上）。這種預訓練為網路中的連接提供了一個更好的起點，從而優化了其識別圖片中元素的訓練。
玻爾茲曼機通常用作較大網路的一部分。例如，它可以用於根據觀眾的喜好推薦電影或電視節目。
機器學習－今天和明天
憑藉 20 世紀 80 年代及以後的工作，John Hopfield 和 Geoffrey Hinton 為 2010 年左右開始的機器學習革命奠定了基礎。
我們現在所見證的發展是透過存取可用於訓練網路的大量資料以及透過運算能力的巨大增長而實現的。當今的人工神經網路通常非常龐大並且由許多層建構。這些被稱為深度神經網絡，它們的訓練方式被稱為深度學習。
快速瀏覽 Hopfield 1982 年發表的關於聯想記憶的文章，可以對這一發展提供一些視角。在其中，他使用了一個有 30 個節點的網路。如果所有節點都相互連接，則有 435 個連接。節點有其值，連接有不同的強度，總共需要追蹤的參數不到 500 個。他還嘗試了一個有 100 個節點的網絡，但考慮到他當時使用的計算機，這太複雜了。我們可以將其與當今的大型語言模型進行比較，這些模型被建構為可以包含超過一兆個參數（一百萬個）的網路。
許多研究人員現在正在開發機器學習的應用領域。哪一個最可行還有待觀察，同時圍繞這項技術的開發和使用的道德問題也存在廣泛的討論。
由於物理學為機器學習的發展提供了工具，因此觀察物理學作為一個研究領域如何從人工神經網路中受益是很有趣的。機器學習早已應用於我們先前諾貝爾物理學獎所熟悉的領域。其中包括使用機器學習來篩選和處理發現希格斯粒子所需的大量數據。其他應用包括減少黑洞碰撞重力波測量中的噪音，或尋找系外行星。
近年來，這項技術也開始用於計算和預測分子和材料的特性，例如計算蛋白質分子的結構，這決定了它們的功能，或者計算材料的哪些新版本可能具有最佳特性用於更高效的太陽能電池。
進一步閱讀
有關今年獎項的更多信息，包括英語科學背景，請訪問瑞典皇家科學院網站 www.kva.se 和 www.nobelprize.org，您可以在其中觀看新聞發布會的視頻、諾貝爾講座等等。有關諾貝爾獎和經濟科學獎相關展覽和活動的信息，請訪問 www.nobelprizemuseum.se。
-
瑞典皇家科學院決定將2024年諾貝爾物理學獎授予
約翰·霍普菲爾德
1933 年出生於美國伊利諾州芝加哥。 1958 年獲得美國紐約州伊薩卡康乃爾大學博士學位。美國新澤西州普林斯頓大學教授。
傑弗裡·辛頓
1947 年出生於英國倫敦。 1978年獲英國愛丁堡大學博士學位。加拿大多倫多大學教授。
“透過人工神經網路實現機器學習的基礎發現和發明”
科學編輯：諾貝爾物理學委員會 Ulf Danielsson、Olle Eriksson、Anders Irbäck 和 Ellen Moons
文字：安娜·達沃爾
譯者：克萊爾‧巴恩斯
圖：約翰·賈內斯塔德
編輯：薩拉·古斯塔夫森
© 瑞典皇家科學院
-
關於獎品
「上述利息應分為五等份，分配方式如下： 一份給在物理學領域做出最重要發現或發明的人…」（摘自阿爾弗雷德·諾貝爾的遺囑）
物理學是阿爾弗雷德·諾貝爾從1895年起在遺囑中首次提到的獎項領域。他自己的研究也與物理學有密切關係。
諾貝爾物理學獎由位於瑞典斯德哥爾摩的瑞典皇家科學院頒發。
查看所有物理學獎得主或了解有關提名過程的更多資訊。
-
-
.jpg)