In One Key A.I. Metric, China Pulls Ahead of the U.S.: Talent
【開啟現代人工智慧八位研究者的故事】
2017年 Google 的八名員工發表了《Attention is all you need》這篇劃時代的論文，為當代人工智慧奠定重要的基石。
文中以神經網路所提出 Transformers （比擬外星智慧而命名）架構，當代人工智慧無論是 ChatGPT、Dall-E 或 Midjourney ，都是奠基於該架構，它所強調的平行化處理方式，促成了當代AI 典範的轉移。
論文共有八名作者，他們加註以隨機方式排名，每位作者的貢獻相同。世界知名的當代人工智慧之父、前多倫多大學退休教授Geoffrey Hinton 表示：「如果不是transformers，我們不會走到今天這個地步。」
目前這八位作者都已經離開谷歌，《WIRED》的 Steven Levy 對他們做了精彩的追蹤。以下節錄自谷歌翻譯。
🔸 Jakob Uszkoreit
Uszkoreit 是著名計算語言學家漢斯（ Hans Uszkoreit） 的兒子。 1960 年代末，漢斯還是一名高中生，他因抗議蘇聯入侵捷克斯洛伐克而在祖國東德被監禁 15 個月。 獲釋後，他逃往西德，在柏林學習電腦和語言學。
當雅各出生時，他來到美國，在加州門洛帕克的一家研究機構 SRI 的人工智慧實驗室工作。 全家最終回到德國，雅各在那裡上大學。
他並不打算專注於語言，但當他開始研究生學習時，他在谷歌的山景城辦公室實習，在那裡他進入了該公司的翻譯小組。 他從事家族生意。 他放棄了攻讀博士學位的計劃，並於2012 年決定加入谷歌的一個團隊，該團隊正在開發一種系統，該系統可以在搜尋頁面本身上回答用戶的問題，而不會將他們轉移到其他網站。
蘋果剛剛推出了 Siri，這是一款虛擬助手，承諾在隨意對話中提供一次性答案，而谷歌高層嗅到了巨大的競爭威脅：Siri 可能會吞噬他們的搜尋流量。 他們開始更加關注 Uszkoreit 的研究團隊。
「這是一種虛假的恐慌，」Uszkoreit 說。 Siri 從未真正威脅過谷歌。 但他很高興有機會深入研究電腦可以與我們進行某種對話的系統。 當時，循環神經網路 —— 曾經是學術上的一潭死水 —— 突然開始超越其他人工智慧工程方法。 該網路由許多層組成，資訊在這些層中傳遞和重新傳遞以識別最佳回應。 神經網路在影像辨識等領域取得了巨大的勝利，人工智慧的復興突然開始。 谷歌正在瘋狂地重新安排其員工隊伍以採用這些技術。 該公司希望系統能夠產生類似人類的回應，自動完成電子郵件中的句子或創建相對簡單的客戶服務聊天機器人。
但該領域遇到了限制。 循環神經網路很難解析較長的文字區塊。 拿一段話來說，喬是一名棒球運動員，吃了一頓豐盛的早餐後，他去了公園，打了兩支安打。 為了理解“兩次打擊”，語言模型必須記住有關棒球的部分。 從人類的角度來說，它必須集中註意力。 公認的解決方案是所謂的「長短期記憶」（LSTM），這是一種允許語言模型處理更大、更複雜的文本序列的創新。 但電腦仍然嚴格地按順序處理這些序列（逐個乏味的單字），並且錯過了段落中稍後可能出現的上下文線索。 「我們使用的方法基本上是創可貼，」Uszkoreit 說。 「我們無法獲得真正能夠大規模發揮作用的正確材料。」
2014 年左右，他開始發明一種不同的方法，他稱之為 self-attention。 這種網路可以透過引用段落的任何其他部分來翻譯單字。 這些其他部分可以闡明單字的意圖並幫助系統產生良好的翻譯。 「它實際上考慮了一切，並為您提供了一種有效的方法，可以同時查看許多輸入，然後以相當有選擇性的方式取出某些內容，」他說。 儘管人工智慧科學家小心翼翼地不要將神經網路的隱喻與生物大腦的實際運作方式混淆，但 Uszkoreit 似乎確實相信自我注意力與人類處理語言的方式有些相似。
Uszkoreit 認為自注意力模型可能比循環神經網路更快、更有效。 它處理資訊的方式也非常適合為支援機器學習熱潮而大量生產的強大並行處理晶片。 它不是使用線性方法（按順序查看每個單字），而是採用更並行的方法（一起查看一堆單字）。 Uszkoreit 懷疑，如果做得正確，你可以專門使用自註意力來獲得更好的結果。
並不是所有人都認為這個想法會震撼世界，包括 Uszkoreit 的父親，他在兒子為公司工作期間獲得了兩項 Google 學院研究獎。 「人們對此感到驚訝，因為它拋棄了所有現有的神經架構，」Jakob Uszkoreit 說。 告別循環神經網路？ 異端！ 「從我和父親在餐桌上的談話來看，我們的看法並不一定一致。」
Uszkoreit 說服了一些同事，用於進行自注意力實驗。 他們的工作顯示出了希望，並在 2016 年發表了一篇相關論文。 Uszkoreit 希望進一步推進他們的研究 —— 該團隊的實驗只使用了極小的文本 —— 但他的合作者沒有一個感興趣。 相反，就像賭徒帶著微薄的獎金離開賭場一樣，他們開始應用他們所學到的教訓。 「這東西起作用了，」他說。 「那篇論文的研究人員對獲得回報並將其部署在谷歌的各個不同地方感到興奮，包括搜索，最終是廣告。 從很多方面來說，這都是一次驚人的成功，但我不想就此止步。」
Uszkoreit 認為自我專注可以承擔更大的任務。 他會向所有願意傾聽的人和一些不願意傾聽的人爭論，還有另一種方法可以做到這一點，他在1945 號大樓的白板上概述了他的願景，該大樓以穀歌園區北邊緣查爾斯頓路的地址命名。
2016 年的某一天，Uszkoreit 與一位名叫 Illia Polosukhin 的科學家在 Google 咖啡館共進午餐。 Polosukhin 出生於烏克蘭，在Google工作近三年。 他被分配到為搜尋欄位中提出的直接問題提供答案的團隊。 事情進展得不太順利。 「要在 Google.com 上回答問題，您需要非常便宜且高效能的東西，」Polosukhin 說。 「因為你有幾毫秒的時間」來回應。 當 Polosukhin 表達不滿時，Uszkoreit 毫不猶豫地想出了補救辦法。 「他建議，為什麼不使用 self-attention 呢？」 Polosukhin 回憶道。
Polosukhin 有時會與一位名叫阿什什・瓦斯瓦尼 (Ashish Vaswani) 的同事合作。 他出生於印度，主要在中東長大，曾前往南加州大學，並在該校的精英機器翻譯小組中獲得博士學位。 之後，他搬到山景城加入谷歌，特別是一個名為「Google大腦」的新組織。 他將 Brain 描述為「一個激進的團體」，相信「神經網路將促進人類的理解」。 但他仍在尋找一個大項目來開展。 1945 年，他的團隊在 Polosukhin 語言團隊隔壁的 1965 號大樓工作，他聽說了 self-attention 的想法。 最終他同意致力於此。
三位研究人員共同起草了一份名為「變形金剛：迭代自我注意力和各種任務處理」的設計文件。Uszkoreit 說，他們從「零日」中選擇了「變形金剛」這個名字。 這個想法是，這種機制會改變它所接收的訊息，使系統能夠提取盡可能多的理解，或至少給人一種錯覺。 此外，Uszkoreit 還擁有與孩之寶可動玩偶玩耍的美好童年回憶。 「我小時候有兩個變形金剛小玩具，」他說。 文件以六輛變形金剛在山區中互相發射雷射的卡通圖片結尾。
報紙開頭的那句話也有些狂妄：「我們太棒了。」
這便是那篇經典論文的開端，剩下的部分太長，我就不貼了，有時間非常推薦去看原文。
In the book, you talk about the use of templates, and how template culture has pervaded nearly every industry. But when we talk about templating literature or artistic works, there’s resistance. Why is that?
It’s the shameful little secret of authorship. Going back for a long time, we’ve relied on templates. But there is a romantic notion of the author as a solitary genius that invents everything by themselves. I’m arguing against that, but the other important part is we should view authorship as labor. We see that right now in a major way with the writer strikes in Hollywood and elsewhere. Labor has been disrupted by automation. But if you were a blacksmith in Victorian England, you just felt automation much earlier, before this templating culture came for the author.
在書中，您討論了模板的使用，以及模板文化如何滲透到幾乎每個行業。 但當我們談到文學或藝術作品的模板時，就會遇到阻力。 這是為什麼？
這是作者身分的可恥小秘密。 回顧很長一段時間，我們一直依賴模板。 但有一種浪漫的觀念認為作者是個孤獨的天才，自己發明了一切。 我反對這一點，但另一個重要的部分是我們應該將作者身份視為勞動。 我們現在在好萊塢和其他地方的作家罷工中看到了這一點。 勞動力已經被自動化打亂了。 但是，如果您是維多利亞時代英國的鐵匠，您會更早感受到自動化，在這種模板文化到來之前。
教育通 AI通 4
Saudi Arabia Plans $40 Billion Push Into Artificial Intelligence
The Middle Eastern country is creating a gigantic fund to invest in A.I. technology, potentially becoming the largest player in the hot market.
3 MIN READ
Apple and Google Are Discussing a Deal to Bring Generative A.I. to iPhones
A partnership would extend the long relationship between the companies that has helped deliver everything from maps to search on Apple’s devices.
3 MIN READ
Inflection AI, raised $1.5 billion in funding, will be responsible for expanding a consumer A.I. business, including Microsoft’s Copilot chatbot, Bing search engine and Edge internet browser.
Microsoft Hires DeepMind Co-Founder to Run Consumer A.I.
Mustafa Suleyman is leaving a start-up called Inflection to take the senior position with Microsoft, in another sign of Microsoft’s aggressive plans for the technology.
A co-founder of Google’s artificial intelligence lab is leaving the start-up he was running to lead Microsoft’s consumer A.I. business.
AlphaFold
Wikipedia
https://en.wikipedia.org › wiki › AlphaFold
AlphaFold is an artificial intelligence (AI) program developed by DeepMind, a subsidiary of Alphabet, which performs predictions of protein structure.
沒有留言:
張貼留言