35年前的1988年4月，李開復使用統計方法進行語音識別，完勝專家系統方法！

26年前的1997年舉辦的國際象棋人機大賽，AI使用深度統計方法打敗了人類冠軍，再次說明AI使用統計方法比模仿 人類思考行為 更有效！

詳情，見下面的兩篇文章。

第一篇AI文章：李開復2017年8月16日的自述

1983-1988年，我正在卡內基·梅隆大學讀計算機博士。

我正忙著暑期教書，秋天投身奧賽羅人機博弈。這是一種黑白棋游戲，正是這種游戲 機器第一次 真正意義上打敗了人類冠軍。

我的導師瑞迪教授Raj Reddy，是圖靈獎得主、卡內基梅隆大學計算機系終身教授、美國工程院院士，從美國國防部得到了300萬美元的經費，用來做 不指定語者、大詞庫、連續性的語音識別。

瑞迪教授希望機器能聽懂 任何人的聲音，而且 可以懂 上千個詞匯，懂人們自然連續 說出的每一句話。

他計劃采用專家系統來完成項目，因為這個方法 需要的數據不多。

專家系統是早期人工智能的一個重要分支，你可以把它看作是一類具有專門知識和經驗的計算機智能程序系統，一般采用人工智能中的知識表示和知識推理技術來模擬 通常由領域專家才能解決的復雜問題。

但在這個語音識別項目，我不認同專家系統。我相信收集大量的相關數據，建立大型的數據庫，然后對大的語音數據庫 進行分類，有可能解決專家系統不能解決的問題。

再三思考后，我鼓足勇氣，向瑞迪教授直接表達 我的想法。我對瑞迪說：我希望 轉投統計學，用統計學來解決這個“不特定語者、大詞匯、連續性語音識別”。

瑞迪教授耐心地聽完我激情的回答后，用他那永遠溫和的聲音 告訴我：“開復，你對專家系統和統計的觀點，我是不同意的，但是我可以支持你 用統計的方法去做，因為我相信科學 沒有絕對的對錯，我們都是平等的。而且，我更相信一個有激情的人是可能找到 更好的解決方案的”。

那一刻，我的感動 無以倫比。因為對一個教授來說，學生要用自己的方法作出一個與他唱反調的研究。教授不但沒有動怒，還給予充分的支持，這在很多地方是不可想象的。

1987年5月，我們大幅度地提升了訓練的數據庫，采用了新的建模方法，不但能夠 用統計學的方法學習 每一個音，而且可以用統計學的方法學習 每兩個音之間的轉折。針對 有些音的樣本不夠，我又想出了一種generalized triphones方法來合并 其他的音。這三項工作 居然把機器的語音識別率從原來的40%提高到了80%！后來又提高到96%。這個成果撼動了整個學術領域，這不僅是當時計算機領域里最頂尖的科學成果，更鑄就了當代的語音識別技術。

至此，統計學的方法用于語音識別初步被驗證是正確的方向，也讓大家都相信了我用的機器學習方法和隱馬可夫模型算法，并且拋棄了不可行的專家系統方法，專家系統方法只能做到60%的識別率。

從此，所有以專家系統研究語音識別的人 全部轉向了統計方法。

后來，《商業周刊》把我的發明選為1988年最重要的科學發明。

第2篇AI文章：人工智能研究，慘痛的教訓

Richard Sutton，2019年3月13日

翻譯：高章舜，2023年9月20日

長達70年的人工智能研究中可以得出的最大教訓是，利用算力的方法最終是最有效的。最終的原因是摩爾定律，或者更確切地說，是摩爾定律對單位計算成本持續快速下降的歸納和總結。大多數人工智能研究，都假設所需的算力是恒定的情況下進行的。因此在這種情況下，利用人類知識將是提高性能的唯一方法。但是，AI研究項目耗時稍長一點，就不可避免地需要消耗更多的算力。為了在短期內 改進，研究人員 試圖利用他們在該領域的人類知識。但從長遠來看，唯一重要的是利用算力。這兩者不一定矛盾，但實際上它們往往是對立的。花在前者的時間 就不能花在后者身上。而使用人類知識的方法往往使 方法復雜化，這種方法 比不上利用算力的方法，后者 更通用。人工智能研究人員 很晚才發現這一點，教訓慘痛，現在盤點一下是有益的。

在國際象棋“人機大戰”領域，1997年 擊敗世界冠軍卡斯帕羅夫的方法是基于大規模的深度搜索。當時，大多數計算機國際象棋研究人員 對此感到郁悶，他們一直在尋求利用人類對國際象棋特殊結構的理解這一方法。當一種使用特殊硬件和軟件的更簡單、基于搜索的方法 被證明更有效時，這些基于人類知識的國際象棋研究人員 并不認輸。他們說，靠算力的“蠻力”搜索 可能這次贏了，但這不是 一種通用策略，無論如何，這不是 人們下棋的方式。這些研究人員 希望基于人類知識的方法能夠獲勝，但結果卻是：又一次的失敗。

在圍棋“人機大戰”領域也出現了類似的研究模式，只不過是20年以后的事了。通過利用人類知識或比賽的特點來避免海量搜索，這樣做的結果是：投入巨大，但沒有效果；尤其是深度搜索被大規模地證明有效之后。盡管自我學習在1997年首次擊敗世界冠軍的程序中沒有發揮重要作用，但后來可以使用自我學習來學習價值函數，這一點更為重要。通過比賽的自我學習，以及一般的學習，就像搜索一樣，可以進行 大量的計算。搜索和學習是人工智能研究中 使用大量計算的兩種最重要的技術。在圍棋的“人機大戰”中，就像在國際象棋的“人機大戰”中一樣，AI研究人員最初的努力是利用人類的知識和理解，以避免 使用搜索，直到很久以后使用搜索和學習才戰勝了人類選手，取得了更大的成功。

在語音識別 領域，早在20世紀70年代 就有一個由DARPA贊助的競賽。參賽者 包括一系列利用人類知識的方法 — 單詞的、音素的、人類發聲的知識等。另一方法是使用隱馬爾可夫模型(hmm)的新方法，這個方法本質上更偏向于統計，需要進行更多的計算。統計方法比基于人類知識的方法更有效。這導致了整個自然語言處理領域的重大變化，在幾十年的時間里，統計和計算逐漸主導了這個領域。最近深度學習在語音識別領域的興起是朝著這個方向邁出的最新一步。深度學習方法對人的知識依賴更少，但使用更多的算力，以及在龐大的訓練集上學習，來產生更好的語音識別效果。就像在比賽中一樣，AI研究人員總是 試圖讓計算機識別系統 按照研究人員的思維方式運行 — 他們試圖 將這些知識放入系統中 — 但這適得其反，而且浪費了研究人員 大量時間。因為通過摩爾定律，大規模計算越來越可行，也找到了一種方法來充分利用這些強有力的算力。

在計算機視覺領域，也有類似的模式。早期的方法將視覺設想為搜索邊緣、或廣義圓柱體、或SIFT特征。但今天，早就不用這些方法了。現代深度學習神經網絡只使用卷積和某些不變式，并且表現得更好。

這教訓夠大，我們還沒有完全了解 這一領域，我們還在犯同樣的錯誤。為了看到 這一點，我們必須理解 這些錯誤是如何發生的。我們必須吸取 痛苦的教訓，從長遠來看，人類知識思維方式在AI是走不通的。痛苦的教訓是基于歷史觀察：

1)人工智能研究人員 經常試圖將知識構建到他們的AI系統中；

2)這總是在短期內 有所幫助，并且使研究人員個人滿意；

3)從長遠來看，它會停滯不前，甚至會抑制進一步的進展；

4)突破性進展 最終會通過基于搜索和學習的可伸縮的計算方法來實現。

最終的成功是苦澀的，而且往往是不能完全理解的，因為違反了普通人的認知。

我們應該從這個慘痛的教訓中學到的一件事是 通用方法的強大，這些方法 隨著計算量的增加而不斷擴展。在這種情況下，有兩種方法似乎可以按需擴展：搜索和學習。

從痛苦中學到的第二個教訓是，思想實際是極其復雜的；我們不該用偷懶的方法來考慮思想的內含，這些偷懶的方法如：僅僅考慮空間、物體、多個AI系統或簡單的對稱性，它們只是隨意的、復雜的外部世界的一小部分，它們不應該被內置，因為它們的復雜性是無限的；相反，我們應該只構建能夠發現和捕獲這種復雜性的高一層次的方法。通過這些方法，可以找到很好的近似值，但對它們的搜索應該由我們的方法，而不是我們自己。我們希望人工智能系統能夠像我們一樣 去發現，而不是發現我們已經知道的東西。

英語原文：www.incompleteideas.net/IncIdeas/BitterLesson.html