中國教育在線
中國教育在線
李星:從ChatGPT的誕生中,我們學到了什么?
2023-03-28 15:53:00
中國教育網(wǎng)絡
作者:

李星

CERNET網(wǎng)絡中心副主任、清華大學教授

  對于人工智能領域來說,ChatGPT是一個嶄新的起點。雖然它給出的內(nèi)容對錯參半,但是它可以幫助我們拓寬思路,給予我們新的靈感。ChatGPT的成功無疑是巨大的,那么它為什么成功,我們能從中學到點什么,理解出什么,都值得進一步分析。

  ChatGPT的理論基礎與“無限猴子定理”

  ChatGPT是一個大語言模型(Large Language Model)。一般來說,語言模型有兩種,分別是next token prediction和masked language modeling。Next token prediction指單向推導,即知道最前面的話,一步步推導出后面的話,每次推導時都找最有道理的一個字,從而遞歸串出一整句話。另一種則是先確定開頭結(jié)尾的內(nèi)容,據(jù)此去推測中間的內(nèi)容。

  有一個定理叫做“無限猴子定理”,而ChatGPT可以說就是一只升級版的、講邏輯、懂道理的猴子。

  “無限猴子定理”認為,讓一只猴子在打字機上隨機地按鍵,當按鍵時間達到無窮時,猴子幾乎必然能夠打出任何給定的文字,比如莎士比亞的全套著作,也曾有人用電腦虛擬的猴子來模擬執(zhí)行這一定理。2004年8月4日,電腦模擬的猴子在經(jīng)過4.21625×10^28個猴年之后,打出了以下內(nèi)容“VALENTINE.Ceasetoldor:eFLPOFRjWK78aXzVOw- m)-;8t......”而這胡亂敲打出的前十六個字母,正屬于莎士比亞的劇作《維洛那二紳士》的第一行:VALENTINE: Cease to persuade, my loving Proteus.

  如果說猴子的選擇來自于純粹的巧合、運氣與概率,那么ChatGPT的選擇則是基于模型運算,把大概率有用的字詞留下,無用的字詞撇去,從而得到一句符合人類邏輯的話。

  沒有試錯就沒有ChatGPT

  人工智能的發(fā)展歷程大概可分為三個階段。1950年圖靈最早提出了人工智能的概念,他在論文中直截了當?shù)靥釂?,“機器是否可能具有人類智能?”開創(chuàng)了人工智能領域的先河。

  1997年,IBM的超級計算機“深藍”(Deep Blue)以2勝1負3平的成績戰(zhàn)勝了當時世界排名第一的國際象棋大師加里·卡斯帕羅夫,一時間轟動全球。但是,“深藍”還算不上足夠智能,因為它的算法核心是暴力搜索,換言之,它每走一步,都是在窮舉后續(xù)所有可能的情況下再做出決策。再后來,機器學習算法如雨后春筍般涌現(xiàn),包括線性回歸法、邏輯回歸法、決策樹法、隨機森林法、最近鄰居法、貝葉斯法、支持向量機法、 k 平均法、強化學習法等,每一個新算法都是對舊算法的改進與提升。


艾倫·圖靈與其論文


深藍打敗象棋大師加里·卡斯帕羅夫


機器學習的常見方法

  最簡單的方法是線性回歸,如果對數(shù)據(jù)進行線性回歸后發(fā)現(xiàn)依然有問題,那就在此基礎上做邏輯回歸;但選項也可能不止A、B兩種,此時我們就構造決策樹呈現(xiàn)出多種選擇;但決策樹是一門走過去,如果決策錯了怎么辦?于是就出現(xiàn)了隨機森林算法,用多棵隨機生成的決策樹來生成最后的輸出結(jié)果。

  所以說每一個理論、算法都是研究人員在前人的基礎上探索、摸索而來,是一代代人不斷在已有的基礎上創(chuàng)新、更新,思考下一步如何做得更好,而非一開始就設計、錨定了最終結(jié)果。

  機器學習中主要有三類學習的方式,分別是監(jiān)督式學習、非監(jiān)督式學習和強化學習。監(jiān)督學習是從外部監(jiān)督者提供的帶標注訓練集中進行學習(任務驅(qū)動型)。非監(jiān)督學習則是一個典型的尋找未標注數(shù)據(jù)中隱含結(jié)構的過程(數(shù)據(jù)驅(qū)動型)。強化學習則會告訴模型自身好不好,給予模型更大的探索自由,從而突破監(jiān)督學習的天花板。

  三者之間也是漸進式前進的關系,為了應對更多問題,人們總是基于一個已有的方法,想方設法找出一個更一般性的方法進行超越,超越完成后自然進入下一個階段。

  隨著數(shù)據(jù)量的增加,傳統(tǒng)的機器學習方法表現(xiàn)得不盡人意。在監(jiān)督式學習下就出現(xiàn)了一個嶄新的分支——深度學習。深度學習的基礎是神經(jīng)網(wǎng)絡,即通過模擬人的神經(jīng)元系統(tǒng)做出判斷。神經(jīng)網(wǎng)絡有輸入層、輸出層和隱藏層,輸入通過非線性函數(shù)的加權后得到了最終的輸出,而我們要做的就是根據(jù)誤差準則調(diào)整權重參數(shù),不需要,也不可能完全知道這些參數(shù)選擇的具體原因。

神經(jīng)網(wǎng)絡模型示意圖

  什么叫深度學習?神經(jīng)網(wǎng)絡的層數(shù)直接決定了它對現(xiàn)實的刻畫能力,但是原來隱含層只有一層,對稍微復雜一些的函數(shù)都無能為力。為此,就可以多加一些隱含層,深度學習由此誕生。早期的深度學習又有兩個常用的方法,即卷積神經(jīng)網(wǎng)絡(CNN)與循環(huán)神經(jīng)網(wǎng)絡(RNN),前者專門解決圖像問題,最大利用圖像的局部信息,將局部特征拼接起來,從而得到整幅圖的特征,類似于通過拼圖來還原圖像;后者則專門解決時間序列問題,用來提取時間序列信息,其最重要的特征是具有時間“記憶”的能力,就像人只有記住前面的對話內(nèi)容,才能決定之后該說什么一樣。

  此外,生成模型也是深度學習領域內(nèi)較為重要的一類模型。生成對抗網(wǎng)絡(GAN)是一種讓兩個神經(jīng)網(wǎng)絡相互博弈從而完成學習的生成模型,其由一個生成器和一個判別器組成。比如說,生成器生成了一只虛擬狗,判別器需要將其與真實世界中的狗作對比,并判斷虛擬狗是否“過關”,生成器和判別器相互對抗、不斷學習,最終目的是使虛擬狗無限接近于真實的狗,讓它通過判別器的檢驗。

  自此,三大模型流派形成—— CNN,RNN和GAN,語言模型屬于RNN模型之流。但RNN模型依舊有其缺陷,對于相隔越久的信息,它的記憶力就越差,那么對于過去很久但有用的信息,它就很容易遺漏。為了提高RNN的記憶力,人們又開發(fā)了Self-attention自注意力模型,運用抓大放小的思想,不管重要的東西在哪,都更注重對它的加權,強化對它的注意力,讓模型牢牢將其印入“腦海”。

  在上述各類模型的基礎上,ChatGPT的核心結(jié)構——Transformer模型橫空出世,中文翻譯也很恰切,譯為變形金剛。

  那什么是變形金剛?簡單來說,它就像是一個黑盒子,在做文本翻譯任務時,我們輸入一個中文,經(jīng)過這個黑盒子,就得到了翻譯后的英文。

  如果我們探秘黑盒中的內(nèi)容,可以看到黑盒由若干個編碼器(Encoder)和解碼器(Decoder)組成,同時盒子里還具備并行(Multi-headed)和自注意力(Self-attention)機制,自注意力機制負責挑選出重要的有用的信息,并行機制則負責對這些信息進行并發(fā)處理,有了這兩大特性,變形金剛也就可以同成千上萬人同時對話,奠定了商業(yè)化的基礎與可能。

  回溯人工智能的歷史,可以發(fā)現(xiàn)模型的成功歸根結(jié)底來源于試錯。一開始是簡單的人工神經(jīng)網(wǎng)絡,后來是卷積神經(jīng)網(wǎng)絡、遞歸神經(jīng)網(wǎng)絡,每一步都使我們對模型的理解愈發(fā)深入。而在用其解決問題的過程中,一旦發(fā)現(xiàn)現(xiàn)有方法的不足,研究人員就會想方設法在原有基礎上改進,從而開發(fā)出新的模型。

  雖然我們看到了成功的CNN、RNN模型,但在我們的視野之外,可能還會有別的模型沉寂于歷史長河中。但是,看不到不意味著不重要。如果沒有那些失敗的嘗試幫助我們排除了錯誤的技術路線,就不會有CNN、RNN的成功,變形金剛的成功和ChatGPT的出現(xiàn)更無從談起。

  所以創(chuàng)新、創(chuàng)造都是在不斷試錯、迭代中出現(xiàn),不可能預先設計好路線,一蹴而就。因此,若想有創(chuàng)新,就必須有配套機制,允許科研人員大量試錯,盡快改進。只要有成熟的機制,能快速迭代、改進,科研人員就不怕犯錯,不怕冒險,不怕沒有成果,也就不怕再接再厲、不停嘗試。因此,要鼓勵大膽思考,大膽試驗,即便失敗了也要表揚、肯定。否則就會形成“喪事當喜事辦的壞習慣”,創(chuàng)新也就沒戲唱。

  創(chuàng)新與機制密不可分 失敗也是創(chuàng)新成功的基礎

  ChatGPT是初創(chuàng)公司的產(chǎn)物,不是大公司,更不是國企,這其中有一定的必然性。大公司激勵機制的依據(jù)是職工的KPI,但小公司是創(chuàng)業(yè)公司,一旦做出了大的成果,公司就可以上市或者收到巨大的市場效益,這種激勵舉足輕重。如果激勵機制不合適,比如所有人都是低工資,那么人們的積極性就會降低;所有人都是高工資,也無法激發(fā)進取心與積極性。只有科研人員的投入、興趣與其回報成正比才能激勵人們?nèi)σ愿啊?/p>

  德國、日本的工業(yè)很發(fā)達,但是德國、日本的創(chuàng)新程度依舊不及美國,這是因為它們的激勵機制不同。美國的產(chǎn)業(yè)是高度市場化的,資金籌集來自于風險投資,而德國、日本依舊依靠大銀行資助。

  真正的顛覆性的創(chuàng)新,一定來自于市場驅(qū)動的機制。風險投資一百個公司,可能九十幾個都失敗了,成功的只有一兩個,但只要有一個成功了,回報就是成千上百倍的。雖然德國、日本也可以做一些輔助性的創(chuàng)新,但是它們的創(chuàng)造很難具有完全的革命性,因為在它們的激勵機制下,投資方對成果、回報有要求,創(chuàng)造者就要為錯誤負責,那么人們就會害怕犯錯,小心翼翼不敢輕舉妄動,只敢在“安全區(qū)”內(nèi)做一些小成果。而這也再次證明,創(chuàng)新是一種可能,帶有必然的風險,如果要求資金投入一定有相應成果,那么一定會扼殺創(chuàng)新的空間。

  此外,很多人沒有意識到的是,當我們發(fā)現(xiàn)一個東西錯了,錯誤本身就是一個非常大的成果,雖然投入的成本泡湯了,但是這個路子不用蹚了,錯誤選擇被排除了,那么我們離最終的成功一定是更近了。

  我曾有個機會去美國國家科學基金會(NSF),那里的人給我看了他們之前資助過的項目,其中一些項目好像還有些道理,但是有的看上去就天馬行空,似乎是胡說八道。他們卻表示,美國NSF資助的項目只會成功不會失敗,這是為什么呢?

  NSF的人給出了兩條解釋:第一,真正的創(chuàng)新項目可能看上去就是胡說八道,如果都是自圓其說、在我們理解范圍內(nèi)的東西,那就說明還不夠新,所以我們必須要容忍看上去胡說八道或不靠譜的項目,說不定它們就是大成果的孵化器;第二,此類項目一般是由教授和他們指導的研究生去承擔。實際上,一個研究生完成了一個失敗項目,他本人的收獲和對于社會進步的貢獻一定比做一個成功的項目更大。而且在美國,即使項目沒有正向成果,對失敗原因進行有效總結(jié)后也可以拿到學位。

  這兩條解釋可以說意味深長、引人深思,尤其是第二條。第二條正是在說明,我們必須要允許人失敗、犯錯,因為犯錯之后,就會收獲相應的教訓、經(jīng)驗,將來就不會再犯相同的錯誤,后來者也不會再犯同樣的錯誤,因此犯錯也是一種貢獻,甚至可能比成功的貢獻更大。創(chuàng)新正是在千千萬萬次嘗試與犯錯后修正路線、逼近成功,這是個人成長和創(chuàng)新出現(xiàn)的必然且科學的過程,這也是為什么我們必須要有允許犯錯的體制機制。

  ChatGPT后,教育何為?

  ChatGPT可以把海量的信息和數(shù)據(jù)匯集起來,非常全面,在這一層面上,人類難以望其項背。既然ChatGPT能回答各式各樣稀奇古怪、刁鉆、偏僻的問題,那我們就要思考,人的價值是什么?如果我們的教育最終讓人回答出了與ChatGPT同樣的答案,那么教育還有何意義?如果要我回答,教育的價值就應當是培養(yǎng)學生想出不同于ChatGPT的答案的能力,未來教育的目標也應當如此。

  因此,未來的教育,應當注意培養(yǎng)批判性思維、邏輯能力,并且允許年輕人暢所欲言、自由思想,再給予他們充分的試錯空間。

  首先,要培養(yǎng)孩子的批判性思維。有些國家對孩子的教育是,誰說的話都可以被挑戰(zhàn)、質(zhì)疑。而且孩子必須講不同于老師的話,而不是對老師的觀點全盤接受、信以為真。在這種教育理念下,孩子們更傾向于擁有自己的判斷,相信自己的判斷,勇于質(zhì)疑。

  其次,要培養(yǎng)孩子們的邏輯能力,ChatGPT的回答基本符合人類邏輯,一言一語都有因果關聯(lián),都是由前推后、由此及彼,所以它的回答有意義,也能解決我們提出的問題。而我們培養(yǎng)孩子的思考能力、邏輯能力,就是培養(yǎng)他們真正解決現(xiàn)實問題的能力。

  第三,要有探索的空間,否則無法創(chuàng)新。為什么 ChatGPT 由初創(chuàng)公司而非大公司創(chuàng)造而成?除激勵機制外,還因為社會對它們的容忍度更高,所以初創(chuàng)公司的自由度更高,即便發(fā)表了錯誤、出格的內(nèi)容大家也并不在意。但對于微軟、谷歌等大公司來說,“小心駛得萬年船”才是值得恪守的原則,萬一出現(xiàn)錯誤,就難免對名譽造成巨大影響,公司效益也會因而受損。因此,做 AI、 前沿科技的一定是小公司,小公司的自由度更高,不怕犯錯,探索空間就更大,而這也證明只有言論自由、思想自由后,探索才能自由,探索自由后,創(chuàng)新才能生根發(fā)芽。

  未來教育的目標

  未來教育的目標是,年輕人會提出正確的問題,并且判斷答案是否合理,中間的過程就是人和機器的交互,讓機器、人工智能幫助我們?nèi)ネ瓿珊芏喙ぷ?。但這并不代表人與人之間無需再有交流,相反,人和人的交互依然需要,而且更加重要。

  知名組織理論家羅素·艾可夫曾提出由數(shù)據(jù)、信息、知識、智慧組成的知識金字塔。在知識金字塔中,每一層都比下一層多擁有一些特質(zhì)。數(shù)據(jù)來源于我們的原始觀察與度量,信息來源于我們對數(shù)據(jù)的篩選、整理與分析,知識則來源于我們對信息的加工、提取與評價,而智慧作為我們獨有的能力,意味著我們可以收集、加工、應用、傳播知識,以及預測事物的發(fā)展與未來走向。

  ChatGPT之后,甚至在其出現(xiàn)以前,計算機對于數(shù)據(jù)處理、信息處理以及知識處理都已經(jīng)非常在行。雖然機器和人工智能并不“懂”知識,但是它可以存儲、調(diào)用知識,可以在特定的情境里與人交互,給出的答案也合乎情理。因此,未來的教育應當是教人擁有智慧,而不僅僅是擁有知識、信息與技能。智慧是設計體系結(jié)構的能力,而技能僅僅是依照設計搬磚添瓦的能力,智慧與思維是創(chuàng)新真正的來源,而知識與技能則相當次要。


知識金字塔

  有些大學為防止學生作弊而禁止其使用ChatGPT,我覺得此舉值得商榷。ChatGPT是個工具,是種技術,而技術是道德中立的,關鍵在于老師應改變傳統(tǒng)的考核方式以適應它的出現(xiàn)。斯坦福大學曾統(tǒng)計,50% 的學生做學期論文時都用到了ChatGPT。因此在這種趨勢下,老師必須學會如何考核。

  一個可用的考核方式是:學生用ChatGPT完成一道題后,必須能給別人講清楚答案中哪些是對的,又有哪些是錯的。可能學生又會把這個問題拋回給ChatGPT,再采用它的答案,但關鍵是,如果你問得太深入,ChatGPT自己就會“崩潰”,答案也會漏洞百出。在這種情況下,學生就必須要動腦子,要靠自己找到最初答案的漏洞。而老師正可以對這一點做考察,看學生能否找到ChatGPT的漏洞,能找到,就說明學生已將知識掌握透徹。

  我們這一代人是“數(shù)字移民”,新一代的孩子是“數(shù)字原住民”,所以我們一定要為他們創(chuàng)造自由的空間,而不是讓他們因循守舊、依照傳統(tǒng)行事。

  科研的層次與大學的包容

  科研必須要區(qū)分層次。大型項目是國家發(fā)展、社會前進的根本,例如美國NASA牽頭的各類航天、物理項目,中國舉國體制支持的各種重大項目,這些目的明確、規(guī)模投入巨大的項目是不可或缺的。

  但與此同時,小型的、看上去“沒用”的項目也必須存在。因為科研是一種探索未知的活動,未來哪個項目能開花結(jié)果,哪個能“冒泡”,我們當下都是霧里看花,看不真切。所以我們必須要包容一些人,去做一些可能毫無用處的東西,或者是有點出格、方向冷僻的東西,我們必須要讓這些人生存,讓一些可能存在。

  如果大學的考核制度過于嚴苛,青年教師們只能為了保住自己的工作去做“短平快”、功利性的研究,那么優(yōu)秀的人無法靜心思考真正的問題,只能為科研而科研,只做實用性強的科研,這對于科研是一種實質(zhì)性的損害。

  所以我也有個理論:大學,要培養(yǎng)精神境界高的、有教養(yǎng)的人,還要包容一些特立獨行的看似是在胡思亂想的“無用的人”的存在。有些研究當下看似沒有一點用處,但可能百年之后就有了大用,這都是我們預料之外的事。

  有些全球頂尖大學就會保留不同類型的人才,把一些聰明、能干但怪異、另類的人養(yǎng)在大學里。未來,我們也可以嘗試包容各式各樣的人才,讓他們做些有意思的、胡思亂想的、短期內(nèi)沒有結(jié)果甚至沒用的東西,或許現(xiàn)在的無心插柳,在未來就變成了夏日炎炎里茂密濃郁的柳蔭。

  本文根據(jù)CERNET網(wǎng)絡中心副主任、清華大學電子工程系李星教授報告、訪談整理。

免責聲明:

① 凡本站注明“稿件來源:中國教育在線”的所有文字、圖片和音視頻稿件,版權均屬本網(wǎng)所有,任何媒體、網(wǎng)站或個人未經(jīng)本網(wǎng)協(xié)議授權不得轉(zhuǎn)載、鏈接、轉(zhuǎn)貼或以其他方式復制發(fā)表。已經(jīng)本站協(xié)議授權的媒體、網(wǎng)站,在下載使用時必須注明“稿件來源:中國教育在線”,違者本站將依法追究責任。

② 本站注明稿件來源為其他媒體的文/圖等稿件均為轉(zhuǎn)載稿,本站轉(zhuǎn)載出于非商業(yè)性的教育和科研之目的,并不意味著贊同其觀點或證實其內(nèi)容的真實性。如轉(zhuǎn)載稿涉及版權等問題,請作者在兩周內(nèi)速來電或來函聯(lián)系。