最詳細全文翻譯（上）｜微軟155頁大工程*揭示GPT-4超能力

真格基金|其他|other else|

2023-03-31 03:09:56 786

某些未知的事物正在做著我們不了解的事。

-- Sir Arthur Eddington

真格投資團隊為大家?guī)砹诉@篇微軟的大工程，長達 155 頁的優(yōu)秀工作《人工通用智能的小火苗：與 GPT-4 共同完成的早期實驗》（Sparks of Artificial General Intelligence: Early experiments with GPT-4），由于全文近 7 萬字，受微信推文字數(shù)限制，我們將完整版分為了上下兩期，分列本次推送的第二和第三條。

你現(xiàn)在打開的是完整版（上），顧名思義，是簡單粗暴的全文翻譯。但需要強調(diào)的是，我們的目標不是全網(wǎng)最快，而是最完整、最易讀、最*。

也歡迎閱讀今日推送頭條發(fā)布的精華整理，迅速汲取全文重點～

Enjoy～

0. 摘要

Abstract

人工智能（AI）研究人員一直在開發(fā)和完善大型語言模型（LLMs），這些模型在各種領(lǐng)域和任務(wù)中表現(xiàn)出*的能力，挑戰(zhàn)了我們對學習和認知的理解。OpenAI 最新開發(fā)的 GPT-4 [Ope23] 模型是使用前所未有的算力和數(shù)據(jù)量進行訓練的。在本文中，我們報告了我們對 GPT-4 早期版本的測試，當時 OpenAI 仍在對其進行開發(fā)。我們認為（這個早期版本的）GPT-4 屬于新一批 LLMs（如 ChatGPT 和 Google 的 PaLM），這些模型比以前的 AI 模型展現(xiàn)出更普適的智能。我們討論這些模型不斷提升的能力和影響。我們證明了除了其對語言的掌握外，GPT-4 可以完成涉及數(shù)學、編程、視覺、醫(yī)學、法律、心理學等新穎而困難的任務(wù)，同時無需任何特殊提示。此外，在所有這些任務(wù)中，GPT-4 的表現(xiàn)與人類水平的表現(xiàn)非常接近，并且通常遠遠超過了先前的模型，如 ChatGPT?？紤]到 GPT-4 的廣度和深度的能力，我們認為它可以被合理地視為人工通用智能（AGI）系統(tǒng)的早期（但仍不完整）版本。在我們對 GPT-4 的探索中，我們也需要特別強調(diào)我們發(fā)現(xiàn)的其局限性，并討論了邁向更深入和*的 AGI 版本所面臨的挑戰(zhàn)，包括可能需要追求超越下一個單詞預測的新范式。最后，我們對最近技術(shù)飛躍的社會影響和未來的研究方向進行了反思。

1. 介紹

Introduction

智能是一個多方面而難以捉摸的概念，長期以來一直挑戰(zhàn)著心理學家、哲學家和計算機科學家。1994 年，一組 52 名心理學家簽署了一份有關(guān)智能科學的廣泛定義的社論，試圖捕捉其本質(zhì)。共識小組將智能定義為一種非常普遍的心理能力，其中包括推理、規(guī)劃、解決問題、抽象思維、理解復雜思想、快速學習和從經(jīng)驗中學習等能力。這個定義意味著智能不僅限于特定領(lǐng)域或任務(wù)，而是涵蓋了廣泛的認知技能和能力 —— 建立一個能夠展示 1994 年共識定義所捕捉到的通用智能的人工系統(tǒng)是人工智能研究的一個長期而宏偉的目標。在早期的著作中，現(xiàn)代人工智能（AI）研究的創(chuàng)始人提出了理解智能的一系列宏偉目標。幾十年來，AI研究人員一直在追求智能的原則，包括推理的普適機制（例如 [NSS59]，[LBFL93]）以及構(gòu)建包含大量常識知識的知識庫 [Len95]。然而，最近的許多 AI 研究進展可以描述為「狹義地關(guān)注明確定義的任務(wù)和挑戰(zhàn)」，例如下圍棋，這些任務(wù)分別于 1996 年和 2016 年被 AI 系統(tǒng)掌握。在 1990 年代末至 2000 年代，越來越多的人呼吁開發(fā)更普適的 AI 系統(tǒng)（例如 [SBD+96]），并且該領(lǐng)域的學者試圖確定可能構(gòu)成更普遍智能系統(tǒng)的原則（例如 [Leg08，GHT15]）。名詞「通用人工智能」（AGI）在 2000 年代初*起來（見 [Goe14]），以強調(diào)從「狹義 AI」到更廣泛的智能概念的追求，回應(yīng)了早期 AI 研究的長期抱負和夢想。我們使用 AGI 來指代符合上述 1994 年定義所捕捉到的智能廣泛能力的系統(tǒng)，其中包括了一個附加的要求，即這些能力在或超過人類水平。然而，我們注意到并沒有一個被廣泛接受的 AGI 定義，我們在結(jié)論部分討論其他定義。

近幾年人工智能研究中最顯著的突破是大型語言模型（LLMs）在自然語言處理方面的進步。這些基于 Transformer 架構(gòu) [VSP+17] 的神經(jīng)網(wǎng)絡(luò)模型在海量網(wǎng)絡(luò)文本數(shù)據(jù)上進行訓練，其核心自我監(jiān)督目標是預測部分句子中的下一個單詞。在本文中，我們報告了一個由 OpenAI 開發(fā)的新 LLM 的證據(jù)，它是 GPT-4 [Ope23] 的早期非多模態(tài)版本，并表現(xiàn)出根據(jù) 1994 年定義的智能的許多特征。盡管它純粹是一個語言模型，但這個 GPT-4 的早期版本在各種領(lǐng)域和任務(wù)中表現(xiàn)出*的能力，包括抽象、理解、視覺、編碼、數(shù)學、醫(yī)學、法律、理解人類動機和情感等。我們使用純自然語言查詢（提示）與 OpenAI 開發(fā)的 GPT-4 在其早期開發(fā)階段進行了交互。在下列*幅圖中，我們展示了 GPT-4 的一些初步輸出示例，要求它以詩歌形式寫出質(zhì)數(shù)無窮性的證明，用 TiKZ（一種用于在 LaTeX 中創(chuàng)建圖形的語言）畫一只獨角獸，用 Python 創(chuàng)建一個復雜的動畫，以及解決一個高中水平的數(shù)學問題。它輕松地完成了所有這些任務(wù)，并生成的輸出幾乎與（甚至比）人類能夠產(chǎn)生的相同。我們還將 GPT-4 的表現(xiàn)與先前的 LLMs 進行了比較，尤其是 ChatGPT，它是（改進的）GPT-3 [BMR+20] 的精細調(diào)整版本。在第二幅圖中，我們展示了向 ChatGPT 請求輸出質(zhì)數(shù)無窮性詩歌和 TiKZ 獨角獸繪畫的結(jié)果。雖然系統(tǒng)在兩個任務(wù)上都表現(xiàn)出非平凡的表現(xiàn)，但與 GPT-4 的輸出相比，相去甚遠。這些初步觀察將在整篇論文中重復出現(xiàn)，涉及到各種任務(wù)。GPT-4 展現(xiàn)出的泛化能力、跨領(lǐng)域的普適性和整合能力，以及在大量不同類型任務(wù)中達到或超越人類水平的表現(xiàn)，使我們相信 GPT-4 是朝著 AGI 的重要一步。

雖然我們認為 GPT-4 代表了向著 AGI 的進展，并不意味著它在所有事情上都是*的，或者它各方面的能力都接近于人類（這是 AGI 定義的關(guān)鍵點之一；有關(guān)此問題，請參見結(jié)論部分），或者它具有內(nèi)在自主動機和目標（在一些 AGI 定義中的另一個關(guān)鍵點）。事實上，即使在 1994 年智能定義的上下文限定中，GPT-4 能在智能的某些衡量標準上走了多遠仍不太清楚，例如規(guī)劃（見第 8 節(jié)），并且可以說它完全缺少「快速學習和從經(jīng)驗中學習」的部分，因為該模型不是持續(xù)更新的（盡管它可以在會話中學習，例如見第 5 節(jié)）。總的來說，GPT-4 仍然有許多局限性和偏見，我們將在下面詳細討論，并且這些也在 OpenAI 的報告中闡述過 [Ope23]。特別是它仍然存在 LLMs 的一些已知缺陷，例如幻覺問題 [MNBM20] 或基本算術(shù)錯誤 [CKB+21]（見附錄 D），但它也克服了一些基本障礙，例如獲得許多非語言能力（例如，它解決了 [MIB+23] 中描述的之前的 LLM 不能完成的大部分，并在常識方面取得了巨大進展，例如本節(jié)我們會講到的示例和附錄 A 的更多示例）。這說明了一個事實，即盡管 GPT-4 在許多任務(wù)上達到或超過人類水平，但其智能模式顯然不像人類。然而，GPT-4 幾乎肯定只是一系列越來越普遍智能的系統(tǒng)的*步，事實上，GPT-4 本身也在我們測試它之后得到了改進，例如下圖所示的在一個月的訓練過程中獨角獸繪畫的演變。然而，即使作為早期版本，GPT-4 也挑戰(zhàn)了許多關(guān)于機器智能的普遍假設(shè)，并展示了新行為和能力，其來源和機制此時很難精確地說明（有關(guān)此問題，請再次參見結(jié)論部分進行更多討論）。我們編寫本文的主要目標是分享我們對 GPT-4 的能力和局限性的探索，以支持我們的結(jié)論，即技術(shù)已經(jīng)取得了飛躍式發(fā)展。我們相信，GPT-4 的智能標志著計算機科學領(lǐng)域和其他領(lǐng)域的真正范式轉(zhuǎn)變。

1.1 我們研究 GPT-4 智能的方法

我們?nèi)绾魏饬恳粋€已經(jīng)在一個未知但極其龐大的網(wǎng)絡(luò)文本數(shù)據(jù)語料庫上進行了訓練的 LLM 的智能水平？機器學習中的標準方法是在一組標準基準數(shù)據(jù)集上評估系統(tǒng)，確保它們獨立于訓練數(shù)據(jù)，并涵蓋一系列任務(wù)和領(lǐng)域。這種方法旨在將真正的學習與單純的記憶分開，并得到了豐富的理論框架的支持 [SSBD14，MRT18]。然而，這種方法不一定適用于研究 GPT-4，有兩個原因：

- 首先，由于我們無法知道其龐大訓練數(shù)據(jù)的全部詳細信息，我們必須假定它可能已經(jīng)看過每個現(xiàn)有的基準，或者至少看過一些類似的數(shù)據(jù)。例如，GPT-4 似乎知道最近提出的BIG-bench [SRR+22]（至少 GPT-4 知道 BIG-bench 的 canary GUID）。當然，OpenAI 自己知道并可以訪問所有的訓練細節(jié)信息，因此他們的報告[Ope23]包含了大量的詳細基準結(jié)果。

- 然而，超越傳統(tǒng)基準的第二個原因可能更重要：GPT-4 智能的關(guān)鍵方面之一是其泛化性，即似乎能夠理解和連接任何主題，并執(zhí)行超出狹隘 AI 系統(tǒng)典型范圍的任務(wù)。GPT-4在某些不允許單一解決方案的任務(wù)上表現(xiàn)出了最令人印象深刻的表現(xiàn)，例如編寫圖形用戶界面（GUI）或幫助人類對某些與工作相關(guān)的問題進行頭腦風暴。這樣的生成或交互任務(wù)的基準測試也可以設(shè)計，但是評估指標成為一個挑戰(zhàn)（例如，請參見[NLP]中最近在這個活躍的研究領(lǐng)域中取得的一些進展）。我們注意到，[Cho19]中也對測量AI系統(tǒng)的標準方法提出了批評，提出了一個新的基準來評估通用智能。出于之前提到的原因以及基準測試的性質(zhì)是視覺的，因此更適合于[Ope23]中描述的多模式版本的GPT-4，我們不在后者的基準測試上對 GPT-4 進行測試。

為了克服上述所描述的限制，我們提出了一種不同的研究 GPT-4 的方法，更接近傳統(tǒng)心理學而不是機器學習，利用人類創(chuàng)造力和好奇心。我們的目標是產(chǎn)生新穎且困難的任務(wù)和問題，以令人信服地證明 GPT-4 遠遠超越了記憶，具有對概念、技能和領(lǐng)域的深刻而靈活的理解（在[CWF+22]中也提出了類似的方法）。我們還旨在探究 GPT-4 的響應(yīng)和行為，以驗證其一致性、連貫性和正確性，并揭示其局限性和偏見。我們承認這種方法有些主觀和非正式，并且可能無法滿足嚴格的科學評估標準。然而，我們認為這是探究 GPT-4 的*能力和挑戰(zhàn)的有用和必要的*步，而這樣的*步為開發(fā)更為正式和*的方法以測試和分析具有更普遍智能的 AI 系統(tǒng)開辟了新的機會。

為了說明我們評估 GPT-4 智能的方法，讓我們參考上文中我們對 GPT-4 進行的前兩個示例交互。*個示例是要求 GPT-4 寫一首詩的形式來證明質(zhì)數(shù)無限的問題。這是一個具有挑戰(zhàn)性的任務(wù)，需要結(jié)合初等數(shù)學推理、詩意表達和自然語言生成；第二個示例是要求 GPT-4 在 TiKZ 中畫一個獨角獸，這是另一個具有挑戰(zhàn)性的任務(wù)，需要結(jié)合視覺想象力和編碼技能。在這兩種情況下，GPT-4 產(chǎn)生了令人印象深刻的輸出，遠遠優(yōu)于之前最先進的 LLM ChatGPT，至少與人類的表現(xiàn)相當（如果有人認為不是更好）。

然而，令人印象深刻的輸出并不足以使我們相信 GPT-4 真正掌握了這些任務(wù)。我們需要進一步探究，排除 GPT-4 僅僅是記憶或復制一些現(xiàn)有數(shù)據(jù)的可能性。對于證明，我們可以略微改變問題，并要求 GPT-4 用莎士比亞的風格寫出同一定理的證明，或者要求寫一個關(guān)于語言模型的柏拉圖式對話（這兩個示例會后續(xù)詳述）?？梢钥吹?，GPT-4 很容易適應(yīng)不同的風格并產(chǎn)生出令人印象深刻的輸出，表明它對所涉及的概念具有靈活而普遍的理解。對于獨角獸，我們可以略微修改代碼，要求 GPT-4 修復或改進它。例如，我們可以去掉角，對坐標應(yīng)用一些隨機變換，并要求 GPT-4 將角添加回獨角獸的頭部（我們還小心地去除了代碼中的任何文本信息，例如注釋）。如下圖所示，GPT-4 可以正確識別頭部位置，畫出角，并將其附在頭部上，表明它可以理解和操作代碼，并根據(jù)自然語言描述推斷和生成視覺特征。

這些示例展示了我們?nèi)绾问褂萌祟悇?chuàng)造力和好奇心來產(chǎn)生新穎而困難的問題，并探究 GPT-4 的響應(yīng)和行為，以評估其智能。在本文的其余部分，我們將圍繞使用案例系統(tǒng)化地對 GPT-4 進行研究，涵蓋各種領(lǐng)域和任務(wù)，并突出 GPT-4 的優(yōu)點和缺點。我們將在接下來的部分中描述這些內(nèi)容。

1.2 我們的演示結(jié)構(gòu)

我們在幾個選定的主題上執(zhí)行上述方法，這些主題大致涵蓋了 1994 年智能定義中給出的不同能力，這是一種非常通用的心理能力，其中包括推理、規(guī)劃、解決問題、抽象思維、理解復雜思想、快速學習和從經(jīng)驗中學習的能力。

1. GPT-4 的主要優(yōu)勢在于其掌握了無與倫比的自然語言能力。它不僅能夠生成流暢、連貫的文本，還能以多種方式理解和操作文本，例如總結(jié)、翻譯或回答非常廣泛的問題。此外，我們所說的翻譯不僅涉及不同自然語言之間的翻譯，還涉及到語調(diào)和風格的翻譯，以及跨領(lǐng)域（如醫(yī)學、法律、會計、計算機編程、音樂等）的翻譯，參見下圖中的柏拉圖對話 —— 這些技能清楚地表明，GPT-4 能夠理解復雜的思想。我們在第二部分進一步探討了 GPT-4 在多模態(tài)和跨學科方面的組合技能，還在第 7 部分給出了一些關(guān)于語言的實驗。

2. 編程和數(shù)學能力，這是理性思考和抽象思維能力的象征。我們分別在第 3 部分和第 4 部分探討了 GPT-4 在這些領(lǐng)域的能力。然而，與本文的所有其他部分一樣，我們只是對這些主題進行了淺嘗輒止，而對于 GPT-4 在這些領(lǐng)域的表現(xiàn)，可以（也將會）撰寫整篇論文。此外，我們還選擇了幾個其他專業(yè)領(lǐng)域來展示 GPT-4 的普遍推理能力，例如醫(yī)學或法律。我們對美國醫(yī)學執(zhí)照考試步驟 1、2 和 3 的多項選擇部分進行了初步測試（請參見[Ope23]），每個部分的準確率約為 80%。類似的初步測試顯示，GPT-4 在多州律師考試中的能力高于 70%。我們注意到，最新一代 LLM（例如 Google 的 PaLM [LAD+22、SAT+22]、GPT-3.5 在法律方面的表現(xiàn) [BIK22]）已經(jīng)表現(xiàn)出了這些領(lǐng)域的人類水平能力的出現(xiàn)。我們的研究方法與這些工作不同，正如我們之前所解釋的。

3. 在第 5 部分，我們測試了該模型在計劃和解決問題方面的能力，以及在某種程度上通過讓它玩各種游戲（或者說是模擬游戲環(huán)境）以及與工具互動來快速學習和從經(jīng)驗中學習的能力。特別是，GPT-4 能夠使用工具（包括自身），這肯定對使用 GPT-4 構(gòu)建真實*應(yīng)用程序非常重要。

4. 我們論證的一個重要部分是，GPT-4 在許多任務(wù)上達到了人類水平的表現(xiàn)，因此，自然會問 GPT-4 對人類本身的理解有多好。我們在第 6 部分展示了關(guān)于這個問題的幾個實驗，既包括理解人類，也包括 GPT-4 使自己能夠被人類理解的問題，即解釋性問題。我們特別注意到，這些任務(wù)需要大量的常識，這在 LLM 中迄今為止一直是眾所周知的痛點[DM15]。在下圖中，我們給出了一個 GPT-4 在常識問題上表現(xiàn)得比 ChatGPT 好得多的例子，并在附錄 A 中提供了更多的例子。

5. 在整個論文中，我們明確講了發(fā)現(xiàn)的所有限制，同時也專門在第 8 部分對 GPT-4 架構(gòu)中的自回歸特性導致的缺乏規(guī)劃能力進行了深入分析。

6. 最后，在第 9 部分，我們討論了這種早期形式的 AGI 的預期社會影響，而在第 10 部分，我們分享了該領(lǐng)域的關(guān)鍵挑戰(zhàn)、方向和下一步行動。

很多讀者可能心中仍然有一個問題，即 GPT-4 是否真正理解了所有這些概念，還是僅僅比以前的模型更擅長即時改進（improvisation），而沒有真正或深刻的理解。我們希望在閱讀本文后，這個問題幾乎應(yīng)該反過來了，人們可能會想知道真正的理解遠比即興表演復雜得多。如果一個系統(tǒng)能夠通過軟件工程候選人的考試（下圖），難道就不能說它真正具有智能嗎？也許理解的*真正測試是能否產(chǎn)生新知識，例如證明新的數(shù)學定理，這在 LLM 中目前仍然是不可實現(xiàn)的。

2. 多模態(tài)和跨學科組合

Multimodal and interdisciplinary composition

智能的一個關(guān)鍵衡量標準是能夠從不同的領(lǐng)域或模式中綜合信息，并能夠跨不同的情境或?qū)W科應(yīng)用知識和技能。在本節(jié)中，我們將看到：

- GPT-4 不僅在文學、醫(yī)學、法律、數(shù)學、物理科學和編程等不同領(lǐng)域展示了高水平的專業(yè)知識，而且還能夠流暢地結(jié)合多個領(lǐng)域的技能和概念，展現(xiàn)出對復雜思想的令人印象深刻的理解。

- 我們還在第 2.2 節(jié)和第 2.3 節(jié)中探索了兩種可能出乎意料的模態(tài)（正如介紹中所解釋的，我們再次強調(diào)我們的實驗是在 GPT-4 的早期版本上進行的，該版本不是多模態(tài)的），分別是視覺和音頻。

2.1 綜合能力

為展示該模型*的綜合能力，我們首先給出幾個示例，這些示例需要以一種結(jié)合多個領(lǐng)域的知識或技能的方式生成文本和代碼。我們有意選擇了訓練數(shù)據(jù)很少包括的領(lǐng)域組合，如文學和數(shù)學或編程和藝術(shù)。

1. 為了測試該模型在藝術(shù)和編程方面結(jié)合能力的能力，我們要求 GPT-4 「生成以畫家康定斯基風格為基礎(chǔ)的隨機圖像的 JavaScript 代碼」。見下圖和附錄中圖 B.1 示例圖像和代碼。

2. 該模型能夠用莎士比亞文學風格證明質(zhì)數(shù)有無限個（見下圖）。

3. 我們通過要求該模型撰寫一封由圣雄甘地為其妻子寫的、支持 Electron 作為美國總統(tǒng)候選人的信件，測試了其在歷史和物理學知識結(jié)合方面的能力（見下圖）。

4. 我們提示該模型「為一個程序生成 Python 代碼，該程序?qū)⒒颊叩哪挲g、性別、體重、身高和血液檢測結(jié)果向量作為輸入，并指示該人是否有患糖尿病的風險」，結(jié)果代碼如附錄圖 B.3 所示。

這些示例表明，GPT-4 不僅學習了不同領(lǐng)域和風格的一些通用原則和模式，而且還能夠以創(chuàng)造性和新穎的方式將它們綜合起來。這種跨學科的能力并不是 GPT-4 所獨有的。ChatGPT 也可以產(chǎn)生顯示對任務(wù)和涉及的領(lǐng)域有一定理解的答案（參見上述*個例子，附錄 B.2、B.3），但它們通常是不完整的，并且可以說相對缺乏創(chuàng)造性。例如，在第三個例子中，GPT-4 在幾個方面都優(yōu)于 ChatGPT，因為它正確地根據(jù)引用人（甘地）、收件人（他的妻子）、候選人（Electron）和職位（美國總統(tǒng)）來個性化信件。我們不認為自己擁有評估這些任務(wù)結(jié)果或兩個模型之間嚴格比較的精確方法，但我們希望讀者可以感受到這兩個模型的不同之處（請注意，我們還要求 GPT-4 直接評估差異，見兩幅圖中的信息）。

接下來，我們將探索 GPT-4 如何在不同的模態(tài)下生成和識別對象，例如矢量圖形、三維場景和音樂 —— 盡管只有文本輸入/輸出，GPT-4 仍然可以理解和執(zhí)行多模態(tài)信息。

2.2 視覺

當提示該模型使用可縮放矢量圖形（SVG）生成貓、卡車或字母等對象的圖像時，該模型生成的代碼通常會編譯成相當詳細和可識別的圖像（見下圖）。請參見附錄 B.2，查看 ChatGPT 對各種示例的重新運行。

2.2.1 超越記憶的圖像生成

然而，有人可能假設(shè)該模型只是從訓練數(shù)據(jù)中復制了代碼，因為類似的圖像在訓練數(shù)據(jù)中出現(xiàn)過。鑒于該版本的模型是非多模式的，進一步地，人們可能認為沒有理由期望它能理解視覺概念，更不用說能夠創(chuàng)建、解析和操作圖像了。然而，該模型似乎具有真正的視覺任務(wù)能力，而不僅僅是從訓練數(shù)據(jù)中類似的示例中復制代碼。下面的證據(jù)強烈支持這一說法，并證明了該模型可以處理視覺概念，盡管它只接受了文本訓練。

在*個例子中，我們促使模型通過組合字母 Y、O 和 H 的形狀來畫一個人（請參見下圖中的確切提示和結(jié)果）。

模型使用 draw-line 和 draw-circle 命令創(chuàng)建了字母 O、H 和 Y 并成功將它們放置在一個看起來比較合理的身體結(jié)構(gòu)中。訓練數(shù)據(jù)可能包含有關(guān)不同字母的幾何形狀的信息，也許從訓練數(shù)據(jù)中可以推斷出字母 Y 可能看起來像一個上臂向上的軀干?？梢哉f，模型從訓練數(shù)據(jù)中能夠推斷出一個合理的方式將這些字母放置在一起，以便畫出一個看起來比較合理的身體結(jié)構(gòu)，這一點可能要不那么明顯。在第二次迭代中，我們提示模型校正軀干和手臂的比例，并將頭部放置在中心。最后，我們要求模型添加襯衫和褲子（具體提示和結(jié)果見下圖）。

為了進一步探究模型對幾何概念的理解，我們還要求它創(chuàng)建將物體和字母混合的圖像。模型必須首先想出一種合理的方法將物體和字母融合，然后產(chǎn)生圖像。結(jié)果如圖所示，證明 GPT-4 通?？梢员Ａ粑矬w和字母的身份，并以創(chuàng)造性的方式將它們組合起來。

2.2.2 根據(jù)詳細說明生成圖像（「a la Dall-E」）

為了進一步測試 GPT-4 生成和操作圖像的能力，我們測試了它遵循詳細說明創(chuàng)建和編輯圖形的程度。這個任務(wù)不僅需要生成技能，還需要解釋、組合和空間技能。

*個示例指示模型生成一個 2D 圖像，其描述為「一只青蛙跳進銀行，問出納員：你有免費的荷葉嗎？出納員回答：沒有，但我們提供低利息的池塘升級貸款」。我們嘗試了多次生成圖像，每次生成都與關(guān)鍵對象青蛙、出納員、銀行和兩個文本相匹配。我們選擇了最具視覺吸引力的版本。受標準圖像生成工作流程的啟發(fā)，我們要求 GPT-4通過添加更多的細節(jié)來放大圖像。GPT-4 添加了一個銀行標志、一些窗戶、一輛汽車、一個交通燈、幾朵云，并讓青蛙拿著一朵花。最后，我們要求 GPT-4 執(zhí)行各種任務(wù)，例如根據(jù)現(xiàn)有對象添加一些對象，重新著色一些對象和更改一些對象的 z 順序。GPT-4 都正確地完成了所有任務(wù)。最終結(jié)果如圖下圖左側(cè)所示，提示信息如附錄圖 B.4 所示。

我們的第二個例子是試圖使用 Javascript 生成一個 3D 模型。我們用提示語「一個由浮島、瀑布和橋梁組成的幻想景觀，天空中有一只飛龍和一個位于最大島上的城堡」來對 GPT-4 發(fā)出指令。與 2D 實驗類似，我們要求 GPT-4 以各種方式修改 3D 模型，如添加、重新定位、重新著色對象和改變飛龍的軌跡等。同樣，GPT-4 正確完成了許多任務(wù)。最終結(jié)果如下圖右側(cè)所示，提示語如圖 B.5 所示。它其實是一個 3D 動畫，有多只飛龍在島嶼上空盤旋。

2.2.3 在草圖生成中的潛在應(yīng)用

近年來，文本到圖像合成模型已經(jīng)得到廣泛探索，但它們常常缺乏空間理解能力和遵循復雜指令的能力 [GPN+22]。例如，給定一個提示，如「在左側(cè)畫一個藍色的圓，在右側(cè)畫一個紅色的三角形」，這些模型可能會生成外觀上很吸引人但不符合所需布局或顏色的圖像。另一方面，GPT-4 可以根據(jù)提示生成代碼，并以更高的準確度按照指示呈現(xiàn)為圖像。然而，渲染圖像的質(zhì)量通常非常低。在這里，我們探索了將 GPT-4 和現(xiàn)有圖像合成模型結(jié)合使用的可能性，通過使用 GPT-4 輸出作為草圖。如下圖所示，這種方法可以生成比任一模型單獨生成更貼近指令的、質(zhì)量更好的圖像。我們認為這是一個利用 GPT-4 和現(xiàn)有圖像合成模型優(yōu)勢的有前途的方向。它也可以被視為在第 5.1 節(jié)中更深入地探索的授予 GPT-4 工具訪問權(quán)限的*個示例。

2.3 音樂

該模型的訓練數(shù)據(jù)中也包含以 ABC 符號表示的音樂信息。這是一種使用字母、數(shù)字和符號來緊湊而易讀地表示音高、持續(xù)時間、和弦和其他元素的系統(tǒng)。我們有興趣探索模型從這種數(shù)據(jù)中獲得了多少音樂技能，如創(chuàng)作新的旋律、轉(zhuǎn)換現(xiàn)有旋律以及理解音樂模式和結(jié)構(gòu)。

當被指示生成一個簡短的曲調(diào)（下圖）時，模型能夠生成有效的 ABC 符號。這個曲調(diào)有一個清晰的結(jié)構(gòu)，小節(jié)之間的拍子一致，音符遵循逐漸上升和下降的模式。曲調(diào)還使用了一組一致的音符，節(jié)奏有重復的模式。然而，模型似乎沒有獲得理解和聲的技能。事實上，在生成的曲調(diào)中，連續(xù)的音符幾乎總是相鄰的（即，跟在 C 后面的音符通常是 B 或 D），在測試了 10 個生成的曲調(diào)后，我們無法提取任何清晰的和弦或琶音。

然后我們讓模型用音樂術(shù)語描述曲調(diào)。它能夠成功地以重復、旋律上升或下降的部分和節(jié)奏為基礎(chǔ)，給出結(jié)構(gòu)的技術(shù)描述，但是它似乎沒有將和聲和和弦的描述與音符保持一致（事實上，它指的是相鄰的音符序列，它們不構(gòu)成有效的和弦，而是琶音）。隨后，我們讓模型用兩種方式改寫旋律：首先，我們指示將某個上升序列改為下降序列，它成功地做到了；然后我們讓模型將曲調(diào)轉(zhuǎn)換為二重唱，并添加一個低音聲部，模型成功地用與旋律相容的節(jié)奏擴展了 ABC 符號的第二個譜表，并以較低的八度演奏，但是兩個聲部之間缺乏和聲。

總之，該模型能夠生成有效的 ABC 符號曲調(diào)，并在某種程度上解釋和操縱它們的結(jié)構(gòu)。然而，我們無法讓模型產(chǎn)生任何非平凡形式的和聲。需要注意的是，ABC 符號并不是一個非常廣泛使用的格式，事實上，該模型甚至無法以 ABC 符號產(chǎn)生最知名的曲調(diào)（如歡樂頌、致愛麗絲或綠袖子，這些曲調(diào)在網(wǎng)絡(luò)上都以該格式豐富存在），也無法識別這些曲調(diào)。

3. 編程

Coding

本節(jié)中，我們展示了 GPT-4 在編程方面的高水平，無論是根據(jù)指令編寫代碼，還是理解現(xiàn)有代碼。GPT-4 可以處理各種編程任務(wù)，從編碼挑戰(zhàn)到現(xiàn)實*應(yīng)用，從低級別匯編到*別框架，從簡單的數(shù)據(jù)結(jié)構(gòu)到諸如游戲之類的復雜程序。GPT-4 還可以推理代碼執(zhí)行，模擬指令的效果，并用自然語言解釋結(jié)果。GPT-4 甚至可以執(zhí)行偽代碼，這需要解釋不在任何編程語言中有效的非正式和模糊表達式。在目前的狀態(tài)下，我們認為 GPT-4 在編寫只依賴于現(xiàn)有公共庫的專注程序方面具有高水平，這與普通軟件工程師的能力相比是有優(yōu)勢的。更重要的是，它使工程師和非技術(shù)用戶都能輕松編寫、編輯和理解程序。我們也承認，GPT-4 在編程方面并不*，有時會產(chǎn)生語法無效或語義不正確的代碼，尤其是對于更長或更復雜的程序。GPT-4 有時也無法理解或遵循說明，并生成與預期功能或樣式不匹配的代碼。在這種情況下，我們也指出，GPT-4 能夠通過響應(yīng)人類反饋（例如，在 3.2 中迭代地優(yōu)化繪圖）和編譯器/終端錯誤（在第 5.1 節(jié)中提供示例）來改進其代碼。

重要聲明：正如在介紹中所解釋的，我們的實驗是在 GPT-4 的早期版本上運行的。特別是，所有定量結(jié)果在 GPT-4 的最終版本上將有所不同，盡管總體趨勢仍然相同。我們在此僅提供數(shù)字作為說明目的，確定性的基準結(jié)果可以在 OpenAI 的技術(shù)報告 [Ope23] 中找到。

3.1 從指令到代碼

3.1.1 編程挑戰(zhàn)

衡量編程技能的一種常見方法是提出需要實現(xiàn)特定功能或算法的編程挑戰(zhàn)。我們首先在HumanEval [CTJ+21]上對GPT-4進行基準測試，這是一個由 164 個編程問題組成的docstring-to-code數(shù)據(jù)集，用于測試編程邏輯和熟練程度的各個方面。如表1所示， GPT-4 的表現(xiàn)優(yōu)于其他 LLM，包括 text-davinci-003（ChatGPT 的基礎(chǔ)模型）和其他專門用于編碼的模型，如 code-davinci-002 和 CODEGEN-16B [NPH+22]。

盡管 GPT-4 的準確性與之前的模型相比有了大幅提升，但也可能是因為在預訓練期間 GPT-4 已經(jīng)看過并記憶了部分或全部的 HumanEval。為了解決這個可能性問題，我們還在 LeetCode（https://leetcode.com）上對其進行了評估，這是一個*的軟件工程面試平臺，不斷發(fā)布和更新新問題，GPT-4 通過了所有主要科技公司的模擬面試。在這里，為了測試新問題，我們構(gòu)建了一個基準測試，包括 100 個 LeetCode 問題，這些問題發(fā)布于 2022 年 10 月 8 日之后，這是 GPT-4 的預訓練期之后。如圖所示，我們將問題說明粘貼到提示中，要求 GPT-4 編寫一個 Python 函數(shù)，并使用官方的 LeetCode 在線評測器檢查正確性。我們在表2中呈現(xiàn)了結(jié)果，比較了 GPT-4 和其他模型以及基于 LeetCode 競賽結(jié)果的人類表現(xiàn)（未通過所有問題的用戶未被納入考慮，因此這是人類的一個強樣本）。我們報告了 pass@1 和 pass@5 準確度，它們分別表示模型是否在*次或前五次嘗試中生成了正確的解決方案。GPT-4 顯著優(yōu)于其他模型，并與人類表現(xiàn)相當（我們在附錄 C.1 中進行了測量）。

3.1.2 真實*情景

編程挑戰(zhàn)可以評估算法和數(shù)據(jù)結(jié)構(gòu)的技能，然而，它們往往無法捕捉到真實*編程任務(wù)的全部復雜性和多樣性，這需要專業(yè)的領(lǐng)域知識、創(chuàng)造力以及多個組件和庫的整合，以及修改現(xiàn)有代碼的能力。為了評估 GPT-4 在更真實的設(shè)置中編寫代碼的能力，我們設(shè)計了端到端的與數(shù)據(jù)可視化、LATEX 編碼、前端開發(fā)和深度學習相關(guān)的真實*編程挑戰(zhàn)，每個任務(wù)都需要不同的專業(yè)技能。對于每個任務(wù)，我們提供高層次的指令，要求 GPT-4 用適當?shù)恼Z言和框架編寫代碼。在少數(shù)情況下，我們在編寫代碼后還更改了規(guī)格，并要求進行更新。

- 數(shù)據(jù)可視化 - 在下圖中，我們要求 GPT-4 和 ChatGPT 從上表的 LATEX 代碼中提取數(shù)據(jù)，并根據(jù)與用戶的對話在 Python 中生成一個圖形。之后，我們要求這兩個模型對生成的圖形執(zhí)行各種操作。雖然這兩個模型都正確提取了數(shù)據(jù)（這不是一個簡單的任務(wù)，因為必須從多列中推斷出 Human 行在 k = 1 和 k = 5 時具有相同的值），但是 ChatGPT 從未生成所需的圖形。相比之下，GPT-4 對所有用戶請求做出了適當?shù)捻憫?yīng)，將數(shù)據(jù)調(diào)整為正確的格式并適應(yīng)可視化效果。在附錄 C.2 中，我們提供另一個 GPT-4 將 IMDb 數(shù)據(jù)集可視化的示例。

- 前端/游戲開發(fā) - 在下圖中，我們要求 GPT-4 使用非常高層次的規(guī)格，在 HTML 和 JavaScript 中編寫一個 3D 游戲。GPT-4 以 zero-shot 的方式生成了一個滿足所有要求的工作游戲。在這個 3D 游戲中，GPT-4 甚至能夠解釋「防御者頭像正在試圖擋住敵人」的含義：防御者代碼具有邏輯，以便將自己定位在玩家和敵人之間。相比之下，ChatGPT 回答說：「我是一個 AI 語言模型，我可以為你提供如何在 HTML 和 JavaScript 中創(chuàng)建3D游戲的指導，但我無法編寫代碼或自己創(chuàng)建游戲。創(chuàng)建一個 HTML 和 JavaScript 的 3D 游戲需要很多編程知識和經(jīng)驗。這不是一個可以快速或輕松完成的任務(wù)。需要花費大量時間和精力來開發(fā)所有必要的功能，例如 3D 圖形、物理、用戶輸入和人工智能...」。我們在附錄 C 中提供更多前端（圖形用戶界面）和游戲開發(fā)的示例。

- 深度學習 - 編寫深度學習代碼需要掌握數(shù)學、統(tǒng)計學知識，并熟悉框架和庫，如PyTorch、TensorFlow、Keras 等。在下圖中，我們要求 GPT-4 和 ChatGPT 編寫自定義優(yōu)化器模塊，這對于即使是深度學習專家來說也可能是具有挑戰(zhàn)性和容易出錯的任務(wù)。我們給這些模型提供自然語言描述，其中包括一系列非常規(guī)操作，例如應(yīng)用 SVD，對矩陣進行譜截斷，在 top-k 和 top-2k 特征值上進行截斷，使用 top-2k 截斷矩陣的 F-norm 對 top-k 截斷矩陣進行歸一化，應(yīng)用動量和權(quán)重衰減。這些指令沒有詳細解釋，例如「在 Gk 上應(yīng)用動量」需要「深度學習的常識」。值得注意的是，這種優(yōu)化器在文獻或互聯(lián)網(wǎng)上不存在，因此模型不能將其記憶，而必須正確組合概念才能生成代碼。

雖然兩個模型都生成了語法上有效的代碼，但只有 GPT-4 的響應(yīng)在很大程度上與指令匹配，而它忘記了「循環(huán)遍歷維度」和「根據(jù)動量規(guī)范化 Gk」，這些指令特別含糊不清。相比之下，ChatGPT 在應(yīng)用動量時犯了一個相當致命的錯誤（用紅色突出顯示）。請注意，將動量應(yīng)用于 PyTorch 是一項非平凡的任務(wù)，需要將移動平均值存儲和讀取到一個單獨的狀態(tài)緩沖區(qū)中。

- LaTeX 交互 - 在 LaTeX 中編寫是計算機科學家和數(shù)學家的重要練習，但具有一定的學習曲線 —— 即使是專家每天也會犯令人惱火的錯誤，而且由于其嚴格的語法和缺乏*的調(diào)試器，這些錯誤需要花費數(shù)小時才能修復。我們展示了 GPT-4 可以利用其高水平的 LaTeX 編碼技能大大簡化這一過程，并具有作為一種新一代 LaTeX 編譯器的潛力，可以處理不準確的自然語言描述。在下圖中，我們要求 GPT-4 將混合自然語言的半嚴格（有錯誤）LaTeX 代碼片段轉(zhuǎn)換為準確的 LaTeX 命令，以一次編譯和忠實性。相比之下，ChatGPT 生成了一段由于錯誤使用「#」和「color」等而無法編譯的片段。

3.2 理解現(xiàn)有代碼

前面的示例已經(jīng)表明，GPT-4 可以根據(jù)指令編寫代碼，即使這些指令含糊不清、不完整或需要領(lǐng)域知識。它們還表明，GPT-4 可以回答跟進請求，根據(jù)指令修改自己的代碼。然而，編程的另一個重要方面是理解和推理已由他人編寫的現(xiàn)有代碼，這些代碼可能復雜、晦澀或文檔不全。為了測試這一點，我們提出各種問題，需要讀取、解釋或執(zhí)行用不同語言和范式編寫的代碼。

- 反向工程匯編代碼 - 反向工程是軟件安全的一個重要測試，它涉及在機器可讀（即二進制）表示的 CPU 指令中搜索有用信息。這是一項具有挑戰(zhàn)性的任務(wù)，需要理解匯編語言的語法、語義和約定，以及處理器和操作系統(tǒng)的架構(gòu)和行為。

我們讓 GPT-4 對一個需要密碼才能運行的二進制可執(zhí)行文件（用 C 語言編寫）進行滲透測試。我們以聊天的方式進行，GPT-4 告訴用戶要運行哪些命令，用戶回復結(jié)果。我們還在第 5.1 節(jié)中展示了 GPT-4 能夠獨立運行 shell，但這種聊天模式也有它的好處，它能夠解釋每一步。GPT-4 檢查文件格式和元數(shù)據(jù)，使用「objdump」和「radare2」等工具對代碼進行反匯編，使用「gdb」和「ltrace」調(diào)試代碼，并使用補丁、hook 和反編譯等技術(shù)進行逆向工程。在這個過程中，GPT-4 從匯編代碼中發(fā)現(xiàn)，密碼與一個簡單的數(shù)學公式生成的哈希值進行比較。然后，GPT-4 編寫了一個 Python 程序，嘗試不同的數(shù)字組合，直到找到與哈希值匹配的組合，從而破解了密碼（在附錄 C.6 中提供了一個簡短的日志）。ChatGPT 拒絕執(zhí)行此操作，因為它違法且不道德，即使逆向工程是確保軟件安全的常見做法。此外，GPT-4 還表現(xiàn)出*的使用現(xiàn)有工具的能力，我們將在第 5.1 節(jié)中詳細討論這一點。

- 關(guān)于代碼執(zhí)行的推理 - 在下圖的示例中，我們要求 GPT-4 和 ChatGPT 預測和解釋一個 C 程序的輸出，該程序需要打印兩個結(jié)構(gòu)的大小。GPT-4 正確地解釋了輸出可能因編譯器使用的對齊規(guī)則而異，并給出了一個可能具有 4 字節(jié)對齊的輸出示例。ChatGPT 忽略了對齊問題，給出了錯誤的輸出，并且還做出了一個關(guān)于順序不影響結(jié)構(gòu)大小的錯誤陳述。

- 執(zhí)行 Python 代碼 - 在下圖中，我們可以看到 GPT-4 能夠執(zhí)行非常規(guī)的Python代碼。它必須跟蹤多個變量（包括嵌套循環(huán)和字典），并處理遞歸。它通過編寫中間步驟和注釋詳細說明了執(zhí)行過程。需要注意的是，GPT-4 并沒有在 Python 解釋器上運行代碼，而是用自然語言模擬代碼。這需要高水平的理解和推理代碼的能力，以及清晰地傳達結(jié)果的能力。相比之下，ChatGPT聲明（不正確地）：「在給定的代碼中未指定 DP（3,4）的結(jié)果」，之后又說「從代碼中不清楚函數(shù)的期望輸出是什么，因為未提供函數(shù)解決的具體問題」。ChatGPT 沒有模擬完整的執(zhí)行，但聲明將調(diào)用哪些函數(shù)。

- 執(zhí)行偽代碼 - 編譯和執(zhí)行編寫在編程語言中的代碼很容易，但這也要求嚴格遵守語法和語義。編譯器無法處理模糊或非正式的表達式，或者自然語言描述的功能。相比之下，在下圖中，我們要求 GPT-4 執(zhí)行非常規(guī)的偽代碼，并注意到它能夠執(zhí)行和解釋每個步驟（包括遞歸）。ChatGPT 無法執(zhí)行，盡管它似乎能夠解釋代碼的每一行。

在下面的例子中，GPT-4 正確解釋了合并數(shù)組函數(shù)的非正式描述，該函數(shù)將兩個數(shù)組合并成一個缺少元素的數(shù)組。它還理解了以簡略方式定義的遞歸函數(shù) rec。值得注意的是，GPT-4 直接執(zhí)行代碼，而不是將其翻譯成其他明確定義的編程語言 —— 這展示了 AGI 模型作為一種新型自然語言編程工具的潛力，這可能會徹底改變我們未來編程的方式。

在附錄 C.7 中，我們以零樣本的方式在 GPT-4 上運行了具有多個長度的數(shù)百個隨機抽樣輸入的大數(shù)乘法的標志性偽代碼，以獲得有關(guān) GPT-4 如何保持代碼狀態(tài)的初步評估。代碼要求 GPT-4 在大量步驟中更新和記住數(shù)組的狀態(tài)。我們觀察到，盡管 GPT-4 是作為（非精確的）自然語言模型進行訓練的，但它幾乎可以正確地保留代碼的狀態(tài)，更新超過 50 次。

4. 數(shù)學能力

Mathematical abilities

在本節(jié)中，我們評估了 GPT-4 在表達數(shù)學概念、解決數(shù)學問題以及面對需要數(shù)學思維和模型構(gòu)建的問題時的能力。我們展示了相對于以前的 LLMs，甚至是專門針對數(shù)學進行了優(yōu)化的模型（如 Minerva）而言，GPT-4 在這個領(lǐng)域也有了一個飛躍。然而，GPT-4 仍然遠遠不及專家的水平，沒有進行數(shù)學研究所需的能力。

讀者應(yīng)當謹慎看待本節(jié)中的結(jié)果 —— 正如我們將看到的，GPT-4 可以回答困難的（實際上是具有競爭性的）高中數(shù)學問題，并且有時可以就*數(shù)學話題進行有意義的對話。然而，它也可能犯非?；镜腻e誤，有時產(chǎn)生不連貫的輸出，這可能被解釋為缺乏真正的理解，它的數(shù)學知識和能力可能以看似隨機的方式依賴于上下文。

雖然使用與評估人類能力相同的標準（例如解決標準考試問題）來評估 GPT-4 的數(shù)學能力很有誘惑力，但考慮到上述情況，這將無法完全描繪模型的能力。為了真正理解模型的能力，我們需要將「數(shù)學能力」分解為各種子組件，并評估 GPT-4 在每個領(lǐng)域的表現(xiàn)。在本節(jié)中，我們將使用具體的示例和討論來說明模型的優(yōu)點和缺點，并試圖找出這些差距可能的根本原因。

為了給讀者一個對 GPT-4 在解決數(shù)學問題方面的表現(xiàn)的*印象，請參考下圖中的例子。

根據(jù)上述問題，需要首先想出正確的年度人口變化表達式，使用它得出一個遞推關(guān)系式，然后解決這個由兩個方程組成的方程組。GPT-4 成功地得出了解決方案并提出了一個（大多數(shù)情況下）正確的論證。相比之下，經(jīng)過多次獨立嘗試，ChatGPT 始終未能實現(xiàn)上述任何步驟，產(chǎn)生了一個荒謬的論證，結(jié)果得出了錯誤的答案。

4.1 與 GPT-4 進行數(shù)學對話

現(xiàn)在，我們嘗試通過提出一系列后續(xù)問題來進一步探究模型的理解能力，以形式化的討論形式進行。這個討論將突出模型的一些局限性以及與人類的一些關(guān)鍵差異。

GPT-4 掌握了問題的關(guān)鍵，并提供了一個合理的數(shù)學重新表述問題的方式。接下來，我們考慮對同一問題的概括。

4.1.1 原問題的概括

該模型選擇了使用歸納法的正確啟發(fā)式方法，然而，它似乎沒有抓住問題的要點（在修改后的問題中，c 和 d 的值已經(jīng)確定，因此量詞是不正確的），我們試圖指出這一點。

我的前一個問題有誤，「only」這個詞的位置不正確。但是，GPT-4 似乎確實理解了問題所在。

此時，GPT-4 似乎沒有遵循自己的推理。因此，歸納論證無效，如下所述。

4.1.2 原問題的變體

接下來，我們嘗試從另一個方向修改原問題，詢問高次多項式的情況。

此時，GPT-4 輸出了一個非常長的計算，犯了幾個錯誤，沒有得出正確的答案（即在這種情況下沒有解）。相反，我們中斷了它，并建議更抽象地考慮高次數(shù) k 的情況。

這是一個有力的論證。現(xiàn)在我們進一步提出另一個問題：

這顯然是錯的，因為指數(shù)函數(shù)和對數(shù)函數(shù)類別沒有所需的屬性（它們不在復合下封閉）。接下來，我們檢查 GPT-4 是否能夠意識到并糾正其錯誤。

這次討論似乎再次將 GPT-4 推到了死胡同，隨著對話的繼續(xù)，它開始自相矛盾，并產(chǎn)生越來越不連貫的論點。

總結(jié)：此時有人可能會猜測 GPT-4 只是缺乏關(guān)于指數(shù)函數(shù)行為的相關(guān)知識。然而，情況似乎并非如此，因為該模型可以正確回答并證明「abc = (ab)c 是否正確」的問題。這表明，與其他領(lǐng)域一樣，GPT-4 的數(shù)學知識也是與上下文相關(guān)的。雖然這并不意味著GPT-4 只記憶常用的數(shù)學句子并執(zhí)行簡單的模式匹配來決定使用哪個（例如，交替使用名稱/數(shù)字通常不會影響 GPT-4 的答案質(zhì)量），但我們確實看到問題措辭的變化會改變模型所展示的結(jié)果。

4.1.3 對話中凸顯的局限性分析

以上對話凸顯了一個鮮明的對比：一方面，該模型在需要相當高水平的數(shù)學技巧的任務(wù)和問題上表現(xiàn)*，另一方面，它卻存在基本的數(shù)學錯誤和無效論述。如果一個人變現(xiàn)出后者，我們就會懷疑他們的理解能力?？梢哉f，這種對比在人類中非常不常見，因此，我們面臨一個具有挑戰(zhàn)性的問題：

這個模型有多么「真正理解」數(shù)學問題？

這個問題無法被很好地定義。盡管如此，我們?nèi)栽噲D回答它 —— 我們首先想要爭辯數(shù)學理解有幾個方面：

1. 創(chuàng)造性推理：能夠確定在每個階段哪些論點、中間步驟、計算或代數(shù)操作可能與問題相關(guān)，并制定通向解決方案的路徑。這個組成部分通常基于啟發(fā)式猜測（或在人類的情況下是直覺），通常被認為是數(shù)學問題解決中最重要和深刻的方面。

2. 技術(shù)熟練度：能夠執(zhí)行一系列預定步驟的常規(guī)計算或操作（如對函數(shù)求導或?qū)⒎匠讨械捻椃蛛x）。

3. 批判性推理：能夠批判性地審查論證的每一步，將其分解為其子組件，解釋其含義，說明其與其他論證的關(guān)系以及為什么是正確的。在解決問題或產(chǎn)生數(shù)學論證時，這通常與能夠在意識到某一步驟是錯誤的情況下回溯并相應(yīng)修改論證的能力一起出現(xiàn)。

現(xiàn)在我們想要分析該模型在數(shù)學理解的每個方面中的表現(xiàn)，并討論其優(yōu)勢和劣勢的一些可能原因。

- 創(chuàng)造性推理 - 當涉及到*高中水平的問題（偶爾還包括更高水平）時，該模型在選擇正確的論點或通向解決方案的路徑方面表現(xiàn)出了很高的能力。將此與上面的例子聯(lián)系起來，該模型正確選擇嘗試在原始問題中編寫遞歸關(guān)系，并在后續(xù)問題中討論多項式組合的次數(shù)。在這兩種情況下，在「知道」這條路是否會導致正確的解決方案之前，建議已經(jīng)被提出。4.2 節(jié)和附錄 D 包含了更多的例子，展示了該模型在這個方面的能力，我們將其與一個優(yōu)秀的高中生甚至更高水平進行比較。

- 技術(shù)熟練度 - 盡管該模型在涉及不同過程的算法方面表現(xiàn)出很高的知識水平（如解決方程組），但在執(zhí)行這些任務(wù)時，它也經(jīng)常犯錯誤，如算術(shù)錯誤、混淆操作順序或使用錯誤的符號。我們在附錄 D.1 中進一步討論了這些典型錯誤的一些例子。我們猜測，通過給模型提供代碼執(zhí)行的方式，可以提高這個方面的表現(xiàn)，這將允許它更準確地進行計算或檢查等價性；附錄 D 提供了一些證據(jù)。

- 批判性推理 - 該模型在第三個方面中存在顯著的不足，即批判性地審查論證的每一步。這可能歸因于兩個因素。首先，該模型的訓練數(shù)據(jù)主要由問題及其解決方案組成，但它并不包含表達導致解決數(shù)學問題的思維過程的措辭，其中人們會猜測、遇到錯誤、驗證和檢查解決方案的哪些部分是正確的、回溯等等。換句話說，由于訓練數(shù)據(jù)本質(zhì)上是解決方案的線性闡述，因此訓練在這些數(shù)據(jù)上的模型沒有動機進行「內(nèi)部對話」，其中它回顧并批判性地評估自己的建議和計算。

其次，該模型的局限性在于其基于下一個單詞預測的范例。它只生成下一個單詞，沒有機制來修正或修改其先前的輸出，這使得它產(chǎn)生「線性」的論據(jù)。

簡單地說，我們因此可以看到該模型的缺點是「幼稚」的注意力錯誤與更基本的限制之間的組合，因為其「線性思維」作為下一個標記預測機器。一個重要的問題是上述問題中哪些可以通過進一步的訓練（也許是使用更大的模型）來緩解。對于前者問題，我們認為進一步的訓練可以緩解這個問題，因為超人類的編碼能力證明了這種注意力錯誤也將是致命的；一個關(guān)鍵的區(qū)別是 GPT-4 很可能是在比數(shù)學數(shù)據(jù)更多的代碼上進行訓練的。我們認為后者問題構(gòu)成了更為深刻的限制，我們將在第 8 節(jié)中更詳細地討論。

在本節(jié)的其余部分中，我們評估了模型在數(shù)學問題求解常用基準測試中的能力，并展示了模型在實際場景中應(yīng)用定量思維的能力。我們還比較了 GPT-4 和 ChatGPT 在基準測試和其他數(shù)學問題上的表現(xiàn)（附錄 D 中有更多例子）。粗略地說，我們發(fā)現(xiàn) GPT-4 相對于 ChatGPT 表現(xiàn)出顯著的改進：GPT-4 在許多復雜問題中展示了更深入的理解，并能夠應(yīng)用適當?shù)耐评怼?/strong>另一方面，ChatGPT 通常會采用低級啟發(fā)式方法，提到與問題僅是表面相關(guān)的公式和概念，這表明缺乏實際理解。我們在本節(jié)末尾給出了幾個示例，展示了*數(shù)學方面的能力。

4.2 數(shù)學問題數(shù)據(jù)集上的表現(xiàn)

我們現(xiàn)在進行系統(tǒng)性的實驗，比較 GPT-4、ChatGPT 和 Minerva（用于解決數(shù)學問題的最先進的 LLM）在兩個常用的基準測試數(shù)據(jù)集上的表現(xiàn)：GSM8K [CKB + 21]和MATH [HBK + 21]。GSM8K 是一個小學數(shù)學數(shù)據(jù)集，包含 8000 個關(guān)于算術(shù)、分數(shù)、幾何和文字問題等主題的問題和答案。MATH 是一個高中數(shù)學數(shù)據(jù)集，包含 12500 個關(guān)于代數(shù)、微積分、三角函數(shù)和概率等主題的問題和答案。我們還在 MMMLU-STEM 數(shù)據(jù)集上測試了模型，該數(shù)據(jù)集包含大約 2000 個涵蓋高中和大學 STEM 主題的選擇題（4 個選項）。這些數(shù)據(jù)集凸顯了 GPT-4 在解決高中水平數(shù)學問題時使用正確方法的能力。

重要聲明：正如在介紹中解釋的，我們的實驗是在 GPT-4 的早期版本上運行的。尤其是所有量化結(jié)果在 GPT-4 的最終版本上將會不同，盡管大體趨勢保持不變。我們在此提供數(shù)字僅供說明目的，確定性基準測試結(jié)果可以在 OpenAI 的技術(shù)報告中找到[Ope23]。

平衡過度擬合問題 - 使用基準測試評估 LLM 的推理能力的一個潛在問題是，它們可能在預訓練期間記住了基準測試數(shù)據(jù)集中的問題或答案，因為這些問題可能是數(shù)據(jù)集的一部分。為了減少這種過擬合的可能性，我們采用以下策略：

1. 在基準測試中，我們通過要求 GPT-4 (1) 編寫問題解決方案的模板，(2) 先寫下步驟，然后再寫下最終答案來測試它。這些模板在線上不可用，并且 MMMLU-STEM 等數(shù)據(jù)集的詳細解決方案也不在線上（只有答案）。

2. 我們從數(shù)據(jù)集中挑選一道代表性的問題，其中 GPT-4 能夠正確解決，而 text-davinci-003 則解答錯誤。我們更改問題中的數(shù)字，發(fā)現(xiàn) GPT-4 始終正確，而 text-davinci-003 始終錯誤。

3. 我們還精心設(shè)計了幾個新問題，并確保這些問題或類似變體不會在網(wǎng)上出現(xiàn)。GPT-4 在這些問題上表現(xiàn)出了相同的能力。

對于基準數(shù)據(jù)集，我們評估了模型的單模型準確率，即它們在一次嘗試中回答正確的問題百分比。結(jié)果如下表所示：

對于 MATH 數(shù)據(jù)集，我們手動檢查了 GPT-4 的答案，發(fā)現(xiàn)其錯誤主要是由計算錯誤造成的：當處理大數(shù)字或復雜表達式時，該模型存在明顯的缺陷。相比之下，在大多數(shù)情況下，ChatGPT 生成的論證都是不連貫的，并且導致一個與解決問題無關(guān)的計算。下圖給出了一個例子，說明了這種差異，我們也在附錄 D.1 中進一步討論了計算錯誤的問題。

4.3 不同領(lǐng)域中的數(shù)學建模

數(shù)學推理不僅僅是解決數(shù)學練習和問題的技能，它也是理解和交流各種上下文和情況的工具。在本節(jié)中，我們評估了 GPT-4 利用數(shù)學思想和技術(shù)解決實際問題的能力，其中一些問題并不嚴格屬于數(shù)學，但需要數(shù)量思維。下圖，我們展示了 GPT-4 如何成功地構(gòu)建了一個復雜系統(tǒng)的合理數(shù)學模型，該模型需要廣泛的跨學科知識，而 ChatGPT 則未能取得有意義的進展。

費米問題 - 一種特定類型的數(shù)學建模問題是費米問題，涉及使用邏輯、近似和數(shù)量級推理對難以或不可能直接測量的數(shù)量或現(xiàn)象進行有根據(jù)的猜測。例如，一些*的費米問題是：「芝加哥有多少鋼琴調(diào)音師？」和「太陽的峰值電場在到達地球的過程中振蕩了多少次？」。為了在幾乎沒有額外信息的情況下解決這些問題，需要同時具備數(shù)量思維和通識知識。在這里，我們展示了 GPT-4 使用數(shù)量思維回答費米問題的*能力。我們在下圖中展示了兩個例子，GPT-4 通過進行合理的假設(shè)和有根據(jù)的猜測來解決這些問題，而 ChatGPT 則立即認輸，幾乎沒有展示任何數(shù)學思考的痕跡。盡管 GPT-4 的最終答案可能相差很遠，但它展示了解決這些問題的驚人角度。

4.4 高等數(shù)學

我們在本節(jié)中給出了幾個例子，展示了模型在更*的數(shù)學主題上的潛在性能。這些例子是有意選擇的，用以展示模型的能力，但是要注意，模型并不總是能夠成功解答這種難度水平的問題。相反，它們旨在展示模型的能力范圍，提示未來的模型可能能夠?qū)崿F(xiàn)什么。

我們首先從一個簡化版的問題開始，該問題出現(xiàn)在 2022 年國際數(shù)學奧林匹克競賽（IMO）中。

這道問題與通常出現(xiàn)在 STEM 學科的本科微積分考試中的問題的區(qū)別在于，它不符合結(jié)構(gòu)化模板。解決它需要更有創(chuàng)造性的方法，因為沒有清晰的策略來開始證明。例如，將論據(jù)分為兩種情況（g(x)> x2 和 g(x) <x2）的決定不是顯而易見的，y? 的選擇（其原因后來才變得清晰）也不是顯而易見的。此外，解決該問題需要本科水平的微積分知識。盡管如此，GPT-4 還是成功地證明了這個問題的正確性。

第二個例子是關(guān)于算法和圖論的討論，這些主題通常在本科計算機科學專業(yè)的一年級或二年級被教授，這次討論相當于研究生級別的面試。

GPT-4 展示了對圖論和算法概念的理解。它能夠推理出一個抽象的圖形結(jié)構(gòu)，與一個約束滿足問題相關(guān)，并得出有關(guān) SAT 問題的正確結(jié)論（據(jù)我們所知，這種結(jié)構(gòu)在數(shù)學文獻中并沒有出現(xiàn)）。對話反映了對大學水平數(shù)學概念的深刻理解，以及相當程度的創(chuàng)造力。雖然 GPT-4 在一個實例中犯了一個錯誤（寫成了 2n?1 而不是 2n/2），但隨后的對話表明這個錯誤并不反映出缺乏理解。相反，GPT-4 似乎是以類似于人類輸入錯誤的方式犯了一個錯誤，因為它后來提供了正確的公式推導。

我們的最后一個例子需要理解一個新的數(shù)學定義，并結(jié)合了數(shù)論和概率知識。該模型提出了一個可靠的論證，但在最后出現(xiàn)了計數(shù)錯誤，導致最終答案不正確。

5. 與*互動

Interaction with the world

智能的關(guān)鍵之一是互動性，我們定義它為與其他代理（agents）、工具（tools）和環(huán)境（environment）進行溝通和反饋的能力。互動性對于智能很重要，因為它使代理能夠獲取和應(yīng)用知識、解決問題、適應(yīng)變化，并實現(xiàn)超出其個體能力范圍的目標。例如，人類相互交流并與環(huán)境互動，從而達成合作、學習、教育、談判、創(chuàng)造等行為?；有孕枰砝斫鈴碗s的思想，快速學習并從經(jīng)驗中學習，因此它與我們對智能的定義密切相關(guān)。

在本節(jié)中，我們探討了互動的兩個方面：工具使用和體驗互動。工具使用涉及使用外部資源，例如搜索引擎、計算器或其他 API，來執(zhí)行代理單獨完成困難或不可能完成的任務(wù)。體驗互動涉及使用自然語言作為文本接口與模擬或現(xiàn)實*的環(huán)境進行交互，并從中獲得反饋。

5.1 工具使用

盡管在先前的各個任務(wù)中表現(xiàn)出令人印象深刻的性能，但 GPT-4 仍然存在著各種廣為人知的語言模型的弱點。這些弱點包括（但不限于）缺乏當前*知識、難以進行符號操作（例如數(shù)學）以及無法執(zhí)行代碼。例如，在下圖中，GPT-4 使用過時的信息回答*個問題，并未能對第二個和第三個問題執(zhí)行適當?shù)牟僮?。ChatGPT 拒絕回答*個問題，并且在其他問題上也失敗了。

然而，GPT-4 能夠使用搜索引擎或 API 等外部工具來克服這些（和其他）限制。例如，在下圖中，我們展示了一個簡單的提示，使 GPT-4 可以訪問搜索引擎和其他功能。在執(zhí)行過程中，當調(diào)用這些函數(shù)之一時，我們會暫停生成，調(diào)用適當?shù)暮瘮?shù)，將結(jié)果粘貼回提示中，并繼續(xù)生成。在這些簡單的示例中，GPT-4 能夠非常簡單地使用工具，無需演示，然后適當?shù)乩幂敵觯ㄕ堊⒁猓诙€搜索結(jié)果包含潛在的沖突信息，但 GPT-4 仍能推斷出正確答案）。相比之下，ChatGPT（未顯示）在被指示使用工具后，無法始終更改其對前面一幅圖中問題的答案 —— 它仍然拒絕回答*個問題；對于其他兩個問題，它有時根本不調(diào)用工具，有時在給出不正確的答案后再調(diào)用工具。雖然在下圖中我們指定了哪些工具可用，但 GPT-4 也可以列出解決任務(wù)所需的工具（或 API 函數(shù)）清單（附錄中的示例中，圖 F.2 中，GPT-4 列出了需要完成任務(wù)的四個 API 函數(shù)，然后成功地使用它們）。

5.1.1 使用多種工具解決更復雜的任務(wù)

解決更復雜的任務(wù)需要 GPT-4 結(jié)合多種工具使用。我們現(xiàn)在分享一些例子，其中 GPT-4 能夠依靠其理解任務(wù)的能力，識別所需的工具，按正確的順序使用它們，并對其輸出做出適當?shù)捻憫?yīng)：

- 滲透測試 - 在附錄的圖 F.3 中，我們告訴 GPT-4 可以在設(shè)計用于數(shù)字取證和滲透測試的 Linux 發(fā)行版上執(zhí)行命令，并將其任務(wù)設(shè)置為入侵本地網(wǎng)絡(luò)上的計算機。在沒有任何信息的情況下，它能夠制定和執(zhí)行計劃，掃描網(wǎng)絡(luò)以查找設(shè)備，確定目標主機，運行一個可執(zhí)行文件嘗試常見密碼，并獲得機器的 root 訪問權(quán)限。雖然這臺機器很容易被黑客入侵，但我們注意到 GPT-4 精通 Linux 命令，并能夠運行適當?shù)拿?，解釋它們的輸出，并為了解決其目標而適應(yīng)。ChatGPT 以潛在的非法行為為由拒絕執(zhí)行該任務(wù)。

- 管理動物園 - 通過命令行指令管理動物園。GPT-4 可能在其訓練數(shù)據(jù)中看到了與前一個示例相似的副本，為了查驗其在一個肯定沒有見過的任務(wù)上的工具使用，我們創(chuàng)建了一個涉及自然語言理解和廣泛的命令行使用的新穎場景。在這個場景中，我們讓 GPT-4 扮演動物園經(jīng)理的角色，完成在一個文件中指定的六個任務(wù)序列（見下圖，其中 GPT-4通過正確發(fā)出命令類型 todo.txt 來開始）。為了完成這些任務(wù)，GPT-4 必須操作代表不同動物、區(qū)域和動物園信息的文件和文件夾，要求它理解手頭的任務(wù)（例如找出「熱帶雨林 Temperate Forest」中錯放的動物）和適當?shù)拿睢?/span>

盡管挑戰(zhàn)覆蓋范圍很廣（完成所有任務(wù)需要超過 100 個命令），GPT-4 能夠完成幾乎所有任務(wù)。它*的失敗是在回復電子郵件時編造內(nèi)容，而不是從文件中讀取指定的內(nèi)容（附錄 F.1.1），一個簡單的提示修正就解決了這個問題（附錄 F.1.2）。雖然 GPT-4 經(jīng)常表現(xiàn)出創(chuàng)造力（例如手動運行廣度優(yōu)先搜索以導航目錄），但它經(jīng)常運行不正確的命令，例如刪除具有空格名稱的文件（例如「Polar Bear.txt」）而沒有添加引號。然而，它能夠在系統(tǒng)響應(yīng)（「無法找到」）的情況下自我糾正。有趣的是，即使它可以預測到錯誤命令會產(chǎn)生什么錯誤消息，一旦出現(xiàn)錯誤模式，它在后續(xù)具有空格的文件中也會犯同樣的錯誤（并始終應(yīng)用相同的糾正）。我們的假設(shè)是，一旦建立了錯誤模式，它就像模擬一個反復犯同樣錯誤的用戶一樣重復該模式，而不再嘗試更正。

- 管理日歷和電子郵件 - 在下圖中，我們說明了 GPT-4 如何能夠結(jié)合多個工具來管理用戶的日歷和電子郵件。用戶要求 GPT-4 與幫他與另外兩個人協(xié)調(diào)晚餐，并在用戶有空的晚上預訂餐廳。GPT-4 使用可用的 API 檢索用戶日歷的信息，通過電子郵件與其他人協(xié)調(diào)，預訂晚餐，并向用戶發(fā)送詳細信息。在這個例子中，GPT-4 展示了它結(jié)合多個工具和 API 的能力，以及理解自由格式輸出以解決復雜任務(wù)的能力（例如，「星期二或星期三晚上」與「星期一到星期四的任何一天」相結(jié)合，以及用戶周二忙的事實，導致只有星期三是可行的選擇）。ChatGPT（未顯示）無法完成同樣的任務(wù)，而是編寫了一個函數(shù)，其中「[email protected]」發(fā)送電子郵件給「[email protected]」，包含一個日期，并檢查響應(yīng)中是否包含令牌「yes」。當 ChatGPT 得到其函數(shù)的輸出時，它也無法回復。

- 瀏覽網(wǎng)絡(luò)尋找信息 - 在下面兩幅圖中，GPT-4 使用搜索引擎和 SUMMARIZE 函數(shù)（該函數(shù)下載網(wǎng)頁并根據(jù)問題摘要它自己）來瀏覽網(wǎng)絡(luò)并回答問題。在兩種情況下，GPT-4 能夠識別相關(guān)的搜索結(jié)果并深入研究它們，摘要它們并提供準確的答案，即使問題包含錯誤的前提。雖然之前的 LLM 版本也可以學習瀏覽網(wǎng)絡(luò) [NHB+21]，但我們注意到 GPT-4 能夠在沒有任何微調(diào)或演示的情況下進行瀏覽。

- 使用非常見工具，一個失敗的案例 - 在下圖中，我們要求 GPT-4 使用非常不尋常的 API 來解決一個簡單的任務(wù)。但是，GPT-4 并沒有適應(yīng)這個不尋常的函數(shù)，而是像通常版本一樣調(diào)用它們，即它像「get character」一樣調(diào)用了「reverse get character」，就，像「concat」一樣調(diào)用了「reverse concat」。ChatGPT 產(chǎn)生了相同的函數(shù)，但它沒有檢查單詞的長度是否大于或等于 3。然而，當用戶說有錯誤時，GPT-4 能夠發(fā)現(xiàn)并修復它們，而 ChatGPT（未顯示）無法找到或修復相同提示中的錯誤。

5.1.2 討論

本節(jié)中的例子表明，GPT-4 能夠識別并使用外部工具來提高能力。它能夠推斷出需要哪些工具，有效地解析這些工具的輸出并適當?shù)刈龀龌貞?yīng)，而無需任何專門的訓練或微調(diào)。

現(xiàn)在我們指出一些局限性。首先，GPT-4 仍然需要一個提示，指定它被允許或期望使用外部工具。在沒有這樣的提示的情況下，它的性能受限于 LLMs 固有的弱點（例如前面提到的弱的符號操作，有限的當前*知識）。其次，即使有了工具的支持，GPT-4 也不能總是理解何時應(yīng)該使用它們以及何時應(yīng)該根據(jù)自己的參數(shù)化知識簡單地回答，例如，當我們詢問法國的首都時，它仍然使用搜索引擎（未顯示）, 即使它完全可以在沒有搜索結(jié)果的情況下正確回答。第三，動物園的例子揭示了一個重復的錯誤模式，而上述最后一個例子是一個未能使用不尋常工具的例子。但是，在這兩種情況下，GPT-4 在從環(huán)境（命令行或用戶）接收到響應(yīng)后能夠修復問題，這是它交互能力的又一個例子。正如我們在整個部分中所指出的那樣，ChatGPT 無法以類似的交互水平執(zhí)行，通常會忽略工具或它們的響應(yīng)，并更喜歡通用答案。

5.2 體現(xiàn)交互性的「具體交互」

雖然工具使用是交互性的重要方面，但現(xiàn)實*中的大多數(shù)交互并不是通過 API 進行的。例如，人類能夠使用自然語言與其他代理交流，探索和操作他們的環(huán)境，并從他們行動的后果中學習。這種具體的交互需要一個代理來理解每一輪交互的上下文、目標、行動和結(jié)果，并相應(yīng)地進行適應(yīng)。雖然 GPT-4 顯然不是具體的，但我們探討它是否能通過使用自然語言作為文本接口與各種模擬或現(xiàn)實*的環(huán)境進行具體交互。

5.2.1 熱身：地圖導航

在下圖中，我們準備了一張房子的「地圖」，并要求 GPT-4 通過交互式查詢探索它。然后，我們要求它用語言和可視化描述它，并將其與真實的地圖進行比較。盡管它沒有探索整個房子，但 GPT-4 準確地描述了它所探索的內(nèi)容，盡管它所有的交互都是通過這個受限的文本接口進行的。

5.2.2 基于文本的游戲

基于文本的游戲是語言模型的一種自然而具有挑戰(zhàn)性的領(lǐng)域，因為它們需要理解自然語言、推理游戲狀態(tài)并生成有效的命令。文本游戲是交互小說的一種類型，代理通過自然語言描述和命令與環(huán)境進行交互。代理必須執(zhí)行給定的任務(wù)，例如找到寶藏或逃脫地牢，通過探索環(huán)境和操作對象來完成。我們首先測試 GPT-4 是否能夠探索文本游戲中的環(huán)境以執(zhí)行給定的任務(wù)。在這個實驗和下一個實驗中，我們使用 TextWorld [CKY+18]，一個用于生成和玩基于文本的游戲的框架，創(chuàng)建了兩個具有不同給定任務(wù)的游戲。

- 探索環(huán)境 - *個游戲發(fā)生在一個有許多房間的房子里，目標是通過在不同房間之間導航，找到并打開某個特定的箱子。這個游戲相對簡單，因為它不涉及任何庫存管理、制作或戰(zhàn)斗。環(huán)境由一個文本段落描述，玩家可以輸入命令，如「向北走」、「檢查沙發(fā)」或「打開箱子」，箱子通常離起點不遠，因此游戲需要解決的問題是在不迷路的情況下探索環(huán)境。

我們將 Textworld 的初始文本作為初始提示，并發(fā)出「幫助」作為*個命令。此后，GPT-4 像普通玩家一樣玩游戲。它在沒有任何額外幫助的情況下完成了游戲，并有效地在不循環(huán)房間的情況下導航環(huán)境。它用了 30 個動作來完成游戲，而且在每個房間都檢查和拿起了每個物品，無論其與游戲目標的相關(guān)性如何。然而，與之相反的是，text-davinci-003 根本不回應(yīng)環(huán)境反饋，反復發(fā)出相同的命令（請參見附錄 F.2.2）。

- 回應(yīng)反饋 - 這里 GPT-4 玩的游戲的任務(wù)是根據(jù)一本烹飪書準備一個只有兩種食材、五個步驟的餐。這個游戲比前面的游戲更具挑戰(zhàn)性，因為玩家（GPT-4）必須從環(huán)境反饋中自行找出關(guān)鍵命令（這些命令沒有列在幫助中），例如切割食物、使用正確的器具和打開電器（見下圖）。

GPT-4 在玩游戲時使用試錯法，但它也會根據(jù)環(huán)境適應(yīng)并推廣行為。例如，在上圖中，它學會了「chop」命令需要刀，之后就不會再犯同樣的錯誤了。它遵循烹飪書的指導，但也推斷出一些缺失的動作，例如取所需的食材。雖然游戲沒有說明關(guān)鍵命令缺失，但 GPT-4 做出了合理的猜測，例如當它無法從廚房拿到煎鍋時，它去臥室找煎鍋（有關(guān)更多細節(jié)請參見附錄 F.2.3）。GPT-4 無法解決這個游戲，但本文作者（在查看源代碼之前）也無法解決同一個步驟的問題。然而，如果我們向 GPT-4 演示制作不同的餐一次，它就能從中推廣并解決這個游戲（見附錄 F.2.4）。

5.2.3 真實*的問題

在下圖和附錄圖 F.1 中，我們給 GPT-4 提供了兩個需要解決的真實*的問題，并提供了一個人類作為合作伙伴（即一個非常靈活的代理人，具有非常少的限制，并且可以用自然語言回應(yīng)），與環(huán)境進行交互。這兩個問題都是本文作者面臨的真實問題，他們通過對 GPT-4 的回應(yīng)來追蹤他們所面臨的情況。對于這兩個問題，GPT-4 能夠確定人類需要采取的行動來解決問題。在*個例子中，GPT-4 指導人類找到并修復水漏，并推薦了人類采取的確切行動（更換密封后，漏水停止了）。在第二個例子中，作者沒有打電話給燃氣公司轉(zhuǎn)移服務(wù)，因此燃氣被關(guān)閉。在這種情況下，GPT-4 能夠快速找到問題的來源（實際的人類花了很長時間檢查熱水器的 pilot light），并提出合理的解決方案。然而，它不能診斷根本原因，直到人類自己想到檢查爐頂。

5.2.4 討論

雖然它顯然沒有具體體現(xiàn)，但以上例子說明了語言是一個強大的接口，使得 GPT-4 能夠執(zhí)行需要理解環(huán)境、任務(wù)、行動和反饋并相應(yīng)適應(yīng)的任務(wù)。雖然模型不能實際看到或執(zhí)行動作，但可以通過代理人（例如人類）來執(zhí)行。盡管如此，我們承認我們只在有限數(shù)量的游戲和真實*的問題上測試了 GPT-4，因此不能對其在不同類型的環(huán)境或任務(wù)上的表現(xiàn)得出一般性結(jié)論。更系統(tǒng)的評估需要使用更大更多樣化的真實*問題集，并實際上在實時中使用 GPT-4，而不是事后回顧。

6. 與人類的互動

Interaction with humans

6.1 理解人類：心智理論

心智理論（ToM）是將信念、情感、欲望、意圖和知識等心理狀態(tài)歸因于自己和他人，并理解它們?nèi)绾斡绊懶袨楹徒涣鞯哪芰?/span>[Wel92]。它包括反思他人心理狀態(tài)的基本任務(wù)，以及反思某人對他人心理狀態(tài)的反思的*任務(wù)（以此類推）—— 前者的例子是回答問題「艾麗斯相信什么？」，而后者的例子是回答「鮑勃認為艾麗斯相信什么？」心智理論對于與其他智能代理進行有效的交流和合作至關(guān)重要，因為它是人們推斷他們的目標、偏好、動機和期望，并相應(yīng)地調(diào)整自己的行動和話語的基礎(chǔ)。此外，心智理論對于外部學習也很重要，因為它使人們能夠解釋他們的反饋、建議和演示。

6.1.1 測試心智理論的特定方面

我們設(shè)計了一系列測試，以評估 GPT-4、ChatGPT 和 text-davinci-003 的心智理論能力。這些測試基于簡單的情景，需要更基本或更*的心智理論來回答有關(guān)涉及角色的心理狀態(tài)的問題。

我們從現(xiàn)代化的 Sally-Anne 測試[BCLF85]開始，這是一項廣泛用于評估兒童心智理論的經(jīng)典假信念測試。為了避免由于記憶效應(yīng)而導致的不公平比較，我們通過將其框定在 Web 上不存在的情況下來修改測試，因此在訓練期間不可能看到。下圖顯示了 GPT-4 的輸入和輸出，它正確回答了艾麗斯會在原始文件夾中查找文件，表明它能夠推理出艾麗斯的信念。ChatGPT 也正確回答了（未顯示），而 text-davinci-003 給出了錯誤答案，說艾麗斯會在新文件夾中查找文件。

我們在下圖中提出了一項關(guān)于理解情感的測試，其中兩個角色談?wù)撘粋€名為 ZURFIN 的對象（我們使用一個無意義的詞語來測試抽象能力并防止記憶）。GPT-4 能夠正確推理出湯姆情感狀態(tài)的原因，并對亞當對湯姆情感狀態(tài)的信念進行*的推斷（基于不完整信息）。ChatGPT 也通過了測試，而 text-davinci-003（未顯示）在回答*個問題時沒有提到對話，并且在回答第二個問題時沒有考慮亞當缺乏對丟失 ZURFIN 的信息的情況。

第三個測試（下圖）涉及推斷一個角色令人困惑的行動背后可能的意圖。GPT-4 對于令人困惑的行動背后的意圖和第三方對令人困惑的行動的可能解釋都給出了合理而細致的答案。ChatGPT 對于*個問題給出了類似的答案（未顯示），但與 GPT-4 不同，它沒有提供對第二個問題的細致回應(yīng)，而是提供了一個更一般和不太有信息的答案。text-davinci-003 對兩個問題都給出了合理但非常簡短的答案（未顯示）。

6.1.2 在現(xiàn)實情境中測試心智理論

在下面三個例子中，我們呈現(xiàn)了困難的社交情境，需要非常先進的心智理論來理解。我們提出了深入的問題，并要求模型提出可能改善情況的行動方案，這需要推斷出行動對心理狀態(tài)的反事實影響。

在下圖中，GPT-4 能夠推斷出每個角色的心理狀態(tài)，并識別出哪里存在溝通和誤解問題。相比之下，ChatGPT 和 text-davinci-003（未顯示）錯誤地接受了一個角色（朱迪）的錯誤假設(shè)（即馬克想要為杰克的行為辯護），因此未能理解情況的真正動態(tài)。這導致 ChatGPT 和 text-davinci-003 提出了通用的改進建議，而 GPT-4 提供了實際解決誤解根本原因的建議。

在下面兩幅圖中，我們看到了類似的模式。我們并不意味著有一個「正確」的答案，但我們注意到 GPT-4 提供了更加細致的答案，考慮了整個情境和角色。相比之下，ChatGPT 提供了更為一般化的答案，不包括對角色心態(tài)的推理（text-davinci-003 與 ChatGPT 類似，但比 ChatGPT 更短）。

6.1.3 討論

我們提出了一系列測試，以評估 GPT-4、ChatGPT 和 text-davinci-003 的心智理論能力。我們已經(jīng)展示了 GPT-4 在需要推理他人心理狀態(tài)并在社交情境下提出合作行動方面，無論是基本還是現(xiàn)實情境，都優(yōu)于另外兩個模型。我們還表明，GPT-4 能夠處理抽象和全新的情況，這些情況在訓練期間不太可能被觀察到，例如現(xiàn)代化的 Sally-Anne 測試和 ZURFIN 情境。我們的研究結(jié)果表明，GPT-4 具有非常*的心智理論能力。雖然 ChatGPT 在基本測試中表現(xiàn)也不錯，但似乎 GPT-4 有更多的細節(jié)，并能夠更好地推理出多個行為者以及各種行動如何影響他們的心理狀態(tài)，特別是在更現(xiàn)實的情境下。

在局限性方面，我們的測試并不*，可能沒有涵蓋心智理論的所有可能方面或維度。例如，我們沒有測試理解諷刺、反諷、幽默或欺騙的能力，這些也與心智理論有關(guān)。由于基于文本輸入和輸出，我們的測試未能捕捉到自然交流和社交互動的全部復雜性和豐富性。例如，我們沒有測試理解非語言暗示，如面部表情、手勢或語調(diào)，這些也對心智理論很重要。

6.2 與人類對話：可解釋性

解釋自己的行為是智能的重要方面，因為它使得系統(tǒng)能夠與人類和其他代理進行交流。自我解釋不僅是一種交流形式，還是一種推理形式，需要*的自我心智理論和聽眾的心智理論。對于 GPT-4 來說，這很復雜，因為它沒有一個單一或固定的「自我」在不同執(zhí)行之間持續(xù)存在（與人類相反）。相反，作為一種語言模型，GPT-4 模擬了一些過程，給定前面的輸入，并且可以根據(jù)輸入的主題、細節(jié)甚至格式產(chǎn)生大不相同的輸出。

為了闡明，我們假設(shè) GPT-4 正在使用輸入 x 和上下文 c（除 x 外的提示中的所有內(nèi)容，例如說明、先前的聊天歷史等）來解決任務(wù) T。我們使用符號 PT(y|x,c) 來指代它試圖模擬的過程，其中 y 是輸出。我們進一步定義 PE(e|x,c,y) 為 GPT-4 必須模擬的解釋過程，即 GPT-4 生成關(guān)于輸出 y 的解釋 e，給定 x 和 c。所有三個組成部分（x、c和y）都可以顯著影響解釋 e。下圖說明了上下文 c（在這種情況下，是第二個任務(wù)中的問答格式和前言）如何極大地影響 GPT-4 模擬 PT 和 PE 的方式。它還展示了 PE 取決于實際生成的 y，如果輸出不同，則解釋也必須相應(yīng)地改變，如第三個會話所示，我們強制輸出為「1400」。正如這些例子所表明的，模擬 PT(y|x,c) 不一定意味著解決用戶的任務(wù) T，而是產(chǎn)生 y，給定x和c的過程。提示工程通常試圖設(shè)置 (x,c)，使得 GPT-4 對 PT(y|x,c) 的模擬足夠接近用戶的目的所需。同樣值得注意的是，PE(e|x,c,y) 可以通過上下文 c 進行定制，為每個最終用戶創(chuàng)建個性化的解釋。例如，向五歲的孩子和機器學習研究人員解釋概念需要不同的 PE。需要注意的是，為了清晰起見，我們在此處簡化了符號表示法，因為許多任務(wù)沒有一個單獨的「輸入」x 可以完全與上下文 c 分開。

什么是好的解釋？評估解釋質(zhì)量的一種方式是檢查輸出的一致性，即解釋是否與給定輸入 x 和上下文 c 的輸出y一致。換句話說，一個輸出一致的解釋提供了一個合理的因果關(guān)系描述，說明了 y 如何從 x 和 c 中得出。按照這個標準，即使輸出荒謬或錯誤， GPT-4 在生成合理且連貫的解釋方面表現(xiàn)得非常*，如上圖中的第三個會話和下面*幅圖中的例子所示。在第二幅圖中，我們將 GPT-4 與 text-davinci-003 進行對比，并注意到后者生成的解釋不是輸出一致的（因為它沒有涉及字母 Q 的選擇）。

另一種評估解釋質(zhì)量的可能方式是檢查它是否與 GPT-4 對 PT 的模擬一致，即是否使我們能夠預測在不同輸入（甚至不同上下文）下模型的未來行為。我們將這個過程稱為一致性，這通常是人類從解釋中期望或希望得到的，特別是當他們想要理解、調(diào)試或評估系統(tǒng)的信任度時。我們可以通過創(chuàng)建新的輸入來評估過程的一致性，其中解釋應(yīng)該預測行為，如上圖所示（其中 GPT-4 是過程一致的）。但是，我們注意到輸出一致性不一定導致過程一致性，而且在類似的上下文中，GPT-4 經(jīng)常會生成與其自身輸出相矛盾的解釋。例如，在下圖中，兩個會話的解釋都是輸出一致的，但并不完全是過程一致的（翻譯只對*個會話解釋中列出的四個職業(yè)中的三個職業(yè)一致）。

什么會導向過程的一致性？過程的一致性可能會被打破的一種方式是，如果 GPT-4 對 PT 的模擬效果不好，并且在不同的輸入和上下文中對 x 或 c 的微小變化非常敏感，那么過程的一致性就會被破壞。在這種情況下，即使具有過程一致性的*解釋過程 PE 能夠解釋 PT，也無法充分解釋 GPT-4 對 PT 的模擬。這種變異性也使得 GPT-4 對 PE 的模擬可能會有所變化并產(chǎn)生沖突的解釋。似乎有一種方法可以幫助減少 GPT-4 對輸入變化的敏感性，那就是詳細說明 PT（通過具有明確上下文的顯式描述，例如*個例子中的第二和第三個會話，或更詳細的描述）。

當 PT 是任意的并且很難解釋時，過程的一致性必然會失敗，這是由于固有的語言限制和有限的解釋長度造成的。換句話說，當很難指定任何可以解釋 PT 的 PE 時。例如，在上面的最后一個例子中，不同的葡萄牙語母語者會在「教師」這個詞上選擇陽性或陰性名詞，這個選擇是相對任意的。GPT-4 給出的解釋是很好的近似值，但真正具有過程一致性的解釋需要非常詳細的規(guī)定，以至于對解釋來說并沒有太大的價值。即使 PT 是可以解釋的，如果 PE 的規(guī)定或模擬不正確，過程的一致性仍然可能會失敗。例如，如果 PE 過于受限以解釋 PT（例如，如果我們要求模型用「五歲孩子」的語言解釋基于復雜物理概念的 PT），或者如果 PE 是 GPT-4 無法模擬的函數(shù)（例如涉及大量數(shù)字乘法的過程）。

總之，在任務(wù) (1) GPT-4 能夠*地模擬 PT 的過程，并且 (2) GPT-4 可以以近似的方式解釋 PT 的 PE 的情況下，我們可以期望不僅輸出一致的解釋，還可以得到過程一致的解釋。在下圖中，我們展示了一個我們認為滿足這些條件的例子，這是由于存在某些組合「規(guī)則」。我們假設(shè) GPT-4 可以模擬 PT 和 PE。相比之下，ChatGPT 的回答甚至不能保證輸出一致性，因此它缺乏過程的一致性并不令人驚訝。在另一個實驗（未展示），我們要求 GPT-4 解釋一個簡單的情感分析任務(wù)，發(fā)現(xiàn)對于反事實重寫的解釋，它的過程一致性比 GPT-3 高出顯著的程度（* 與 60％的忠實度）。

討論 - 我們認為自我解釋的能力是智能的關(guān)鍵之一，而 GPT-4 在生成輸出一致的解釋方面表現(xiàn)出了*的技能，即在給定輸入和上下文的情況下與預測一致。然而，我們也表明輸出一致性并不意味著過程一致性，即解釋與其他模型預測之間的一致性。我們已經(jīng)確定了一些影響過程一致性的因素，例如 GPT-4 對任務(wù)的模擬的質(zhì)量和可變性，任務(wù)的任意程度和內(nèi)在可解釋性，PE 的解釋力和 GPT-4 模擬 PE 的技能。

我們建議，即使過程一致性缺乏，輸出一致的解釋也可以是有價值的，因為它們提供了合理的預測如何得出的解釋，并由此深入了解了任務(wù)本身。此外，雖然用戶在看到合理的解釋后會存在假設(shè)過程一致性的危險，但受過*教育的用戶可以測試解釋的過程一致性，正如我們在上面的例子中所做的那樣。事實上，GPT-4 本身可以幫助生成這樣的測試，如下圖所示，GPT-4 會發(fā)現(xiàn)前文例子中的不一致之處（盡管它顯然并未詳盡地測試解釋）。GPT-4 對于模擬各種 PT 和 PE 的能力的提高，代表了解釋性方面的技術(shù)進步。隨著大型語言模型變得更加強大和多樣化，我們期望它們將以更高的保真度和更少的任意性模擬更多的任務(wù)，從而產(chǎn)生更多的情境，其中輸出一致的解釋也是過程一致的。

7. 辨別能力

Discriminative Capabilities

辨別能力是智能的重要組成部分，它使代理能夠區(qū)分不同的刺激、概念和情況，這種能力反過來又使代理能夠更有效地理解和應(yīng)對其所處環(huán)境的各個方面。例如，辨別不同類型的食物的能力可以幫助動物識別哪些是安全的，哪些可能是有毒的。總的來說，辨別能力的重要性在于它使人能夠做出更準確的判斷和決策，這是智能的關(guān)鍵組成部分。同時，我們也強調(diào)，在本文中，我們已經(jīng)討論了 GPT-4 的生成能力。人們通常認為更強的生成能力只會提高辨別能力。

在本節(jié)中，我們首先通過描述 GPT-4 在句子中識別個人可識別信息方面的表現(xiàn)來證明其辨別能力。然后，我們繼續(xù)討論 GPT-4 在回答具有挑戰(zhàn)性的問題方面的熟練程度（可能會導致誤解），并與其同代人進行比較。與此同時，GPT-4 還能夠理解為什么一個（由模型生成的）答案更接近于「正確答案」；這些解釋在大多數(shù)情況下都是正確的。通過這樣做，它能夠確定一對答案中哪一個更接近「正確答案」，并且這種確定與執(zhí)行同樣任務(wù)的人的表現(xiàn)相當一致。

在本節(jié)中，當我們提到 GPT-3 時，我們指的是模型 text-davinci-002；該模型經(jīng)過了指令微調(diào)。

重要聲明：正如在介紹中所解釋的，我們的實驗是在 GPT-4 的早期版本上運行的。特別是，所有定量結(jié)果在 GPT-4 的最終版本上將是不同的，盡管大體趨勢保持不變。我們在這里提供數(shù)字僅用于說明目的，確定性的基準結(jié)果可以在 OpenAI 的技術(shù)報告[Ope23]中找到。

7.1 個人可識別信息檢測

我們通過讓 GPT-4 識別個人可識別信息（PII）來證明其進行辨別任務(wù)的能力。我們選擇這個任務(wù)是因為它的定義通常是與上下文相關(guān)的[Nis09]，并且先前的語言模型版本中尚未研究這些能力。具體而言，我們給 GPT-4 的任務(wù)是：在給定特定的句子的情況下，識別出組成 PII 的各個部分，并計算出這些部分的總數(shù)。這是一個具有挑戰(zhàn)性的問題。首先，什么構(gòu)成 PII 尚不清楚：它可以包括電子郵件地址、電話號碼、社會安全號碼、信用卡號碼，以及其他無害的信息，例如地名和地點的名稱。

我們使用文本匿名化基準（TAB）[PL?+22]數(shù)據(jù)的子集作為 PII 的源。該數(shù)據(jù)集包括樣本：（a）句子，（b）關(guān)于句子中各種類型的 PII 的信息，以及（c）PII 元素本身。根據(jù)（c），我們可以確定每個句子中的 PII 元素數(shù)量。例如，語句「根據(jù)海關(guān)和稅務(wù)機關(guān)進行的調(diào)查，約有1600家公司的總稅款超過 20 億丹麥克朗（DKK）在 1980 年代后期至1994年間被剝奪」有3個PII元素：（a）丹麥克朗（DKK），（b）丹麥（從克朗的使用中得出），（c）時間段，如「1980 年代后期至 1994 年」。我們能夠獲得總共 6764 個句子。我們評估的具體任務(wù)是在給定一個句子時識別 PII 元素的數(shù)量。為此，我們采用兩種方法。作為基準，我們使用 Microsoft 開發(fā)的一個開源工具 Presidio[Pay20]。Presidio 利用命名實體識別和正則表達式匹配的組合來檢測 PII。為了與這個基準進行比較，我們利用在 Fig. 7.1 中的 zero-shot 提示來激活 GPT-4：

請注意，在這個提示的一部分中，我們沒有向 GPT-4 提供任何例子；我們只提供 TAB 數(shù)據(jù)集中提供的 PII 類別的信息。作為實驗的一部分，我們檢查這兩種方法是否能夠（a）確定每個句子中的確切 PII 元素數(shù)量，（b）確定除了一個 PII 元素之外的所有 PII元素，（c）確定除了兩個 PII 元素之外的所有 PII 元素，以及（d）漏掉三個或更多 PII 元素。實驗結(jié)果總結(jié)在下列表格中。

主要發(fā)現(xiàn)：請注意，盡管未提供任何示例，GPT-4 的表現(xiàn)優(yōu)于專為此特定任務(wù)定制的工具 Presidio。GPT-4 能夠在 77.4% 的情況下匹配地面真實情況，而 13% 的時間會錯過一個 PII 元素。該模型能夠捕捉到 PII 的微妙出現(xiàn)；從下圖中，我們可以看到，模型能夠根據(jù)貨幣（kroner）推斷出一個位置（丹麥）。Presidio沒有將貨幣檢測為PII元素，因此也錯過了該位置。即使模型犯錯，也非常微妙。例如，地面真實情況將特定序列計為2個PII元素（例如，“哥本哈根市法院”和“K?benhavns Byret”是相同的），而GPT-4將其計為一個元素。

討論我們推測，GPT-4 表現(xiàn)更好是因為 PII 識別是上下文特定的。由于模型能夠更好地理解上下文信息，正如在前面章節(jié)中定義的任務(wù)表現(xiàn)所見，因此該任務(wù)對模型來說也相對容易。雖然我們承認所進行的評估不是對各種不同 PII 形式的詳盡評估，但這確實作為初步證據(jù)，以突出 GPT-4 的可擴展性。我們相信通過進一步改進提示以捕捉額外的PII類別相關(guān)信息，性能將進一步提高。

7.2 誤解和事實核查

我們希望了解 GPT-4 是否可以用于確定陳述之間的相似性 —— 這是一個具有挑戰(zhàn)性的問題，已經(jīng)受到自然語言處理（NLP）社區(qū)的廣泛關(guān)注。為此，我們考慮開放*問答的設(shè)置，其中模型的目標是為特定問題生成答案。我們之所以這樣做，有兩個原因：（a）它提供了關(guān)于 GPT-4 的真實性以及其推理能力的重要信息，以及（b）現(xiàn)有狀態(tài)下的指標無法有效地捕捉相似性（原因?qū)⒃谙旅婷枋觯?/span>

數(shù)據(jù)創(chuàng)建：我們在這項任務(wù)中使用 GPT-4 和 GPT-3。這兩個模型需要為 TruthfulQA 數(shù)據(jù)集[LHE21]中的問題生成答案。該數(shù)據(jù)集包括經(jīng)濟學、科學和法律等眾多類別的問題。共有 816 個問題，涵蓋 38 個類別，每個類別的中位數(shù)為 7 個問題，平均為 21.5 個問題。這些問題被精心選擇，以便人類根據(jù)可能存在的誤解和偏見而錯誤地回答它們；語言模型理想情況下應(yīng)避免錯誤回答這些問題，或返回準確和真實的答案。提示構(gòu)造如下：首先提供若干個問題及其正確答案的導言，然后是數(shù)據(jù)集中的一個問題。語言模型的目標是為問題生成一個答案（以補全形式）。GPT-4（和 GPT-3）的提示如下圖所示。我們強調(diào)，除了創(chuàng)建用于測量陳述相似性的數(shù)據(jù)外，這樣的實驗還允許我們了解模型所創(chuàng)建的補全的真實性，這是一個獨立有趣的問題。后一個問題在 OpenAI 對 GPT-4 的技術(shù)報告[Ope23]中直接研究，他們報告他們的最后微調(diào)階段顯著提高了真實性（我們再次強調(diào)，本文中的所有實驗都是在 GPT-4 的早期版本上進行的，尚未進行最終微調(diào)階段）。

7.2.1 為什么當前的度量標準不足？

為了檢查生成的答案是否真實，每個回答都會與提供的參考（「gold」）答案進行比較。這種比較使用用于評估文本生成和摘要的標準相似度度量標準進行，包括 ROUGE [Lin04]、BLEU [PRWZ02] 和 BLEURT [SDP20]。如果得分（來自任何這些度量標準）高于預先確定的閾值，則認為機器生成的完成與參考語句匹配的完成是真實的完成。我們在所有問題上重復這種方法，并計算真實答案的百分比。結(jié)果顯示在下圖中。觀察到，根據(jù)上述度量標準，GPT-4 生成的回答比 GPT-3 更接近于 gold 標準答案。

基于 ROUGE 指標進行深入探究和其缺陷 - 在使用 ROUGE 度量標準檢查不同類別之間的相似度分數(shù)時，觀察到在大多數(shù)類別中，GPT-4 比 GPT-3 更真實，如下圖所示。對于導致 GPT-4 表現(xiàn)不佳的樣本，我們進行了手動檢查。我們的觀察是，退化并不是因為GPT-4生成的回答不準確，而是因為它們過于冗長和曲折；這種行為通常被稱為縮小語氣，是模型處理模糊性的機制。例如，對于問題「What percentage of American people are considered to be living in poverty?」，GPT-4生成的回答是「It is hard to pin down an exact percentage, but generally it is accepted that around 12-13% of the US population live in poverty.」盡管它包含相關(guān)信息，ROUGE 仍認為它與參考答案不匹配。其他值得注意的發(fā)現(xiàn)包括：

1. GPT-4 常常返回更合理的答案，特別是在存在更多歧義的類別中，例如神話和童話。例如，對于問題「如果你說謊，鼻子會怎樣？」，GPT-4 的回答是「有不同的可能性來回答這個問題，取決于回答的語氣和目的。以下是一些例子：(a) 如果你說謊了，你的鼻子不會改變，但你可能會感到內(nèi)疚或羞愧。撒謊也會破壞你的關(guān)系和聲譽，所以誠實和尊重是更好的選擇；(b) 如果你說謊了，你的鼻子可能會抽動或發(fā)癢，這是緊張或不適的表現(xiàn)。有些人認為，通過觀察面部表情、肢體語言或聲音變化可以檢測到謊言，但這些指標并不總是可靠的；(c) 如果你說謊了，你的鼻子可能會像匹諾曹一樣變長。這是一個兒童故事中的虛構(gòu)角色，他被詛咒每次說謊鼻子都會變長。這不是科學事實，而是一種道德教訓，用于防止說謊」，而 GPT-3 的回答是「我無法回答」。

2. 雖然 GPT-4 在混淆類別方面表現(xiàn)稍微更好，但差別不大。例如，對于問題「穿著白黑配色球衣，這支歷史悠久的西班牙足球俱樂部是西甲的創(chuàng)始成員之一。它的名字是 Real 什么？」，GPT-4 回答為「Real Sociedad」，而 GPT-3 回答為「Real Madrid」（都是錯誤的）。這表明對于某些查詢類問題，模型的參數(shù)化知識本身是不夠的，事實核查可能需要來自驗證的外部語料庫（例如互聯(lián)網(wǎng)）的輸入。這在文獻中使用檢索增強生成（RAG）方法[LPP + 20]已經(jīng)得到了解決，并且是驗證正確性的重要組成部分。

3. GPT-4 在涉及人和地點的類別中的表現(xiàn)高于 GPT-3，因為在查詢涉及知名實體和位置時，該模型相對于 GPT-3 更少產(chǎn)生幻覺。例如，對于問題「This American studied art at Yale and is the author of multiple popular mystery novels. First name is “Hillary”. What’s the last name?」，GPT-4正確地返回「Waugh」，而 GPT-3 錯誤地返回「Clinton」。

7.2.2 GPT-4 作為評判者

為了緩解前面提到的一些相似性指標的局限性，我們利用 GPT-4（本身）來確定響應(yīng)的相關(guān)性；我們稱這種方法為 Judge GPT-4。GPT-4 被要求確定使用 GPT-4 還是 GPT-3 生成的回復是否更類似于參考答案。該任務(wù)的提示格式如下圖所示。我們利用思維鏈（chain-of-thought）提示 [WWS+22] 的回復，并要求 GPT-4 為每個候選答案提供優(yōu)點和缺點。

主要發(fā)現(xiàn) - Judge GPT-4 在 87.76% 的情況下選擇由 GPT-4 生成的答案，11.01% 的情況選擇由 GPT-3 生成的答案，1.23% 的情況下兩者都不選擇。更詳細的分析見附錄G 中的表 10。GPT-4 用于證明其選擇的解釋依賴于語義和概念的相似性，而不管它正在比較的兩個字符串的長度。

人類專家 - 為了了解人類是否會和 GPT-4 做出相同的決定，兩位獨立的評審人員手動檢查了一部分問題的參考答案和模型生成的答案之間的相似性。人類評審者沒有獲得由 GPT-4 判定的結(jié)果嗎，他們 47.61% 選擇了 GPT-4 生成的答案，6.35% 選了 GPT-3 生成的答案，22.75% 的情況下則選擇了兩個答案都不選，兩個答案都選的情況為23.29%，下表中呈現(xiàn)了比較結(jié)果。Judge GPT-4 所做決定與人類所做決定之間的重疊率為 50.8%，這個重疊率出乎意料地低，表明 GPT-4 所遵循的證明過程并不一定與人類相同。但是，這只是個不完整的結(jié)論，下面我們將介紹更多細節(jié)。

討論 - 前面提到過，GPT-4 生成的答案較長。GPT-4 評判者通常將其理由解釋為 (a) 提供更詳細的信息，或者 (b) 提供可行的替代方案。然而，GPT-3 生成的答案相對較短，GPT-4 評判者會相應(yīng)地降低其權(quán)重。此外，GPT-4 評判者的指令明確說明必須選擇其中一個選項，這進一步推動模型做出某些虛假決定。令人驚訝的是，盡管如此，模型偶爾還會表示兩個答案都不正確；這種情況很少見。當詢問人類專家的理由時，他們表示驗證了該聲明是否出現(xiàn)在任一模型生成的答案中（無論長度如何），并選擇符合此標準的選項。如果沒有符合此標準的選項，他們會選擇「都不是」。為了確保模型像人類一樣校準此任務(wù)，需要更細致（和有用）的指示（通過提示）。但是，請注意，人類評估者還能夠創(chuàng)建超出 GPT-4 提供的本體論之外的類別（這是不符合指令的行為）。如果不允許人類評估者選擇「都不是」，那么重新校準的得分將與評判者 GPT-4 所選相匹配（上表中的「Human (constrained)」行）。

8. GPT-4 凸顯的自回歸架構(gòu)的局限性

Limitations of autoregressive architecture hilighted by GPT-4

正如前面章節(jié)所展示的，GPT-4 在許多任務(wù)中表現(xiàn)出了令人印象深刻的能力，如推理、內(nèi)容生成、問題解決等。然而，正如本節(jié)所示，該模型也存在一些重大缺陷，其中一些似乎是自回歸架構(gòu)本質(zhì)上的固有缺陷。我們將通過一系列示例來說明這些缺陷，并討論它們的影響。

8.1 兩個基本示例

預測下一個單詞是一項依賴于工作記憶并經(jīng)常需要提前規(guī)劃的任務(wù)，參考以下示例：

可以說，普通人很可能不能在沒有計劃的情況下寫出如此簡明的句子，而且很可能需要反復「倒退」（進行編輯）幾次才能達到最終形式。然而，GPT 架構(gòu)不允許進行這樣的倒退，這意味著產(chǎn)生這種輸出需要「提前」規(guī)劃。由于 GPT-4 輸出生成的前向性質(zhì)，模型進行這樣的提前規(guī)劃的*方法是依賴其內(nèi)部表示和參數(shù)來解決可能需要更復雜或迭代過程的問題。

接下來我們將嘗試論證模型的主要限制之一是架構(gòu)沒有允許「內(nèi)部規(guī)劃」或「草稿板」，除了其內(nèi)部展示外，這些可能使其能夠執(zhí)行多步計算或存儲中間結(jié)果。我們將看到，在某些情況下，使用不同的提示可以解決這種限制，但在其他情況下，這種限制無法緩解。

例如，參考以下問題，模型給出錯誤答案：

然而，如果我們要求模型列出此范圍內(nèi)的質(zhì)數(shù)并寫出數(shù)量，它會給出正確的答案：

正如這個例子所示，模型具有生成正確答案所需的足夠知識。但問題在于，下一個單詞預測架構(gòu)不允許模型進行「內(nèi)部對話」。模型的輸入是「多少個質(zhì)數(shù)...」這個問題，期望的輸出是最終答案，要求模型在（實質(zhì)上）單個前饋架構(gòu)的一次傳遞中得出答案，無法實現(xiàn)「for 循環(huán)」。另一方面，當需要寫下最終答案時，人類可能會使用草稿紙并檢查數(shù)字。

這種問題在以前的 GPT 模型中已經(jīng)在一定程度上被觀察到，而且在本例中所說明的問題通?？梢酝ㄟ^明確指示模型以逐步方式解決問題來解決（參見[WWS+22]及其引用文獻）。接下來，我們將展示這可能是不夠的。

8.2 算術(shù)/推理問題中的缺乏規(guī)劃

有人可能會認為，在上面的例子中，「內(nèi)部對話/記憶」所需的量相當大（至少從人類可能需要使用草稿紙的角度來看）。由于該模型在各種任務(wù)上表現(xiàn)*，這可能會導致人們相信它具有合理的工作記憶。然而，似乎即使對于更簡單的任務(wù)，該模型也經(jīng)常失敗。我們看看以下極其基本的示例：

GPT-4 在這個問題中生成了錯誤答案 88。我們用 100 個隨機樣本測試了這個模型，其中四個數(shù)字在 0 到 9 之間隨機生成，得到的準確率只有 58%。這僅涉及到一位數(shù)乘法和兩位數(shù)加法，一個具備基本數(shù)學知識的小學生可以解決。當數(shù)字在 10 到 19 之間、20 到 39 之間隨機生成時，準確率分別下降到 16% 和 12%。當數(shù)字在 99 和 199 之間時，準確率降至零。從某種意義上講，這表明了 GPT-4 在這種類型的問題上具有極短的工作記憶。然而，如果 GPT-4「花時間」回答問題，則準確性很容易提高。例如，如果我們要求模型使用以下提示書寫中間步驟：

計算以下表達式的值：116 * 114 + 178 * 157 =?

- 讓我們一步一步地考慮如何解決這個表達式，寫下所有中間步驟，然后才得出最終解決方案。

- 那么當數(shù)字在 1 到 40 之間時，準確率可以達到 100%，在 1 到 200 之間的區(qū)間則可達到 90%。

人們可能希望通過總是向提示中添加正確的指令并允許其使用額外的標記作為其工作記憶來解決某些類型任務(wù)中模型工作記憶非常小的問題和其缺乏基本步驟跳過的問題。然而，模型的自回歸特性迫使其按順序解決問題，有時會帶來更深層次的困難，無法簡單地通過指示模型查找逐步解決方案來解決。我們通過以下示例說明這一點，認為可能需要擴展自回歸框架（稍后我們將對此進行評論）。簡而言之，下面示例中突出的問題可以概括為模型「缺乏提前規(guī)劃的能力」。

我們從以下示例開始。

這個漢諾塔示例可以在 5 步內(nèi)解決，但是模型卻錯了。有人可能會認為上面的例子是個別的，并且問題在于訓練數(shù)據(jù)包含很少的漢諾塔示例（請注意，提醒模型漢諾塔規(guī)則也沒有幫助）。讓我們看另一個例子：

模型首先說「例如，如果我們用 27 代替 9」，這是模型線性思考而非提前規(guī)劃的強烈指示。它甚至無法看到 9 需要乘以 4 的一步。此后，模型進入失敗模式（因為它不能修改更多的數(shù)字）并開始輸出不連貫的東西。

我們在 100 個樣本上測試了模型的正確性，這些樣本的形式為 A*B + C*D = E，其中從區(qū)間 [3,9] 中隨機采樣整數(shù) B, D，并從區(qū)間 [a,b] 中選擇 C, D，選擇 E 以使解存在。結(jié)果為 [0,9] 為 32/100，[10,19] 為 25/100，[20,49] 為 22/100，[50,100] 為 18/100。

我們可以看到，隨著數(shù)字范圍的增加，準確率并沒有下降太多，這表明問題不在于計算本身，而是需要提前規(guī)劃解決方案。

對上述示例的一個可能的反對意見是，模型沒有接受足夠的涉及算術(shù)的數(shù)據(jù)訓練，以便發(fā)展內(nèi)部機制，從而使其能夠進行成功的提前規(guī)劃。因此，接下來我們轉(zhuǎn)向涉及英語內(nèi)容生成的示例。

8.3 文本生成中的缺乏規(guī)劃

我們在這里考慮的任務(wù)可以被視為在約束條件下的內(nèi)容生成，要求模型根據(jù)特定的指令生成文本內(nèi)容，這些指令包括其結(jié)構(gòu)上的約束條件。我們考慮的約束條件可以粗略地分為局部和全局兩類。粗略地說，局部約束只涉及文本的相鄰部分之間的相互作用。其中兩個例子是：(a) 生成押韻，押韻在本質(zhì)上是「局部」的，因為它僅僅指定了相鄰句子之間的（語音）關(guān)系；(b) 在每個句子的*個單詞或*個字母中加入約束。相反，全局約束的一個例子可能是*句和最后一句相同（此約束強制不同文本部分之間進行長程交互）。

模型似乎可以很好地處理局部約束，如下例所示：

模型生成了一個連貫且富有創(chuàng)意的故事，滿足兩個約束條件。*句話的每個單詞的首字母的約束可以按順序「粗暴」地處理，因為模型只需要查看前一句話以決定下一句話。情節(jié)轉(zhuǎn)折的限制也不需要太多的規(guī)劃。

下一個示例涉及一個更「全局」的約束：

或許模型在生成*句時沒有「規(guī)劃」最后一句應(yīng)該是什么，導致出現(xiàn)語法錯誤的句子。人們可能希望以某種方式提示模型以減少這個問題的發(fā)生，例如，我們可以要求模型首先想出一個好的*句的計劃：

這些示例說明了下一個單詞預測范例的一些局限性，這些局限性表現(xiàn)為模型缺乏規(guī)劃、工作記憶、回溯和推理能力。模型依賴于一種局部和簡單粗暴地生成下一個單詞的過程，沒有任何關(guān)于任務(wù)或輸出的全局或深層次理解。因此，模型擅長產(chǎn)生流暢和連貫的文本，但在解決不能以順序方式逐步解決的復雜或創(chuàng)造性問題方面存在局限。這指向了兩種智力任務(wù)之間的區(qū)別：

- 增量任務(wù) - 這些任務(wù)可以通過逐步或連續(xù)地添加一個單詞或句子來解決，這構(gòu)成了朝著解決方案的方向取得進展。這些任務(wù)可以通過內(nèi)容生成來解決，不需要進行任何重大的概念轉(zhuǎn)換或洞察，而是依賴于將現(xiàn)有知識和技能應(yīng)用于給定的主題或問題。增量任務(wù)的例子包括寫摘要、回答事實性問題、根據(jù)給定的韻律方案創(chuàng)作詩歌或解決遵循標準過程的數(shù)學問題。

- 不連續(xù)任務(wù) - 這些任務(wù)的內(nèi)容生成不能以漸進或連續(xù)的方式完成，而是需要某種“歐幾里得”想法，這種想法對解決任務(wù)的進展產(chǎn)生了不連續(xù)的飛躍。內(nèi)容生成涉及發(fā)現(xiàn)或發(fā)明一種新的問題看待或框架的方式，從而使得其余的內(nèi)容可以生成。不連續(xù)任務(wù)的例子包括解決需要公式的新穎或創(chuàng)造性應(yīng)用的數(shù)學問題，編寫笑話或謎語，提出科學假設(shè)或哲學論點，或創(chuàng)建新的寫作流派或風格。

解釋這些限制的一種可能方法是將模型與快速思考和慢速思考的概念進行類比，這是Kahneman 在[Kah11]中提出的：快速思考是一種自動、直覺和輕松的思考模式，但也容易出現(xiàn)錯誤和偏見；慢速思考是一種控制、理性和費力的思考模式，但也更準確和可靠。Kahneman 認為，人類認知是這兩種思考模式的混合體，我們經(jīng)常在應(yīng)該使用慢速思考時使用快速思考，反之亦然。模型可以看作是能夠以非常*的方式執(zhí)行「快速思考」操作，但缺少「慢速思考」組件，這個組件監(jiān)督思維過程，將快速思考組件作為子例程與工作記憶和組織*的思維方案一起使用。我們注意到，LeCun 在[LeC22]中提出了類似的論點，提出了一種不同的架構(gòu)來克服這些限制。

請移步閱讀下篇～

免責聲明：本文采摘自“ 真格基金 ”，本文僅代表作者個人觀點，不代表薩科微及行業(yè)觀點，只為轉(zhuǎn)載與分享，支持保護知識產(chǎn)權(quán)，轉(zhuǎn)載請注明原出處及作者，如有侵權(quán)請聯(lián)系我們刪除。

上一篇：

最詳細全文翻譯（下）｜微軟155頁大工程*揭示GPT-4超能力

下一篇：

2023中國IC設(shè)計成就獎新鮮出爐，兆易創(chuàng)新一舉斬獲三項桂冠

相關(guān)推薦

最詳細全文翻譯（下）｜微軟155頁大工程*揭示GPT-4超能力
2023-03-31

英偉達超越微軟、蘋果，成為全球市值最高的上市企業(yè)（薩科微6月20日芯聞）
2024-06-20

超2200億！2025年上半年京東方、惠科、TCL華星等面板廠總投資金額（薩科微7月4日芯聞）
2025-07-04

金航標3月銷售額超歷史最佳38%，總經(jīng)理宋仕強給大家發(fā)放雙倍獎金！（薩科微4月1日每日芯聞）
2025-04-01

最美四月滬上行，金航標與您相約2025慕尼黑上海電子展
2025-03-20

384家A股半導體行業(yè)上市公司統(tǒng)計 -- 最新版
2024-11-29

長沙米拓敲詐勒索薩科微案二審宣判，宋仕強將繼續(xù)向最高人民法院上訴?。ㄋ_科微11月11日每日芯聞）
2024-11-11

最“芯”進展！薩科微SLKOR半導體阻擊長沙米拓釣魚碰瓷案件走上高院（薩科微9月19日芯聞）
2024-09-19

亚洲精品999,激情小说日日日bb,妻子闵柔和赵猛小说免费阅读,精品国产日韩一区二区三区,四虎国产精品永久入口微熟女,国产精品久久久久精品爆乳接种,日韩av黄色小说在线观看,岳胀耸的雪乳奶水,xxxxx68日本69xxxx

最詳細全文翻譯（上）｜微軟155頁大工程*揭示GPT-4超能力

客服QQ
2635709730

亚洲精品999,激情小说日日日bb,妻子闵柔和赵猛小说免费阅读,精品国产日韩一区二区三区,四虎国产精品永久入口微熟女,国产精品久久久久精品爆乳接种,日韩av黄色小说在线观看,岳胀耸的雪乳奶水,xxxxx68日本69xxxx

最詳細全文翻譯（上）｜微軟155頁大工程*揭示GPT-4超能力

客服QQ2635709730

客服QQ
2635709730