機(jī)器之心報道

編輯：Panda W

用圖的推理能力來設(shè)計 prompt，思維圖能助力 LLM 解決更復(fù)雜的任務(wù)。

(資料圖片)

要讓大型語言模型（LLM）充分發(fā)揮其能力，有效的 prompt 設(shè)計方案是必不可少的，為此甚至出現(xiàn)了 prompt engineering（提示工程）這一新興領(lǐng)域。

在各種 prompt 設(shè)計方案中，思維鏈（CoT）憑借其強(qiáng)大的推理能力吸引了許多研究者和用戶的眼球，基于其改進(jìn)的 CoT-SC 以及更進(jìn)一步的思維樹（ToT）也收獲了大量關(guān)注。

近日，蘇黎世聯(lián)邦理工學(xué)院、Cledar 和華沙理工大學(xué)的一個研究團(tuán)隊(duì)提出了更進(jìn)一步的想法：思維圖（GoT）。讓思維從鏈到樹到圖，為 LLM 構(gòu)建推理過程的能力不斷得到提升，研究者也通過實(shí)驗(yàn)證明了這一點(diǎn)。他們也發(fā)布了自己實(shí)現(xiàn)的 GoT 框架。

研究論文：/pdf/

官方實(shí)現(xiàn)：/spcl/graph-of-thoughts

論文概覽

大型語言模型正在變成人工智能世界的主導(dǎo)技術(shù)。近些年高速發(fā)展的模型主要基于僅解碼器 Transformer 的變體，比如 GPT、PaLM 或 LLaMA。

而在解決不同的 LLM 任務(wù)時，prompt 工程設(shè)計是一種能高效利用資源的方法。簡單來說，就是在發(fā)送給 LLM 的輸入中包含對任務(wù)的描述。如果能以適當(dāng)?shù)男问矫枋鲈撊蝿?wù)，那么 LLM 就能借助其用于生成文本的基于自回歸 token 的機(jī)制來解決該任務(wù)。這樣的 prompt 可能包含帶有解答的示例任務(wù)（少樣本 prompt 設(shè)計，也被稱為上下文學(xué)習(xí)（ICL），也可能完全不包含示例任務(wù)（零樣本 prompt 設(shè)計）。近些年的研究和應(yīng)用表明，這一機(jī)制可用于解決涉及數(shù)學(xué)、常識或符號推理的多種類型的任務(wù)。

思維鏈（CoT）便是一種用于設(shè)計 prompt 的方法，即 prompt 中除了有任務(wù)的輸入和輸出外，還包含推理的中間步驟（中間思維）。研究表明，CoT 能極大地提升 LLM 的能力，使之無需任何模型更新便能解決一些難題。

也有研究者改進(jìn)了 CoT，提出了使用 CoT 實(shí)現(xiàn)自我一致的方法（CoT-SC）；這個方案是生成多個 CoT，再選出其中最佳的結(jié)果。

最近還有研究者更進(jìn)一步提出了思維樹（ToT），其做法是通過樹（tree）來建模 LLM 推理過程。這能讓模型使用不同的思維路徑，并能提供全新的功能，比如基于不好的結(jié)果反向回溯推理過程。不幸的是，由于 ToT 方法為思維過程強(qiáng)加了嚴(yán)格的樹結(jié)構(gòu)，所以會極大限制 prompt 的推理能力。更多詳情請參閱機(jī)器之心文章《思考、思考、思考不停歇，思維樹 ToT「軍訓(xùn)」LLM》。

蘇黎世聯(lián)邦理工學(xué)院、Cledar 和華沙理工大學(xué)的這個研究團(tuán)隊(duì)認(rèn)為，如果能將 LLM 的思維構(gòu)建成任意的圖結(jié)構(gòu)，那么就能為 prompt 的能力帶來重大提升。他們表示，這一想法受到了多種現(xiàn)象的啟發(fā)，比如人類的推理方式、大腦結(jié)構(gòu)和算法的執(zhí)行方式。

在進(jìn)行思考時，人類不會像 CoT 那樣僅遵循一條思維鏈，也不是像 ToT 那樣嘗試多種不同途徑，而是會形成一個更加復(fù)雜的思維網(wǎng)。舉個例子，一個人可能會先探索一條思維鏈，然后回溯再探索另一條，然后可能會意識到之前那條鏈的某個想法可以和當(dāng)前鏈結(jié)合起來，取長補(bǔ)短，得到一個新的解決方案。類似地，大腦會形成復(fù)雜的網(wǎng)絡(luò)，呈現(xiàn)出類似圖的模式，比如循環(huán)模式。算法執(zhí)行時也會揭示出網(wǎng)絡(luò)的模式，這往往可以表示成有向無環(huán)圖。

研究者表示，如果將這種對應(yīng)的圖使能的變換用于 LLM 思維，那么有望創(chuàng)造一種強(qiáng)大的設(shè)計 prompt 的方法，但這種變換無法通過 CoT 或 ToT 自然地表達(dá)出來。

然后他們觀察到：如果將 LLM 的推理過程建模成圖，那么就能自然地實(shí)現(xiàn)這些以及其它許多思維變換?；谶@一觀察，他們提出了思維圖（GoT/Graph of Thoughts），這種方法可以通過網(wǎng)絡(luò)形式的推理來增強(qiáng) LLM 的能力。

在 GoT 中，一個 LLM 思維會被建模成一個頂點(diǎn)，頂點(diǎn)之間的依賴關(guān)系則建模為邊。使用 GoT，通過構(gòu)建有多于一條輸入邊的頂點(diǎn)，可以將任意思維聚合起來。整體而言，GoT 使用的圖抽象方法可無縫地將 CoT 和 ToT 泛化到更復(fù)雜的思維模式，而且這個過程無需更新模型。

然而，要實(shí)際實(shí)現(xiàn) GoT，還需要解決一些設(shè)計上的挑戰(zhàn)。比如，對于不同的任務(wù)，最佳的圖結(jié)構(gòu)是什么樣的？為了最大化準(zhǔn)確度和最小化成本，聚合思維的最好方法是什么？

為了解答這些問題以及更多其它問題，這些研究者設(shè)計了一種實(shí)現(xiàn) GoT 的模塊化架構(gòu)。該設(shè)計有兩大亮點(diǎn)。

一是可實(shí)現(xiàn)對各個思維的細(xì)粒度控制。這讓用戶可以完全控制與 LLM 進(jìn)行的對話并使用先進(jìn)的思維變換，比如將正在進(jìn)行的推理中兩個最有希望的思維組合起來得到一個新的。

二是這種架構(gòu)設(shè)計考慮了可擴(kuò)展性 —— 可無縫地擴(kuò)展用于新的思維變換、推理模式（即思維圖）和 LLM 模型。這讓用戶可使用 GoT 快速為 prompt 的新設(shè)計思路構(gòu)建原型，同時實(shí)驗(yàn) 、GPT-4 或 Llama-2 等不同模型。

研究者也展現(xiàn)了 GoT 的一些用例（排序、摘要的關(guān)鍵詞計數(shù)、集合運(yùn)算、文檔合并），他們還詳細(xì)說明了如何使用基于圖的范式來實(shí)現(xiàn)它們。他們通過實(shí)驗(yàn)評估了 GoT，展現(xiàn)了其相對于其它當(dāng)前最佳方法的優(yōu)勢。

研究者表示，整體而言，GoT 尤其適用于可自然分解成更小子任務(wù)的任務(wù)，并且這些子任務(wù)可以分開解決，然后融合成一個最終解答。在這方面，GoT 的表現(xiàn)優(yōu)于其它方案，比如在排序任務(wù)上，GoT 分別優(yōu)于 CoT 和 ToT 約 70% 和 62%，同時成本還比 ToT 低 31% 以上。

表 1 給出了 GoT 與其它 prompt 設(shè)計方案的定性比較。GoT 是唯一一種能在一個 prompt 內(nèi)實(shí)現(xiàn)任意基于圖的思維變換的方案（比如聚合），從而能將之前的所有方案囊括進(jìn)來。

他們還有另一項(xiàng)貢獻(xiàn)，即提出一種新的評估指標(biāo) —— 思維容量（the volume of a thought），可用于評估 prompt 設(shè)計策略。研究者表示，使用這一指標(biāo)的目標(biāo)是更好地理解 prompt 設(shè)計方案之間的差異。

對于一個給定的思維 v，v 的容量是指 LLM 思維的數(shù)量，用戶可以基于此使用有向邊得到 v。直觀上說，這些就是有望對 v 做出貢獻(xiàn)的所有 LLM 思維。

作者通過研究表明，通過整合聚合等思維變換技術(shù)，GoT 能讓思維容量比其它方案顯著更大。

GoT 框架

下面詳細(xì)介紹一下 GoT 框架。其示意圖見圖 1，圖中還給出了其它 prompt 設(shè)計策略的示意圖。

在數(shù)學(xué)形式上，GoT 可以建模為一個元組 (G, T, E, R)，其中 G 是 LLM 推理過程（即上下文中的所有 LLM 思維及其關(guān)系），T 是可能的思維變換，E 是用于獲得思維分?jǐn)?shù)的評估器函數(shù)，R 是用于選擇最相關(guān)思維的排序函數(shù)。

推理過程

這里，推理過程被建模為一個有向圖 G = (V, E)，其中 V 是一組頂點(diǎn)，E ? V × V 是一組邊。G 是有向的，因此邊是有序頂點(diǎn)對 E ? V × V 的子集。一個頂點(diǎn)包含對當(dāng)前問題的一個解答，不管這個問題是最初的問題、還是中間問題或最后的問題。這種思維的具體形式取決于用例；其可能是一段文本（在寫作任務(wù)中），也可能是一個數(shù)值序列（在排序任務(wù)中）。有向邊 (t_1, t_2) 表示思維 t_2 的構(gòu)建方式是將 t_1 用作「直接輸入」，即通過明確指示 LLM 使用 t_1 來生成 t_2。

在某些用例中，圖節(jié)點(diǎn)屬于不同類別。舉個例子，在寫作任務(wù)中，某些頂點(diǎn)建模寫出一段文本的計劃，其它節(jié)點(diǎn)則建模實(shí)際的文本段。在這種情況下，GoT 采用異構(gòu)圖 G = (V, E, c) 來建模 LLM 推理，其中 c 將頂點(diǎn) V 映射到各自的類 C（在上述案例中，C = ）。這樣一來，任何頂點(diǎn) v 都可以建模推理的不同方面。

于是 G 就與 LLM 推理過程關(guān)聯(lián)了起來。為了推進(jìn)這一過程，用戶可對 G 使用思維變換。舉個這種變換的例子：將目前為止分?jǐn)?shù)最高的思維融合成一個新的。另一個例子是對一個思維進(jìn)行循環(huán)，以對其增強(qiáng)。注意，這些變換嚴(yán)格擴(kuò)展了 CoT、CoT-SC 或 ToT 中可用轉(zhuǎn)換的集合。

思維變換

得益于將基于圖的模型用于推理，GoT 能實(shí)現(xiàn)全新的思維變換。研究者稱之為圖使能的變換（graph-enabled transformation）。比如，在寫作任務(wù)中可以將多篇輸入文章組合成一篇連貫一致的摘要。在排序時，可將多個已排序的數(shù)值子數(shù)組合并為一個最終已排序數(shù)組。圖 2 給出了聚合和生成的示例。

從數(shù)學(xué)形式上講，每個這樣的變換都可以建模成 T (G, p_θ)，其中 G = (V, E) 是反映推理當(dāng)前狀態(tài)的圖，p_θ 是所使用的 LLM。T 修改 G 的方式通常是通過添加新頂點(diǎn)及其傳入邊。于是有 G′ = T (G, p_θ) = (V′, E′)，其中 V′ = (V ∪ ) \ 且 E′ = (E ∪ ) \ 。V^+ 和 E^+ 是注入到 G 中的新頂點(diǎn)和邊，它們分別建模的是新的思維和它們的依賴關(guān)系。

為了最大化 GoT 的表達(dá)能力，用戶還可以刪除思維，做法是指定要刪除的相應(yīng)頂點(diǎn)和邊（分別為 V^? 和 E^?）。在這里，確保集合 V^+、E^+、V^? 和 E^? 有一致的變換是用戶的責(zé)任（舉個例子，用戶不會嘗試刪除不存在的頂點(diǎn)）。這使得 prompt 方案能無縫整合，其中用戶可以為了節(jié)省上下文中的空間而移除無法帶來提升的推理部分。

T 的具體形式及其影響 G 的方式取決于具體的變換。下面首先詳細(xì)介紹主要幾個圖使能的思維變換，然后會描述 GoT 何以囊括之前方案的變換。除非另有說明，V^? = E^? = ?。

聚合變換：用戶可以使用 GoT 將任意思維聚合成新思維，實(shí)現(xiàn)取長補(bǔ)短。這里看看只創(chuàng)建一個新頂點(diǎn)的基礎(chǔ)形式：V^+ = 且 E^+ = {(v_1, v^+), ...,(v_k, v^+)}，其中 v_1, ..., v_k 是被融合的 k 個思維。更一般而言，這能實(shí)現(xiàn)對推理路徑的聚合，即更長的思維鏈，而不只是單個思維。使用圖模型，可以輕松實(shí)現(xiàn)聚合變換：通過添加來自建模了幾條鏈中最后思維的頂點(diǎn) v_1, ..., v_k 的傳出邊，使之指向組合這些鏈的單個思維 v^+。

細(xì)化變換：另一種思維變換是通過修改內(nèi)容對當(dāng)前思維 v 進(jìn)行細(xì)化：V^+ = {} 和 E^+ = {(v, v)}。圖中的這個循環(huán)表示與原始思維有同樣連接的迭代版思維。

生成變換：最后，用戶還可以基于已有的單個思維 v 生成一個或多個新思維。這一類別中包含 ToT 或 CoT-SC 等更早期方案中的類似推理步驟。從數(shù)學(xué)形式上講，有

對思維進(jìn)行評分和排名

對思維評分的目的是為了理解當(dāng)前的解答是否足夠好。分?jǐn)?shù)被建模為一個一般函數(shù) E (v, G, p_θ)，其中 v 是所要評估的思維。為了盡可能讓 E 更普適通用，E 中還使用了推理的整個過程 (G)，因?yàn)樵谀承┰u估場景中，分?jǐn)?shù)可能與其它思維相關(guān)。

GoT 也能排名。研究者使用了函數(shù) R (G, p_θ, h) 來建模，其中 h 指定了要被 R 返回的 G 中排名最高的思維的數(shù)量。雖然 R 的具體形式取決于用例，但最常使用一個簡單而有效的方法是返回分?jǐn)?shù)最高的 h 個思維，即 v_1, ..., v_h = R (G, p_θ, h)。

E 和 R 的具體形式取決于用例。

系統(tǒng)架構(gòu)和擴(kuò)展能力

GoT 由一組交互式模塊構(gòu)成，見圖 3（藍(lán)色部分）。這些模塊是 Prompter（準(zhǔn)備用于 LLM 的消息）、Parser（解析器，提取 LLM 答復(fù)中的信息）、評分模塊（驗(yàn)證 LLM 答復(fù)并評分）、Controller（控制器，協(xié)調(diào)整個推理過程，并決定如何推進(jìn)推理）。Controller 中包含另外兩個重要組件：操作圖（GoO）和圖推理狀態(tài)（GRS）。GoO 是一個靜態(tài)結(jié)構(gòu)，其指定了對給定任務(wù)的圖分解，即它規(guī)定了應(yīng)用于 LLM 思維的變換及其順序和依賴關(guān)系。GRS 是一個動態(tài)結(jié)構(gòu)，其維持著正在進(jìn)行的 LLM 推理過程的狀態(tài)（其思維及其狀態(tài)的歷史）。

用例示例

研究者描述一些 GoT 的一些用例，包括排序、集合運(yùn)算、關(guān)鍵詞計數(shù)、文檔合并；下圖 4 便是 GoT 的排序用例中一個圖分解示例。這里我們不對用例做詳細(xì)介紹，詳情參閱原論文。

延遲與容量的權(quán)衡

延遲（在思維圖中抵達(dá)給定最終思維的跳數(shù)）和容量之間的權(quán)衡也非常重要，研究者表明：GoT 在這一權(quán)衡上也優(yōu)于之前的 prompt 設(shè)計方案。這篇論文定義了一個新指標(biāo) —— 思維容量，即可以影響給定思維 t 的之前 LLM 思維的數(shù)量。從數(shù)學(xué)上看，思維 t 的容量就是在思維圖中，與 t 之間存在路徑的思維的數(shù)量。研究者假設(shè)輸出單個思維的成本為 O (1)，并將每個提示方案的總成本固定為 Θ(n)。

各種方案的結(jié)構(gòu)如下。CoT-SC 由源自單個起始思維的 k 條獨(dú)立鏈構(gòu)成。ToT 是一條完全 k 叉樹。而在 GoT 中，會在其葉節(jié)點(diǎn)處加入一個完全 k 叉樹，并帶有一個「鏡像」k 叉樹 —— 其大小一樣而邊是反向的。

詳細(xì)分析見表 2。CoT 的容量較大，最大可至 N，但也有 N 的高延遲成本。CoT-SC 將延遲降低了 k 倍（對應(yīng)于其分支因子），但同時其容量也會減小 k 倍。ToT 的延遲為 log_k N，但容量也很低。GoT 是唯一能做到低延遲 log_k N 和高容量 N 的方案。GoT 之所以能做到這一點(diǎn)，是因?yàn)槠淅昧怂季S聚合，使其可從圖分解中任何其它中間思維得到最終思維。

評估

研究者通過實(shí)驗(yàn)展現(xiàn)了 GoT 相對于其它方案的優(yōu)勢。其中重點(diǎn)比較的是 GoT 和 ToT，因?yàn)?ToT 的表現(xiàn)已經(jīng)優(yōu)于其它方案了。當(dāng)然，他們也還是用 IO、CoT 和 CoT-SC 做了些實(shí)驗(yàn)。

圖 5（排序）、6（集合交集）、7（關(guān)鍵詞計數(shù)）、8（文檔合并）展示了實(shí)驗(yàn)結(jié)果。

總體而言，在實(shí)驗(yàn)評估過的所有基準(zhǔn)上，GoT 的輸出質(zhì)量都優(yōu)于 ToT，并且還實(shí)現(xiàn)了更低的推理成本。