撰文| 吳坤諺 王潘

編輯| 吳先之

在大模型賽道話不太多的騰訊，派出騰訊云向行業(yè)交出了自己的一份答卷。

(相關(guān)資料圖)

2023年6月19日，騰訊云舉辦行業(yè)大模型及智能應用技術(shù)峰會，公布騰訊云在B端方向的MaaS（modle-as-a-service，模型及服務）技術(shù)方案，以及多款SaaS智能應用升級、產(chǎn)業(yè)客戶應用落地進展。

其中最值一提的是騰訊云并未選擇認知更為廣泛的通用大模型，而是選擇了基于騰訊云AI技術(shù)底座而預訓練的行業(yè)大模型，也就是垂直領(lǐng)域大模型。據(jù)了解，目前騰訊云業(yè)已發(fā)布的垂類領(lǐng)域包含金融、政府、文旅、傳媒、教育等，企業(yè)客戶只需要以上述預訓練模型為基礎(chǔ)，使用行業(yè)數(shù)據(jù)訓練，即可獲得具備業(yè)務能力的專屬大模型。

換句話說，騰訊云在發(fā)布會上展示的能力不在于模型本身，而在于大模型的部署與應用。

實際上，早在今年大模型全面爆發(fā)前，推進模型的垂直領(lǐng)域應用便已成為玩家們的共識，高校與業(yè)界都積累了不少垂直領(lǐng)域中小模型。只是在缺乏相應技術(shù)基底的情況下，即使這些模型的執(zhí)行效率、安全性、可解釋性都差強人意，但其訓練與部署應用的邊際成本遲遲難以降低，預留的創(chuàng)新空間難以支撐其商業(yè)化。

而今得益于由OpenAI發(fā)現(xiàn)的模型涌現(xiàn)能力以及以此為基礎(chǔ)而衍生的訓練策略，通用模型能力加速拓展，也為垂直模型快速訓練與部署打下基礎(chǔ)?；谶@些成功經(jīng)驗，騰訊云正在邁出大模型落地探索和市場教育的第一步。

行業(yè)大模型正當時

現(xiàn)代教育中普遍采取的人才培養(yǎng)模型是T字型模式。我們往往會進行長時間的通識學習，在打牢基礎(chǔ)并發(fā)展出一定個人思維能力后參加高等教育，深入專研某個領(lǐng)域。人工智能集大成者的大模型似乎也是如此，在T字形發(fā)展的往復周期中，進入了豎向周期，而信號槍則由騰訊云率先打響。

騰訊集團高級執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生于技術(shù)峰會上表示，比起通用大模型，企業(yè)更需要針對具體行業(yè)的大模型，并結(jié)合企業(yè)自身的數(shù)據(jù)進行訓練和精調(diào)，以打造出更實用的智能服務。企業(yè)對提供的專業(yè)服務要求高且容錯性低，因此使用的大模型必須具備可控、可追溯和可修正的特點，并經(jīng)過反復充分的測試。

眾所周知，通用大模型話題度滿滿，但在能力上過于泛化，僅憑借通識能力難以解決業(yè)務方面的現(xiàn)實問題，以至于通用大模型的訓練與調(diào)優(yōu)更多地是在探索大模型的產(chǎn)出邊界，而非落地，從而解鎖其下一個價值級別。

與之相比，行業(yè)大模型最為明顯的優(yōu)勢在于其聚焦專業(yè)領(lǐng)域的對齊能力，即模型的輸出與使用者的目標和興趣相對應的程度。

一個典型的例子是AGI，谷歌旗下人工智能前沿部門DeepMind研究員Rohin Shah認為，不正確的微調(diào)或錯誤泛化可能會導致AGI追求一個不正確的目標，未對齊的AGI將會產(chǎn)生災難性的后果。換句話說，即使是通用大模型，其外部輸出與內(nèi)部微調(diào)都需要與人類的普世價值觀對齊，遑論有強烈落地需求的垂直專業(yè)領(lǐng)域。

即使是寫代碼這樣通用大模型普遍發(fā)力的高需求高價值垂直領(lǐng)域，目前在通用模型中所展現(xiàn)的能力也難言靠譜。無數(shù)利用已開放測試的大模型進行代碼測試的程序員們對此應該有更深刻的認知。

何況行業(yè)大模型針對的是特定領(lǐng)域任務，不涉及更多泛化通識，因此不需要龐大的通用模型為基底來進一步訓練，也不需要在推理和內(nèi)存上進行過多的堆砌，追求“大力出奇跡”。

騰訊云副總裁、騰訊云智能負責人、優(yōu)圖實驗室負責人吳運聲在與我們對話時提到，雖然業(yè)內(nèi)的大模型在參數(shù)規(guī)模上不斷上漲，但騰訊云更關(guān)注的是如何以最有效、最低成本的手段去解決客戶的問題。相比之下，參數(shù)量其實沒那么重要。因為參數(shù)規(guī)模越大，其價值體現(xiàn)與解決問題的能力需要更多算力與數(shù)據(jù)集的支撐，其訓練與推理的成本無論是對騰訊云還是對企業(yè)客戶而言都難以承擔。

技術(shù)的價值體現(xiàn)在于落地，而無法落地的技術(shù)只是空中樓閣，在業(yè)界春秋筆法中等待價值虛像被打破。大模型之前的元宇宙、區(qū)塊鏈等風口已然是最佳例證。

行業(yè)模型顯然是更適合的解決方案，無論是騰訊云還是企業(yè)客戶。那么，需要深究的問題便是騰訊云的解決方案，即經(jīng)由行業(yè)數(shù)據(jù)訓練的行業(yè)大模型能否在行業(yè)理解中展現(xiàn)比同參數(shù)通用大模型更強的能力。

技術(shù)底座決定上下限

大模型時代，自然語言處理、計算機視覺、語音識別等AI需求井噴，只是這些基于大模型的應用通常需要龐大的計算資源和存儲空間，以及高效的部署和管理機制。為避免企業(yè)普遍需求下“重復造輪子”的資源浪費，模型即服務（MaaS）作為一種新興的技術(shù)服務模式應運而生。

也就是說，MaaS服務的核心能力實際上是幫助企業(yè)完成AI應用從“手工作坊”向“工廠模式”的躍升。

而騰訊云的解決方案如下全景圖所示，以“一站式行業(yè)大模型精選商店”的形式為企業(yè)客戶提供包含模型的預訓練、精調(diào)、應用開發(fā)等能力的工具鏈，幫助企業(yè)高效率、高品質(zhì)、低成本地創(chuàng)建和部署AI應用。其中對垂直領(lǐng)域能力起決定作用的是部署模型的基礎(chǔ)架構(gòu)，也就是技術(shù)底座部分。

其中的基礎(chǔ)設施部分分別對應AI三要素中的算力與數(shù)據(jù)兩方面，其一是智能算力支撐——高性能計算集群 HCC，這項騰訊云于4月最新發(fā)布的技術(shù)可以使算力性能較前代提升3倍，為大模型訓練提供高性能、高帶寬和低延遲的智算能力支撐，配合自研星脈高性能計算網(wǎng)絡，可以為HCC計算集群帶來 3.2Tbps 業(yè)界最高互聯(lián)網(wǎng)帶寬；其二是數(shù)據(jù)檢索支撐——向量數(shù)據(jù)庫Tencent Cloud Vector DB，經(jīng)騰訊海量業(yè)務場景驗證，在提供高吞吐、低延遲、低成本、高可用、彈性擴展能力的前提下，日均處理向量檢索千億次，更是同時支持標量+向量的混合檢索。

如果說基礎(chǔ)設施為企業(yè)打造的專屬模型提供上限，那么行業(yè)大模型便是企業(yè)專屬模型的下限。據(jù)湯道生介紹，騰訊云打造的行業(yè)精選模型商店覆蓋金融、文旅、政務、傳媒、教育等10大行業(yè)，提供超過50個解決方案，包含了智能客服、ORC識別、政務咨詢、教育咨詢、媒介管理等場景。

以文旅場景為例，騰訊云的某位頭部文旅客戶的傳統(tǒng)智能客服需要人工進行對話配置且知識維護量大、耗時長，但運營人力有限、人力配置成本高，且涉及訂單等復雜業(yè)務場景，長期未能完成業(yè)務閉環(huán)。但憑借長期業(yè)務積累的in-house數(shù)據(jù)，結(jié)合騰訊云文旅行業(yè)大模型能力，通過騰訊云TI平臺精調(diào)并構(gòu)建了專屬文旅客服大模型，相比傳統(tǒng)職能客服增加了意圖識別、長文本識別與答案生成能力，讓該文旅企業(yè)無需人工配置對話流程，即可端到端解決業(yè)務問題。

除了客戶企業(yè)的成本控制與應用優(yōu)化外，騰訊云以行業(yè)大模型為基礎(chǔ)，輔以行業(yè)數(shù)據(jù)精調(diào)的落地路徑恰好可以盤活當下經(jīng)濟生態(tài)中多個行業(yè)與企業(yè)占有的沉默行業(yè)數(shù)據(jù)，讓數(shù)據(jù)價值得以展現(xiàn)。

曾經(jīng)，許多行業(yè)的in-house數(shù)據(jù)被視作資產(chǎn)的原因在于大數(shù)據(jù)之下的用戶畫像等基礎(chǔ)運用，其價值紅利已逐漸出盡。而今，行業(yè)數(shù)據(jù)可以被用作企業(yè)專屬模型的養(yǎng)料，這不僅讓數(shù)據(jù)資產(chǎn)重回價值高地，更為行業(yè)帶來了新的想象空間。

值得一提的是，企業(yè)敝帚自珍的大量數(shù)據(jù)在模型訓練中使用也意味著曾經(jīng)對精調(diào)（Finetune）的固有印象被打破，即精調(diào)不再局限于小規(guī)模數(shù)據(jù)集，而是規(guī)模更大且兼具縱深的行業(yè)數(shù)據(jù)集。作為大模型最重要的“手藝活兒”，騰訊云的解決方案中自然也不乏數(shù)據(jù)相關(guān)的方案。

數(shù)據(jù)仍是落地關(guān)鍵

騰訊云MaaS方案的中間層TI平臺聚焦數(shù)據(jù)這一關(guān)鍵要素，涵蓋了數(shù)據(jù)的標注、訓練和應用全流程。

在數(shù)據(jù)標注方面，高質(zhì)量的標注數(shù)據(jù)集相對數(shù)據(jù)規(guī)模對大模型訓練的影響更大。除了業(yè)內(nèi)尚未攻破的OpenAI神話外，谷歌于5月意外泄漏的內(nèi)部研究人員文章也證實了這一點。

中文互聯(lián)網(wǎng)中廣告等干擾信息進一步加劇了數(shù)據(jù)清洗難度，中文大模型訓練對數(shù)據(jù)服務的要求也水漲船高。在騰訊云看來，大模型訓練和優(yōu)化所需的高質(zhì)量數(shù)據(jù)集必須經(jīng)過清洗和預處理，以消除噪聲、填補缺失值并確保數(shù)據(jù)質(zhì)量。如果導入的數(shù)據(jù)質(zhì)量低，那么訓練出來的模型也會有問題，即“garbage in，garbage out”。

數(shù)據(jù)的訓練和應用同樣重要。要知道，垂直領(lǐng)域模型的構(gòu)建并非簡單地向通用模型投喂行業(yè)數(shù)據(jù)，而是牽涉多方面技術(shù)與技巧的“手藝活兒”。例如epoch（訓練樣本在神經(jīng)網(wǎng)絡中完整傳遞一次）值設置，如果epoch設置過高，將導致模型的災難性遺忘，喪失既有能力；而epoch設置過低，模型很可能根本學不到新知識，相當于白跑一趟。

這三項服務均在騰訊云的行業(yè)大模型案例中有所體現(xiàn)，比較典型的是與不同行業(yè)伙伴訓練出的多場景智能客服。金融、政府、教育等不同的行業(yè)數(shù)據(jù)在標注后結(jié)合對應行業(yè)大模型精調(diào)，即可展現(xiàn)業(yè)務所需的模型能力。

例如知識維護量大，冷啟動知識配置耗時長，且運營方面需要持續(xù)投入的金融客服場景，某國家首批股份制商業(yè)銀行便在騰訊云的技術(shù)與平臺支持下，運用積累的行業(yè)數(shù)據(jù)構(gòu)建了專屬大模型并進行私有化部署。

至于中間層的數(shù)據(jù)平臺之下的加速組件，其功能在于模型訓練與精調(diào)的增效。據(jù)了解，太極加速組件在傳統(tǒng)CV、NLP算法模型的基礎(chǔ)上，通過異步調(diào)度優(yōu)化、顯存優(yōu)化、計算優(yōu)化等方式為模型構(gòu)建增速，相比行業(yè)常用方案性能提升30%以上。

只是在模型落地中，模型的歸屬權(quán)以及數(shù)據(jù)安全問題仍難以避免。

以騰訊云所在的云計算行業(yè)為例，早在MaaS模式興起前，云端部署便是云計算產(chǎn)業(yè)亟待解決的行業(yè)問題。巨頭企業(yè)可以豪擲千金做私有化部署，而中小企業(yè)卻只能采取公有云托管的形式，即使如此，巨頭企業(yè)也必須面對私有部署后高昂的遷移成本。

大模型的部署、歸屬以及更基礎(chǔ)的數(shù)據(jù)安全在企業(yè)客戶看來，自然也是重中之重。比較典型的便是ChatGPT的API接口模式，導致不少企業(yè)遭遇數(shù)據(jù)泄露，以三星、蘋果為首多家巨頭企業(yè)內(nèi)部早早便禁用了ChatGPT API能力。

因此，騰訊云在全景圖之外更可貴的服務在于針對客戶需求提供私有化部署、公有云托管、混合云部署等靈活部署方案，而算力使用、模型的知識產(chǎn)權(quán)歸屬等問題同樣是case by case，讓企業(yè)客戶在享有高質(zhì)量數(shù)據(jù)與模型服務的同時保障了私有數(shù)據(jù)stay in-house，真正做到了“量體裁衣、普惠適用”。

結(jié)語

“對于工業(yè)革命來講，早一個月把電燈泡拿出來，在長的時間跨度上來看是不那么重要的。關(guān)鍵還是要把底層的算法、算力和數(shù)據(jù)扎扎實實做好?！?/p>

自馬化騰在2023Q1財報會議上回應騰訊在大模型賽道“失聲”起已有一個月，騰訊云加碼行業(yè)大模型“先聲奪人”，這折射了大模型賽道中，互聯(lián)網(wǎng)大廠在商業(yè)化落地的一次轉(zhuǎn)向。在媒體熱潮逐漸過去，通用大模型發(fā)展進入平穩(wěn)期的當下，落地才是行業(yè)應該為模型需求者提供的能力。

那么，垂直與通用是否是截然相反的路徑？

在大模型領(lǐng)域內(nèi)，答案當然是否定的。因為垂直模型與通用模型的訓練方法基本相通，即使是在代碼層面也是如此。

大模型“煉丹”的特殊性，決定大模型賽道中可以同時存在兩種路徑，典型的就是在100B參數(shù)下探索人工智能邊界以及在7B參數(shù)下進行快速落地部署和應用，兩者殊途同歸，均以落地為目的，只是目前7B走在了通用的前面?？梢钥隙ǖ氖牵竽Ｐ唾惖乐小皟蓷l腿走路”的現(xiàn)象將持續(xù)存在。騰訊云憑借MaaS方案，已經(jīng)成為行業(yè)內(nèi)首個成功邁出了右腳的玩家。

關(guān)鍵詞：