隨著ChatGPT登臺亮相，從科技從業(yè)者，到投資圈，再到普羅大眾，越來越多人再次關注到了“過氣”的AI，及其所能帶來的價值和改變。

商業(yè)界也的確源源不斷貢獻著更多新的素材：OpenAI和微軟的聯(lián)姻讓性能提升、成本降低成為可能；Google、Meta窮追不舍更新動作；國內，百度、字節(jié)、騰訊等大廠，以及眾多創(chuàng)業(yè)公司，都開始從自己擅長的角度切入競爭……

為了幫助讀者能夠持續(xù)關注由ChatGPT引發(fā)的科技圈海嘯，36氪推出「Chat AI」欄目，從中立的第三方視角，探索、分析每一次熱點背后的商業(yè)觀點。

(資料圖片僅供參考)

作者 | 沈筱、王與桐

不久前，OpenAI開放的ChatGPT模型API已經以顯著的成本優(yōu)勢驚艷了眾人。

而OpenAI的胃口已經越來越大。今天凌晨，OpenAI以Twitter和YouTube為宣傳渠道，公布了又一個重磅消息如約而至——GPT-4上線。

Youtube觀看量已經突破110萬

目前，ChatGPT PLUS用戶已經能夠提前嘗鮮；同時，GPT-4的模型API也已對部分開發(fā)者開放。

OpenAI將在2023年發(fā)布GPT-4的籌謀早已是公開的秘密，但塵埃落定后，一些答案浮出水面，一些答案卻“點到為止”。

多模態(tài)、圖像處理、真實性等等特點，是GPT4公開的答案；而關于數(shù)據(jù)集規(guī)模、參數(shù)規(guī)模等，OpenAI卻并沒有回復此前大家的猜想。

行能提升的背后，也是商業(yè)競爭的進一步白熱化。

01What differences make GPT-4 different

GPT-4究竟有何不同？總的來看，模型在圖像理解、文本處理、安全性和事實性提升等方面實現(xiàn)了多點開花。

正如3月9日微軟德國 CTO Andreas Braun對外宣稱的，GPT-4是一個多模態(tài)模型。

盡管GPT-4沒有和人們預料的一樣，可以支持視頻、音頻等輸入方式，但是，支持圖像輸入已經成為板上釘釘?shù)氖聦?/strong>。也就是說，GPT-4附帶了圖像理解能力，可以對圖像內容作出說明、進行分類和分析。但目前，OpenAI還在和合作伙伴「Be My Eyes」共同測試該能力，因此尚未對OpenAI所有客戶開放。

除了這一“理所當然”的變化，GPT-4在文本處理方面的能力又有了較大提升。一方面，GPT-4能夠處理的文本長度增加了；另一方面，GPT-4的文本記憶能力增加了。

據(jù)介紹，GPT-4可以處理超過 25,000 個單詞的文本，這一數(shù)字約為ChatGPT的8倍。這也意味著GPT-4可以執(zhí)行的任務場景得以拓展——可以支持格式內容創(chuàng)建、擴展對話以及文檔搜索和分析等。

同時，GPT-4 支持的最大token數(shù)量為 32,768，相當于64,000個單詞或 50 頁文字。相比之下，GPT-3.5 和上一版ChatGPT 的token限制為4,096 個，大約 8,000個單詞。因此，在對話時，GPT-4能夠記住更多的聊天內容，降低重復回答或者“神游”的可能性；在生成長文時，連續(xù)性也會更強。

就上述兩個改進而言，有業(yè)內人士分析，其究竟能夠在應用層產生多大的威力，需分情況討論。據(jù)悉，圖像理解能力的提升，從理論上來講，是比較大的突破。但其是否能夠在各類場景中得到廣泛應用，還取決于不同場景下的具體業(yè)務邏輯。需要對業(yè)務進行拆解后，進一步甄別是否具有多模態(tài)理解的需求，以及如何接入這樣的能力。相比之下，文本處理能力的提升可能會在應用層被更迅速地采納。

雖然GPT-4的上述改進在應用層能掀起何種波瀾仍未可知，但能夠確定的是，要想實現(xiàn)這樣的能力提升，GPT-4無論是在模型架構、模型訓練，還是迭代優(yōu)化路徑等各方面都會有一定的突破。

遺憾的是，由于本次OpenAI未在技術報告中透露有關模型參數(shù)、硬件、訓練方法和訓練數(shù)據(jù)量等細節(jié)，我們還無從得知，這些突破可能是什么。目前的已知努力是，OpenAI為了訓練GPT-4，在過去兩年里聯(lián)合微軟在Azure云上重新搭建了一個專用的超算平臺。

此外，在技術層面，OpenAI其實也公布了一些看似不那么重要，卻是保障AI未來可以得到人類正確使用的關鍵突破。

例如，OpenAI構建了可預測擴展（predictable scaling）的深度學習堆棧，支持使用更少的計算量來評估模型訓練性能，例如預測訓練期間優(yōu)化的指標（損失）。OpenAI表示，通過從使用相同方法訓練，但使用萬分之一的計算量對模型訓練性能進行了推斷，準確預測了 GPT-4 在其內部代碼庫上的最終損失。

OpenAI將這一突破更多地聚焦于“安全性”——“我們認為，準確預測未來的機器學習能力是安全的重要組成部分，但相對于其潛在的影響，它并沒有得到足夠的關注(盡管我們受到了幾家機構的鼓勵)。我們正在加大努力開發(fā)方法，為社會提供更好的指導，了解未來系統(tǒng)的期望，我們希望這成為該領域的共同目標?！?/p>

然而值得一提的是，有業(yè)內人士告訴36氪，這其實也意味著模型訓練正朝著更加科學、結果可預測的方向前進，將有望減少不必要的資源浪費。比如，如果預測訓練性能不好，或許就沒必要使用更多的數(shù)據(jù)進行訓練了。但同時，該人士也指出，還需要關注實現(xiàn)這個功能的技術路徑，即對如何實現(xiàn)預測的詳細解釋。如果實現(xiàn)這樣的預測工程難度較大，說明其可能不具有普適性。

另外，在安全性提升方面，OpenAI還做了另一件事：花費了6個月的時間對模型進行了針對性的迭代優(yōu)化。當然，迭代后的GPT-4在回答的準確性、事實性、可操作性等多個方面也有了提升。

02 GPT3.5是PreGPT4，所以只要6個月

OpenAI表示，他們已經在2022年8月就完成了模型訓練，但是為了推出GPT4，又進行了6個月的迭代，而迭代主要是針對ChatGPT此前飽受詬病的點，比如事實性不夠、風格難以控制、信息隔離不夠好，等進行了提升：“利用對抗性測試計劃和ChatGPT的經驗教訓，迭代調整GPT-4，在事實性、可操縱性和拒絕走出護欄方面取得了有史以來最好的結果。”

盡管GPT4的整體訓練時長我們不得而知，但模型性能提升主要是得益于模型之前的預訓練過程，因此只花了6個月的時間。

在官網上，OpenAI迭代調整的提升比例，比如事實性這個功能里，“在我們的內部對抗性事實評估中，GPT-4的得分比我們最新的GPT-3.5高40%”；在安全性角度，“與GPT-3.5相比，我們將模型響應不允許內容請求的趨勢降低了82%，GPT-4根據(jù)我們的政策響應敏感請求（例如醫(yī)療建議和自我傷害）的頻率增加了29%”。

40%、82%、29%，這些數(shù)字背后，迭代調整的時間僅有6個月。

作為OpenAI設計的一系列模型中的第五個，此前此前還出現(xiàn)了GPT - 1、GPT - 2 、 GPT - 3、GPT-3.5，前三個分別官宣于2018、2019、2020，GPT3已經出現(xiàn)了重大飛躍，參數(shù)是上一代的百倍，同時在商業(yè)上也表現(xiàn)出穩(wěn)定性和實用性（比如估值15億美元的JasperAI此前就使用的GPT3）。

此前OpenAI就曾表示，GPT3.5只是一個中間版本，或許叫“PreGPT4”會比“GPT3.5”更貼合，因為GPT3.5在技術路線上與之前有較大差異，是基于人工標注數(shù)據(jù)+強化學習的推理和生成。正如同ChatGPT最初是以“demo”形態(tài)被OpenAI推出，其原因也是為了測試在安全性、真實性等方面的改進空間。

而GPT4的整體訓練，在官網上，OpenAI僅用了幾段話作為簡單描述。抽象來看，主要是從幾個維度進行了加強訓練：