本文是新浪微博新技術(shù)研發(fā)負(fù)責(zé)人、中國(guó)中文信息學(xué)會(huì)理事張俊林在知乎問(wèn)題「OpenAI 發(fā)布 GPT-4，有哪些技術(shù)上的優(yōu)化或突破？」下的回答，總結(jié)了 GPT4 技術(shù)報(bào)告里指出的三個(gè)方向，還提及了兩個(gè)其它技術(shù)方向。

    在這個(gè)歷史性的時(shí)刻，回答個(gè)問(wèn)題，留下自己作為歷史見(jiàn)證人的足跡。

    GPT4 的技術(shù)報(bào)告里很明確地指出了三個(gè)新的方向：

    第一，LLM 最前沿研究的封閉化或小圈子化。技術(shù)報(bào)告里說(shuō)了，出于競(jìng)爭(zhēng)以及安全等方面的考慮，未公布模型規(guī)模等技術(shù)細(xì)節(jié)。從 GPT 2.0 的開(kāi)源，到 GPT 3.0 的只有論文，再到 ChatGPT 連論文也沒(méi)有，直到 GPT 4.0 的技術(shù)報(bào)告更像效果評(píng)測(cè)報(bào)告。一個(gè)很明顯的趨勢(shì)是，OpenAI 做實(shí)了 CloseAI 的名號(hào)，之后 OpenAI 的 LLM 最前沿研究不會(huì)再放出論文。

    在這個(gè)情形下，其它技術(shù)相對(duì)領(lǐng)先的公司有兩種選擇。一種是做更極致的 LLM 開(kāi)源化，比如 Meta 貌似選擇了這條道路，這一般是競(jìng)爭(zhēng)處于劣勢(shì)的公司作出的合理選擇，但是往往相關(guān)技術(shù)不會(huì)是最前沿的技術(shù)；另外一種選擇是跟進(jìn) OpenAI，也選擇技術(shù)封閉化。Google 之前算是 LLM 的第二梯隊(duì)。但在 " 微軟 +OpenAI" 的一頓組合拳下，現(xiàn)在局面有點(diǎn)狼狽不堪。GPT 4.0 去年 8 月就做好了，估計(jì)現(xiàn)在 GPT 5.0 正在煉丹過(guò)程中，這么長(zhǎng)的時(shí)間窗口，結(jié)果 Google 都能落到目前這個(gè)局面，想想 Transformer、CoT 等非常關(guān)鍵的一些研究都是自己做出來(lái)的，竟淪落至此，不知一眾高層作何感想。Google 在后面能快速跟進(jìn)，維持在第二梯隊(duì)?wèi)?yīng)該問(wèn)題不大，很可能比第三名技術(shù)也領(lǐng)先很多。出于競(jìng)爭(zhēng)關(guān)系考慮，我猜 Google 大概率會(huì)跟進(jìn) OpenAI 走技術(shù)封閉的路線(xiàn)，最先進(jìn)的 LLM 技術(shù)優(yōu)先用來(lái)煉屬于自己的丹，而不是寫(xiě)成論文放出來(lái)普惠大眾尤其是普惠 OpenAI。而這很可能導(dǎo)致 LLM 最前沿研究的封閉化。

    從現(xiàn)在算起，國(guó)內(nèi)在經(jīng)過(guò)一陣時(shí)間后（要做到 ChatGPT 的 6 到 7 折應(yīng)該比較快，要追平估計(jì)要較長(zhǎng)時(shí)間），必然被迫進(jìn)入自主創(chuàng)新的局面。從最近三個(gè)月國(guó)內(nèi)的各種情況看，將來(lái)會(huì)如何？大概率不太樂(lè)觀(guān)。當(dāng)然，這個(gè)關(guān)肯定很難，但必須得過(guò)，只能祝愿有能力且有初心者盡力加油了。

    第二，GPT 4 技術(shù)報(bào)告里提到的 LLM 模型的 " 能力預(yù)測(cè)（Capability Prediction）" 是個(gè)非常有價(jià)值的新研究方向（其實(shí)之前也有個(gè)別其它資料，我記得看過(guò)，但是具體哪篇記不起來(lái)了）。用小模型來(lái)預(yù)測(cè)某些參數(shù)組合下對(duì)應(yīng)大模型的某種能力，如果預(yù)測(cè)足夠精準(zhǔn)，能夠極大縮短煉丹周期，同時(shí)極大減少試錯(cuò)成本，所以無(wú)論理論價(jià)值還是實(shí)際價(jià)值巨大，這個(gè)絕對(duì)是非常值得認(rèn)真研究具體技術(shù)方法的。

    第三，GPT 4 開(kāi)源了一個(gè) LLM 評(píng)測(cè)框架，這也是后面 LLM 技術(shù)快速發(fā)展非常重要的方向。尤其對(duì)于中文，構(gòu)建實(shí)用的中文 LLM 評(píng)測(cè)數(shù)據(jù)和框架具備特別重要的意義，好的 LLM 評(píng)測(cè)數(shù)據(jù)可以快速發(fā)現(xiàn) LLM 目前存在的短板和改進(jìn)方向，意義重大，但是很明顯目前這塊基本處于空白狀態(tài)。這個(gè)對(duì)于資源要求其實(shí)沒(méi)那么高，適合很多機(jī)構(gòu)去做，不過(guò)確實(shí)是個(gè)辛苦活。

    除了 GPT 4 技術(shù)報(bào)告里明確指出的三個(gè)方向，因?yàn)樽罱?LLM 各方面新聞比較多，順手再寫(xiě)兩個(gè)其它技術(shù)方向。

    首先，斯坦福大學(xué)近在 Meta 的 7B 開(kāi)源 LLaMA 基礎(chǔ)上，加上技術(shù)構(gòu)造的，也代表了一個(gè)技術(shù)方向。如果歸納下，這個(gè)方向可以被稱(chēng)為 " 低成本復(fù)現(xiàn) ChatGPT" 的方向。所謂 Self Instruct，就是采取一定技術(shù)手段，不用人工標(biāo)注 Instruct，而是從 OpenAI 的接口里，好聽(tīng)點(diǎn)叫 " 蒸餾 " 出 Instruct，也就是不用人標(biāo)注，而是 ChatGPT 作為 teacher，給你的 Instruct 打上標(biāo)注結(jié)果。這個(gè)把 Instruct 標(biāo)注成本直接打到了幾百美金的基準(zhǔn)，時(shí)間成本就更短了。再加上模型 7B 規(guī)模也不大，所以可以看成一種 " 低成本復(fù)現(xiàn) ChatGPT" 的技術(shù)路線(xiàn)。

    我估計(jì)國(guó)內(nèi)早就有不少人采取這個(gè)技術(shù)路線(xiàn)了。毫無(wú)疑問(wèn)，這是一條捷徑，但是走捷徑有好處有壞處，具體不展開(kāi)談了。在追趕 ChatGPT 的過(guò)程中，先把成本打下來(lái)去復(fù)現(xiàn) ChatGPT 到七八成，我個(gè)人還是覺(jué)得可行也支持的，畢竟窮人有窮人的玩法。當(dāng)然，追求把模型做小，效果又不怎么往下掉，如果能扎扎實(shí)實(shí)去做，是非常具有價(jià)值的。

    另外，毫無(wú)疑問(wèn)會(huì)是 LLM 下一階段的重點(diǎn)研究方向。這方面的代表就是前陣子 Google 放出來(lái)的。目前的 GPT 4，我們可以認(rèn)為人類(lèi)創(chuàng)造出了一個(gè)超級(jí)大腦，但還是把它封鎖在 GPU 集群里。而這個(gè)超級(jí)大腦需要一個(gè)身體，GPT 4 要和物理世界發(fā)生聯(lián)系、交流和互動(dòng)，并在物理世界中獲得真實(shí)的反饋，來(lái)學(xué)會(huì)在真實(shí)世界里生存，并根據(jù)真實(shí)世界的反饋，利用比如強(qiáng)化學(xué)習(xí)來(lái)學(xué)習(xí)在世界游走的能力。這個(gè)肯定是最近的將來(lái)最熱門(mén)的 LLM 研究方向。

    多模態(tài) LLM 給予了 GPT 4 以眼睛和耳朵，而具身智能給予 GPT 4 身體、腳和手。GPT 4 和你我發(fā)生一些聯(lián)系，而依托于 GPT 4 本身強(qiáng)大的學(xué)習(xí)能力，這個(gè)事情估計(jì)很快會(huì)出現(xiàn)在我們身邊。

    如果你細(xì)想，其實(shí)還有很多其它有前途的方向。我的個(gè)人判斷是：未來(lái) 5 到 10 年，將會(huì)是 AGI 最快速發(fā)展的黃金十年。如果我們站在未來(lái) 30 年的時(shí)間節(jié)點(diǎn)，當(dāng)我們回顧這 10 年時(shí)，我們中一定會(huì)有人，想起下面的詩(shī)句：" 懂得，但為時(shí)太晚，他們使太陽(yáng)在途中悲傷， 也并不溫和地走進(jìn)那個(gè)良夜。"

資訊來(lái)源：知乎 作者：張俊林

原文鏈接：https://www.zhihu.com/question/589639535/answer/2937928726