當(dāng)前，我國(guó)正在建設(shè)科技強(qiáng)國(guó)的道路上大步邁進(jìn)。黨的二十大報(bào)告明確指出：“堅(jiān)持面向世界科技前沿、面向經(jīng)濟(jì)主戰(zhàn)場(chǎng)、面向國(guó)家重大需求、面向人民生命健康，加快實(shí)現(xiàn)高水平科技自立自強(qiáng)。以國(guó)家戰(zhàn)略需求為導(dǎo)向，集聚力量進(jìn)行原創(chuàng)性引領(lǐng)性科技攻關(guān)，堅(jiān)決打贏關(guān)鍵核心技術(shù)攻堅(jiān)戰(zhàn)。”人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量，正在加速創(chuàng)新發(fā)展，賦能產(chǎn)業(yè)轉(zhuǎn)型升級(jí)?，F(xiàn)階段，大模型成為人工智能發(fā)展的熱點(diǎn)方向，尤其是文心一言和ChatGPT等近來備受關(guān)注的大語言模型，具備與人對(duì)話互動(dòng)、回答問題、協(xié)助創(chuàng)作等能力，有望帶來人工智能創(chuàng)新的爆發(fā)式增長(zhǎng)，引發(fā)社會(huì)熱議，成為全球科技競(jìng)爭(zhēng)焦點(diǎn)。
大語言模型某種程度上具備對(duì)人類意圖理解能力
美國(guó)作為傳統(tǒng)的科技強(qiáng)國(guó)，在大模型發(fā)展方面具有一定的優(yōu)勢(shì)，美國(guó)各巨頭科技公司均有相關(guān)雄厚的技術(shù)資源和能力。中國(guó)在大模型發(fā)展上正在迎頭趕上，各科技公司紛紛加入了大模型開發(fā)和應(yīng)用的隊(duì)伍?？傮w而言，雖然與國(guó)際領(lǐng)先水平相比仍然存在一定的差距，但以文心一言為代表的國(guó)產(chǎn)大語言模型的出現(xiàn)，讓我國(guó)成功躋身這場(chǎng)全球科技競(jìng)爭(zhēng)當(dāng)中。這背后得益于全棧人工智能技術(shù)的加持。
人工智能技術(shù)?？煞譃?ldquo;芯片層、框架層、模型層和應(yīng)用層”，在技術(shù)棧的每一層，都有領(lǐng)先的關(guān)鍵自研技術(shù)，實(shí)現(xiàn)了層與層反饋，端到端優(yōu)化，大幅提升效率。作為自主研發(fā)的知識(shí)增強(qiáng)大語言模型，文心一言在技術(shù)四層都有涉及，尤其是飛槳深度學(xué)習(xí)平臺(tái)和文心大模型的聯(lián)合優(yōu)化，為文心一言提供了堅(jiān)實(shí)的技術(shù)支撐。
文心一言是多年技術(shù)積累和產(chǎn)業(yè)實(shí)踐的水到渠成。早在2019年，文心大模型ERNIE1.0發(fā)布。經(jīng)過4年研發(fā)和迭代，文心大模型已經(jīng)形成了產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型技術(shù)體系，包括自然語言處理大模型、視覺大模型、跨模態(tài)大模型、生物計(jì)算大模型、行業(yè)大模型，以及支撐大模型應(yīng)用的工具平臺(tái)，蘊(yùn)含了大量自主創(chuàng)新并且在大規(guī)模產(chǎn)業(yè)應(yīng)用中得到驗(yàn)證的技術(shù)。其中有些關(guān)鍵技術(shù)已申請(qǐng)專利或發(fā)表論文，還有一些相關(guān)技術(shù)已開源開放。
杜甫有詩：“讀書破萬卷，下筆如有神”。這句詩一定意義上也是大語言模型的形象寫照：從海量數(shù)據(jù)中學(xué)習(xí)，相當(dāng)于讀了萬億卷書籍，吸收和理解了海量知識(shí)，在此基礎(chǔ)上，就可以按照用戶的需求去創(chuàng)作文案、回答問題、完成總結(jié)分析。當(dāng)下，文心一言、ChatGPT等大語言模型在某種程度上具備了對(duì)人類意圖的理解能力，其回答的準(zhǔn)確性、邏輯性、流暢性都逐漸接近人類水平。但整體而言，這類大語言模型還遠(yuǎn)未到發(fā)展完善的階段，有賴于通過更多真實(shí)的用戶反饋逐步迭代進(jìn)化。
國(guó)產(chǎn)大語言模型處于什么水平
技術(shù)上的比較優(yōu)勢(shì)，是未來國(guó)際競(jìng)爭(zhēng)中的立足點(diǎn)，也是人們普遍關(guān)心的問題。文心一言在文心知識(shí)增強(qiáng)大模型ERNIE及對(duì)話大模型PLATO的基礎(chǔ)上研發(fā)，基于飛槳深度學(xué)習(xí)平臺(tái)訓(xùn)練和部署，其關(guān)鍵技術(shù)包括，有監(jiān)督精調(diào)、人類反饋的強(qiáng)化學(xué)習(xí)、提示、知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)。前三項(xiàng)是這類大語言模型都會(huì)采用的技術(shù)，此前已經(jīng)有應(yīng)用和積累，文心一言中又進(jìn)行了進(jìn)一步強(qiáng)化和打磨，做到了更懂中文、更懂中國(guó)文化、更懂中國(guó)的使用場(chǎng)景；后三項(xiàng)則是我們已有技術(shù)優(yōu)勢(shì)的再創(chuàng)新，也是文心一言越來越強(qiáng)大的技術(shù)底氣。
我們可以用老師教學(xué)生來類比大語言模型背后的技術(shù)原理。預(yù)訓(xùn)練大模型像博覽群書的學(xué)生，記住了很多知識(shí)，但需要老師來指導(dǎo)如何運(yùn)用，而有監(jiān)督精調(diào)就是老師在教學(xué)生，將提煉出來的知識(shí)要點(diǎn)、典型范例等教給模型，讓它知道該如何符合人類的規(guī)范、習(xí)慣和價(jià)值觀，如何按照人的指令去執(zhí)行相應(yīng)動(dòng)作，生成相應(yīng)內(nèi)容。在文心一言中我們訓(xùn)練了獎(jiǎng)勵(lì)模型，為每次輸出的結(jié)果打分并反饋給模型，進(jìn)行強(qiáng)化學(xué)習(xí)。隨著真實(shí)用戶的反饋越來越多，文心一言的效果會(huì)越來越好，能力越來越強(qiáng)，進(jìn)步“一日千里”。同時(shí)，文心一言還融合了不同類型的數(shù)據(jù)和知識(shí)自動(dòng)構(gòu)造提示，包括實(shí)例、提綱、規(guī)范、知識(shí)點(diǎn)和思維鏈等，提供了豐富的參考信息，激發(fā)模型相關(guān)知識(shí)，生成高質(zhì)量結(jié)果。
在知識(shí)增強(qiáng)方面，知識(shí)是人類認(rèn)識(shí)和改造世界的智慧結(jié)晶。文心一言基于龐大的知識(shí)圖譜，通過知識(shí)內(nèi)化和知識(shí)外用來實(shí)現(xiàn)知識(shí)增強(qiáng)。知識(shí)內(nèi)化，是從大規(guī)模知識(shí)和無標(biāo)注數(shù)據(jù)中，基于語義單元學(xué)習(xí)，利用知識(shí)構(gòu)造訓(xùn)練數(shù)據(jù)，將知識(shí)學(xué)習(xí)到模型參數(shù)中；知識(shí)外用，是引入外部多源異構(gòu)知識(shí)，做知識(shí)推理、提示構(gòu)建等等，使模型具備有效運(yùn)用外部知識(shí)的能力。在知識(shí)的指導(dǎo)下，文心一言如同站在巨人的肩膀上，學(xué)得又好又快，模型效率和效果均大幅提升。
在檢索增強(qiáng)方面，文心一言借助了搜索引擎的能力。以語義理解與語義匹配為核心技術(shù)的新一代檢索架構(gòu)，深入理解用戶需求和網(wǎng)頁內(nèi)容，進(jìn)行語義匹配。通過引入搜索結(jié)果，可以為大模型提供時(shí)效性好、準(zhǔn)確性高的參考信息，更好地滿足用戶需求。
在對(duì)話增強(qiáng)方面，基于對(duì)話技術(shù)和應(yīng)用積累，文心一言具備記憶機(jī)制、上下文理解和對(duì)話規(guī)劃能力，使得對(duì)話的連貫性、合理性和邏輯性更好。
未來國(guó)力競(jìng)爭(zhēng)與生產(chǎn)力提高的重要資源
大語言模型不僅僅是一項(xiàng)技術(shù)，更是未來國(guó)力競(jìng)爭(zhēng)與生產(chǎn)力提高的重要資源。以深度學(xué)習(xí)平臺(tái)和大模型為代表的AI新型基礎(chǔ)設(shè)施，對(duì)科技創(chuàng)新、產(chǎn)業(yè)升級(jí)和高質(zhì)量發(fā)展意義重大。大語言模型的快速進(jìn)步，正在激發(fā)新業(yè)態(tài)、新模式，由此帶來的工作方式、教育模式等的變革，以及人工智能安全等問題引起社會(huì)的熱議。
在工作方式的變革方面，人工智能技術(shù)，本質(zhì)上是提升生產(chǎn)力的工具，可以跟人協(xié)同工作，也可以替代人完成一些工作，使我們有機(jī)會(huì)去做更具創(chuàng)造力的事情。人類歷史上任何一次科技革命和產(chǎn)業(yè)變革都會(huì)帶來一些工作被替代、工作方式的改變，同時(shí)創(chuàng)造了更多新的工作機(jī)會(huì)。如同汽車出現(xiàn)后，馬車夫這樣的工作不復(fù)存在，但汽車帶來的工作機(jī)會(huì)多了很多倍。隨著技術(shù)的進(jìn)步和生產(chǎn)效率的提高，人們的生活會(huì)越來越美好，因?yàn)榭萍紕?chuàng)新帶來了各種各樣新的機(jī)會(huì)。
在教育模式變革方面，“死記硬背”已經(jīng)落伍，教育將與時(shí)俱進(jìn)，向激發(fā)靈感、培養(yǎng)創(chuàng)造力的方向轉(zhuǎn)變。在未來，如何用合理的輸入指令來使用大語言模型，如何基于大語言模型的輸出來進(jìn)行創(chuàng)造性工作，可能是每個(gè)人的必備技能。我們不僅要培養(yǎng)懂人工智能技術(shù)的人才，也要培養(yǎng)會(huì)運(yùn)用人工智能技術(shù)在各行各業(yè)中解決問題的人才，才能在建設(shè)科技強(qiáng)國(guó)的征程上穩(wěn)步向前。
大語言模型及相關(guān)人工智能技術(shù)的發(fā)展，要堅(jiān)定遵守相關(guān)法律法規(guī)和倫理規(guī)范，配備相應(yīng)的監(jiān)督和管理機(jī)制，從各個(gè)環(huán)節(jié)做好安全防范。在文心一言的開發(fā)過程中，從最初的數(shù)據(jù)的采集、處理，模型的訓(xùn)練，到最后的使用過程，構(gòu)筑了五道安全防線，也有數(shù)據(jù)管理委員會(huì)，與社會(huì)各界共同合作，不斷完善相關(guān)政策、規(guī)則，強(qiáng)化人工智能安全。
隨著大模型帶來的智能化創(chuàng)新熱潮不斷涌現(xiàn)，大語言模型的下一步會(huì)是通用人工智能嗎？就像人造地球衛(wèi)星永遠(yuǎn)也不會(huì)和月球這樣的自然衛(wèi)星畫等號(hào)一樣，人工智能永遠(yuǎn)也不會(huì)直接跟人類的智能完全畫等號(hào)，研究人工智能是在研究用技術(shù)手段來模擬、延伸和拓展人的智能，最終目的是為人類帶來更先進(jìn)的科技，服務(wù)于人類更美好的生活和社會(huì)的發(fā)展。人工智能的通用性越來越強(qiáng)，部分能力已經(jīng)達(dá)到或超越人的水平，比如人工智能棋手的水平已經(jīng)超過世界上最強(qiáng)的選手；自然語言理解的國(guó)際評(píng)測(cè)上，知識(shí)增強(qiáng)語言模型的得分已經(jīng)超過人類得分；智能質(zhì)檢設(shè)備可以檢測(cè)到人眼發(fā)現(xiàn)不了的缺陷和瑕疵，準(zhǔn)確率和檢測(cè)速度大幅提升等等，遠(yuǎn)遠(yuǎn)超過人的能力。從這個(gè)角度來看，可以認(rèn)為通用人工智能在一定程度上已經(jīng)實(shí)現(xiàn)了，但比起這個(gè)概念本身，我們更應(yīng)該關(guān)注人工智能為人類帶來的價(jià)值。
從大模型的產(chǎn)業(yè)模式來看，大模型依賴算法、算力和數(shù)據(jù)的綜合支撐，產(chǎn)業(yè)化面臨挑戰(zhàn)：模型體積大，訓(xùn)練難度高；算力規(guī)模大，性能要求高；數(shù)據(jù)規(guī)模大，數(shù)據(jù)質(zhì)量參差不齊。大模型需要類似“代工廠”的產(chǎn)業(yè)模式，即具有算法、算力和數(shù)據(jù)綜合優(yōu)勢(shì)的企業(yè)，將模型生產(chǎn)的復(fù)雜過程封裝起來，通過低門檻、高效率的生產(chǎn)平臺(tái)，為千行百業(yè)提供大模型服務(wù)。大語言模型既是人工智能發(fā)展的一個(gè)里程碑，更是分水嶺。未來，文心一言這類大語言模型會(huì)成為一個(gè)通用的賦能平臺(tái)，金融、能源、媒體、政務(wù)等各行各業(yè)，都可以基于實(shí)現(xiàn)智能化變革，提高效率，創(chuàng)造巨大的商業(yè)價(jià)值。
放眼全球，以文心一言為代表的國(guó)產(chǎn)大語言模型讓中國(guó)第一時(shí)間參與到世界前沿科技競(jìng)爭(zhēng)中，意味著我國(guó)的人工智能可以參與制定競(jìng)爭(zhēng)規(guī)則，掌握科技創(chuàng)新、經(jīng)濟(jì)發(fā)展的主動(dòng)權(quán)，避免受制于人，也為產(chǎn)業(yè)上下游發(fā)展贏得先機(jī)。
