對話人物：復旦大學自然語言處理實驗室MOSS項目人工智能訓練師 賀正夫
問：MOSS是什么，主要有什么作用？
答：MOSS是一個對話式語言模型，它可以為人們的生活提供各種直接或間接的幫助。它可以進行生活常識問答，幫助查詢天氣、規(guī)劃行程等；可以輔助高效辦公，例如自動處理表格，生成大綱、草稿、翻譯等，還掌握金融、醫(yī)療、教育等領域?qū)I(yè)知識。許多行業(yè)正在引入以MOSS為代表的對話式語言模型，比如汽車語音助手、客服等，這些都將產(chǎn)生降本增效的效果。
問：您對MOSS的具體訓練過程是怎樣的？
答：大模型中參數(shù)的本質(zhì)是海量的矩陣，這些矩陣對輸入的文本進行簡單、繁重、重復的數(shù)字運算，最終得到需要生成的內(nèi)容。我們可以通過對網(wǎng)絡上的語料進行收集、“清洗”，并讓大模型從這些語料中學習知識。具體而言，學習過程就是不斷“閱讀”文本，并調(diào)整大模型內(nèi)部參數(shù)，使其對語言的理解不斷加深，最終獲得某種“智能”，這個過程稱為訓練。
在搭建MOSS的過程中，我們通過三階段“閱讀”賦予MOSS強大的能力。一是基礎知識獲取階段。MOSS通過廣泛“閱讀”網(wǎng)絡上幾乎所有的文本，由于巨大的參數(shù)量，其足以涵蓋海量知識。二是對話能力獲取階段。MOSS通過“閱讀”對話數(shù)據(jù)，學習利用第一階段獲取的知識，以對話的方式回答人類的問題。三是對齊階段。由于有些回復可能會有誤導性，MOSS會根據(jù)人類的反饋來抑制生成不符合人類法律和道德倫理的內(nèi)容，使回答更客觀、更理性。
問：MOSS和ChatGPT相比有哪些差異？
答：ChatGPT的訓練數(shù)據(jù)涵蓋十分廣泛，用戶體驗良好。MOSS作為學術界的嘗試，我們希望通過打造開源對話式的語言模型，向?qū)W術界分享更前瞻的理論和工程經(jīng)驗。
問：MOSS是來源于電影《流浪地球2》嗎？它的未來目標是什么？
答：MOSS的名字與《流浪地球2》這部電影有關，電影中的人工智能機器人MOSS展現(xiàn)出極強的智能和理性，成為人類的得力助手。我們從對話式語言模型發(fā)展中看到了人工智能的巨大潛力，因此起名MOSS，這個名字寄托這我們對人工智能技術未來發(fā)展的期待。
未來的MOSS會越來越“聰明”。我們將充分利用火山引擎等平臺提供的云端算力和資源，與更多同行開展模型迭代和技術交流，不斷探索對話式大模型和大型語言模型的技術前沿，讓人工智能技術更好地造福人類社會。
（彭訓文、張嘉幸采訪整理）