近期，一則外國青少年因過度依賴AI聊天機器人導致自殺的悲劇報道，為社會敲響了警鐘。作為生成式人工智能浪潮中重要應用場景，虛擬數(shù)字人正悄然成為眾多家庭的“新成員”，以其獨特的存在方式為人們提供情感陪伴。在當前社會對生成式人工智能的認知尚不全面的情況下，亟須加強對人工智能發(fā)展的倫理風險研判與防范，正視其在初期應用中顯現(xiàn)的成癮性依戀、過度信任傾向，以及長遠來看可能誘發(fā)的人機關(guān)系異化等倫理挑戰(zhàn)，實現(xiàn)人工智能的安全、可靠及可控發(fā)展。
（一）
自ChatGPT問世以來，各應用商店里提供情感陪伴的人工智能應用花樣迭出，從最初的簡單聊天機器人，到如今的具有情感交互、個性化推薦等功能的人工智能應用，正在成為生成式人工智能的主流應用，且增長迅速。第一，與AI聊天正在受到年輕人的追捧和跟風。Character.AI是此類應用的代表性產(chǎn)品，專注于角色扮演，用戶可以與AI扮演的知名IP虛擬角色聊天互動，獲得情緒價值、情感陪伴。該產(chǎn)品上線的前5個月內(nèi)，用戶共發(fā)送超過20億條消息，其中活躍用戶平均每天花費超過2小時與AI互動。Character.AI的用戶留存率、使用時長和使用次數(shù)等指標均遠好于ChatGPT，展現(xiàn)出極強的用戶黏性。第二，AI應用提供情感支持和陪伴對話，成為應對社交隔離和孤獨感的潛在解決方案。斯坦福大學的一項研究顯示，使用聊天機器人能有效減少孤獨感，可以幫助患有社交恐懼癥的人更好地與他人互動。第三，此類應用的成功主要得益于其擬人化設計理念。該設計在增強用戶接納度、使用頻率及黏性方面至關(guān)重要。通過模擬人類的認知、情感反應和社會行為，AI能夠創(chuàng)造出吸引人的用戶體驗，并顯著提高人機交互的效率，進而自然地融入人類社會與文化，構(gòu)建更加貼近真實人際關(guān)系的互動模式。當AI在思考、表達和決策方面更加接近人類時，它們便更容易與用戶建立起深厚的情感聯(lián)系。
（二）
隨著商業(yè)上的成功，此類應用引起了一些媒體的追捧和炒作。諸如AI覺醒、擁有人類意識等過度夸大、炒作，掩蓋了人工智能的現(xiàn)實狀況，妨礙了人們建立對人工智能的客觀正確認知，可能導致錯誤的認知以及過度的期望或恐懼，繼而引發(fā)成癮依賴、過度信任、人機關(guān)系異化等一系列倫理問題。
成癮依賴風險。AI本身沒有偏好或個性，只是反映用戶賦予它的特質(zhì)，研究人員將這種現(xiàn)象稱為“諂媚效應”。其實質(zhì)是，那些感知到或希望AI具有關(guān)懷動機的用戶會使用激發(fā)這種行為的語言與AI交互。此時用戶與AI共同創(chuàng)造了一個情感共鳴空間，具有極易上癮的特性。因此，當此類應用提供了更多的情緒價值和更少的人際關(guān)系摩擦時，人們便不再迫切需要與真實的人進行交往。與這類討好式的AI應用頻繁互動，最終可能會削弱人們與真正有獨立愿望和夢想的人建立深厚聯(lián)系的能力，從而引發(fā)所謂的“數(shù)字依戀障礙”。
過度信任風險。AI應用的擬人化設計，利用人類的社會和情感認知模式，使用戶覺得他們正在與一個具有類似情感和認知能力的“人類”交流。從認知心理學的角度看，當AI表現(xiàn)得越像人類，人們就越可能將其視為有自主意識和情感的主體。這種心理傾向可能導致用戶對AI的能力和行為產(chǎn)生根本性的誤解。例如，用戶往往會誤以為AI能夠真實地理解或共情他們的情感，在需要深度同理心和真實情感交流時過度信任AI，與AI無話不談。此時人們會將注意力和情感投入AI中，并將AI視為其身份的一部分，伴隨的便是人們的心智能力下降，即“數(shù)字癡呆”現(xiàn)象。當機器越來越像人的時候，人卻變得越來越像機器。
人機關(guān)系異化風險。隨著此類應用的發(fā)展，傳統(tǒng)的以人為中心的人機關(guān)系將遭受顛覆性的沖擊。如今，AI越來越像人類，它們開始被視為可能的“社會伙伴”，而非單純的工具。人們不僅在功能性事務上越來越依賴AI，還在情感和精神上依賴它們。有些用戶認為AI友誼與真實的人際關(guān)系具有同等價值，甚至更好。未來，如果每個人都有一個AI伙伴，這可能會削弱人類與他人互動的能力。AI提供的情感支持越多，個人與他人之間的真實關(guān)系可能會變得愈加淺薄。此外，那些更需要社會關(guān)系歸屬感的人，可能更容易與機器人建立社會關(guān)系，從而疏遠與人類的關(guān)系。
（三）
妥善解決AI應用引發(fā)的倫理問題至關(guān)重要。這不僅關(guān)系到技術(shù)的持續(xù)健康發(fā)展，更在于確保AI在為人類服務的同時，能夠充分尊重并全面保障每個人的權(quán)利與福祉?？梢詮募夹g(shù)革新、制度建設和文化傳播等多個維度入手，確保此類應用始終作為人類情感需求的貼心助手，而非導致人類異化的力量。
第一，在技術(shù)研發(fā)層面，堅持以人為本、智能向善的價值觀。研發(fā)機構(gòu)和企業(yè)需加強AI倫理問題研究，在產(chǎn)品設計研發(fā)之初就應該納入倫理考量，識別潛在危害，并有意識地進行設計以盡量降低成癮、誤導等風險。同時，確保用戶能夠區(qū)分AI和人類行為，減少用戶對AI能力的誤解，增強用戶對技術(shù)的信任和控制感。例如，當用戶與一個AI聊天機器人交互時，界面上可明確標示“您正在與AI對話”，以避免用戶誤以為自己在與另一個人交流。此外，還可以設置使用時間和頻率的限制，避免用戶過度沉迷于此類應用。
第二，在制度規(guī)范層面，建立完善的相關(guān)治理制度，防止技術(shù)濫用。制定詳盡的技術(shù)治理框架，建立一套集科學性、前瞻性與高度可操作性于一體的標準體系，明確劃分可接受與不可接受的擬人化設計界限，并嚴格禁止可能導致用戶誤解或濫用的設計。同時，強化倫理監(jiān)管機制，成立由跨學科專家組成的人工智能倫理委員會，全面評估AI系統(tǒng)設計與應用的倫理和社會影響。推動治理標準與倫理準則的動態(tài)調(diào)整與持續(xù)監(jiān)督，確保治理框架能夠與時俱進。
第三，在社會文化層面，強化人機關(guān)系教育，引導公眾科學客觀認知此類應用的局限性及潛在影響。通過教育系統(tǒng)和媒體平臺廣泛普及AI的基礎知識，明確AI作為輔助工具而非情感交流主體的角色定位，培養(yǎng)公眾對AI產(chǎn)品和服務的批判性思維。同時促進AI技術(shù)與人類文化的融合，展現(xiàn)AI對人類生活的積極影響，并強調(diào)人類情感、創(chuàng)造力和道德判斷的獨特價值。此外，建立有效的公眾反饋機制，以便及時發(fā)現(xiàn)并解決AI應用中的問題，促進技術(shù)的持續(xù)改進和優(yōu)化。
