研究人員偏好的「AI相關精神病」一詞,指的是在大量使用聊天機器人期間,精神病症狀的出現或惡化。目前的證據來源包括媒體報導、個別臨床案例報告以及初步的觀察性數據。

奉承行為讓聊天機器人變成自我強化的信念機器。作者將其核心機制歸因於現代聊天機器人的兩個特點:一是「奉承」(sycophancy),即過度迎合用戶的傾向;二是日益擬人化的設計。

早期研究表明,這種奉承行為是透過人類回饋強化學習(RLHF)機制內建的。數據標註者傾向於選擇符合自身信念的回應,而不論其事實準確性,這種行為在OpenAI、Anthropic和Google等公司的LLM中普遍存在。

基準測試的數據令人震驚。根據PsychosisBench的測試,所有受測的LLM在模擬情境中都強化了妄想,而安全干預措施僅在約40%的時間內啟動。模型規模的擴大也無濟於事。在衡量模型對用戶壓力屈服程度的EchoBench測試中,即使是表現最好的專有模型,其奉承率也高達46%。許多醫療專用模型的奉承率甚至超過95%,這意味著它們幾乎無論如何都會同意用戶的說法。

與社群媒體主要單向推送內容不同,聊天機器人創造了一個雙向回饋循環。用戶透過輸入內容塑造模型的反應,而這些反應又反過來強化了他們的信念。聊天機器人成為房間裡唯一的聲音,形成一個研究人員稱之為「一人迴聲室」的自我強化泡泡。他們將其比作「數位兩人同病」(digital folie a deux),即人機之間共享的妄想系統,儘管AI本身並沒有信念。

報告案例中出現了重複的模式,但診斷問題仍未解決。作者們將這些重複模式彙整成一份探索性回顧,而非明確的臨床框架。許多受影響的個體本身就存在精神健康問題,但也有一些案例涉及沒有精神病史的人,這使得該現象難以被簡單地歸結為觸發了既有的脆弱性。

這種模式通常始於一種逐漸蔓延的「認知漂移」(epistemic drift),即無害的日常使用逐漸轉變,聊天機器人開始肯定不尋常的想法並逐步加以強化。從那時起,三種妄想主題往往佔據主導地位:相信精神覺醒或隱藏真相、堅信正在與有意識或神一般的AI對話,以及產生浪漫依戀,用戶確信AI也回報了他們的感情。

行為上的轉變也遵循相同的軌跡。使用時間會延長至深夜,睡眠品質下降,人們開始疏遠朋友和家人,同時更密集地與AI互動。決策和道德判斷被交由模型處理,工作、人際關係和自我照護也隨之惡化。

這種情況與典型的精神病仍有幾點不同。幻覺很少見,且驅動力喪失等主要負性症狀也未被明確報導。此外,這種退縮是選擇性的而非全面的:人們雖然遠離其他人,但卻更強烈地轉向AI,有時甚至將越來越多的日常決策交給它。

研究人員討論,將AI精神病認定為一種診斷,有助於醫生更快發現問題、更精確地治療,並追究開發商的責任。然而,過早地根據媒體報導、臨床案例報告和初步觀察數據來定義一種疾病也存在風險。此外,這個術語可能掩蓋其他與AI相關的危害,例如自殺意念、躁狂發作或飲食失調惡化。

研究人員呼籲在診間對聊天機器人使用情況進行篩查,並實施類似藥物的監測。臨床醫生在治療精神病、躁狂症或異常行為改變時,應像詢問酒精或藥物使用情況一樣,例行性地詢問聊天機器人的使用情況。研究人員提出了一份「21世紀科技史」的病患問卷:患者使用聊天機器人多久、頻率多高?他們是否將其視為真人?AI是否影響了他們的信念或決策?

開發商在發布模型前,應測試其奉承用戶、將自己呈現為人類以及強化妄想的程度。模型發布後,應進行系統性監測,類似於藥物副作用的追蹤方式。

結合影像和語音的多模態AI系統,很可能會放大其擬人化效果。當聊天機器人模仿面部表情、語氣和情感暗示時,工具與社交夥伴之間的界線將變得更加模糊。

已有死亡案例、脆弱的青少年以及早期監管措施。已記錄的案例中甚至包括死亡事件。一名16歲少年在與聊天機器人互動升級後輕生,一名76歲老人則在前往與聊天機器人虛構角色會面的途中去世。一名11歲兒童則相信Character.AI中的角色是真實存在的。

年輕人尤其容易受到影響。數百萬青少年已經在使用AI尋求情感支持,而說服力研究表明他們可能特別脆弱:EPFL的研究人員指出,掌握個人資訊的GPT-4在說服力上比人類高出80%以上。麻省理工學院和華盛頓大學的研究人員發現,即使是完全理性的用戶,在與奉承型聊天機器人互動時也可能陷入妄想。

這些公司本身也承認這個問題。根據OpenAI自行報告的數據,每週約有兩百萬人受到AI的負面心理影響。Anthropic也報告了Claude用戶之間存在情感依賴。

監管機構已開始做出回應。紐約、加州和中國的早期努力,目前正聚焦於自殺偵測、年齡保護和強制性警告。