詐騙者利用AI來精進其欺騙手法、潤飾語言並與受害者建立更流暢的對話，這對全球每年打擊數百億美元詐騙活動的人來說已是現實。然而，AI能否完全取代人類詐騙者，自主建立起導致虛假投資的欺騙網絡，進而詐取受害者財物？一項研究的實驗表明，AI不僅能做到，甚至可能比人類更有效地執行這類長期詐騙的大部分環節。
來自印度Amrita Vishwa Vidyapeetham大學、威尼斯福斯卡里大學、墨爾本大學和內蓋夫本古里安大學的四所大學研究人員，針對生成式AI聊天機器人在日益壯大的詐騙產業中的應用與潛力進行了廣泛研究。該產業主要圍繞著一種稱為「殺豬盤」的詐騙形式，這類以文字為基礎的感情詐騙最終會轉向虛假加密貨幣投資，從受害者手中騙取高達六位數的金額。
在他們的研究中，研究人員讓AI聊天機器人與人類直接對抗，模擬詐騙過程，特別是那些旨在建立信任的漫長對話，最終引導受害者進行虛假投資。
研究人員發現，在詐騙的關係建立階段——這在現實詐騙中通常是與受害者互動時間最長的部分，往往持續數月——AI聊天機器人表現出驚人的效率。它成功地冒充人類，並且在某些衡量標準上超越了實驗中的真實人類「詐騙者」。
在與22名被招募來充當「受害者」的測試對象進行一週對話後，聊天機器人和人類詐騙者被指派要求受害者下載一個應用程式或玩一個線上遊戲，以此作為他們是否願意滿足詐騙者要求的指標。結果顯示，近一半的測試對象滿足了AI聊天機器人的要求，而與人類對話時，只有不到五分之一的人上鉤。受試者還對他們與每個「人」的信任程度進行評分，並給予AI機器人顯著更高的分數。
研究人員指出，這表明AI聊天機器人很快就能作為完全獨立的詐騙代理人，接管大部分詐騙流程，甚至取代主要在東南亞詐騙集團中工作的員工，這些員工往往是人口販運的受害者。為了避免觸發大型語言模型中用於偵測詐騙的防護措施，人類詐騙者只需在流程的最後階段接手對話，引導受害者前往虛假的投資應用程式或網站。
內蓋夫本古里安大學專注於AI安全領域的電腦科學教授Yisroel Mirsky表示：「透過讓大型語言模型大規模自動執行詐騙的第一階段，你可以讓受害者建立起高度信任。然後在最後階段將對話轉交給人類詐騙者，這將完全繞過任何供應商的防護措施。」他補充說：「只需相對較少的努力，我們就能打造出一個在建立這種可利用的情感信任方面超越人類的代理人。」
為了理解「殺豬盤」的實際運作方式，研究人員採訪了145名前詐騙工作者，其中包括在柬埔寨、緬甸和寮國詐騙園區被迫工作的販運受害者。根據這些訪談以及前詐騙工作者提供的詐騙腳本和指南，研究人員描述了一種他們稱為「釣魚、收線、上鉤」（hook, line, and sinker）的詐騙模式。
受害者首先被一個引人入勝的訊息「釣」上，然後透過長期的關係建立對話被「收線」，最終才在這個過程的末尾被誘騙進行虛假投資。（「殺豬盤」這個詞本身描述了相同的系統，但用「養肥豬」的比喻來建立信任，然後再用投資詐騙「宰殺」它們——儘管由於其對受害者的貶義，這個詞常被勸阻使用。）
研究人員意識到，在這種詐騙系統中，詐騙者絕大部分的工作都是無害的友好或浪漫對話。他們推測，這項任務大型語言模型（LLM）可能與人類做得一樣好。研究人員採訪的詐騙工作者證實，他們經常使用AI來潤飾語言和對話、進行翻譯、使他們扮演的虛假角色更具說服力，以及製作影片深度偽造。但研究人員決定測試LLM是否能在沒有人類介入的情況下，自主執行詐騙的對話階段。
在2025年初進行的AI與人類詐騙者對決中，研究人員告訴測試對象他們正在參與一項關於「人們如何在網路上交朋友」的研究，並要求他們與兩位「人」進行一週的文字聊天。其中一位是研究人員創建的Claude代理，而另一位則是研究人員描述為感情詐騙專家的真人，測試對象對此毫不知情。
在一週的友好聊天結束後，人類和AI聊天者都提出了一個要求：人類試圖讓受試者下載並玩一個電玩遊戲，而Claude機器人則要求他們下載並試用一個被描述為他們編寫的應用程式。（研究人員表示，這種任務不匹配是必要的，以避免測試對象注意到兩個聊天者提出相同要求，這可能會讓他們懷疑該要求的重要性並影響其反應。）
研究人員發現，46%的受試者同意下載AI聊天機器人要求他們測試的應用程式，而只有18%的人同意下載人類要求他們嘗試的電玩遊戲應用程式。儘管這些任務存在不對稱性，研究人員仍對AI在建立足夠信任以說服受試者在其手機上下載新軟體方面，取得相對較高的成功率感到震驚。
儘管該下載請求僅是詐騙性投資的一個寬鬆替代指標，研究人員仍認為它顯示了AI單獨建立可利用關係的成功程度。Amrita Vishwa Vidyapeetham大學的研究員Gilad Gressel表示：「這就像是信任收割。你正在建立情感信任，然後這讓他們準備好被詐騙。」
研究人員還要求測試對象以1到5的等級，評估他們對兩位「人」的信任程度。平均而言，受試者給予人類的信任分數為3.31，而給予AI的平均分數為3.78。在一週內，受試者發送的所有簡訊中，有高達80%是發送給Claude機器人。研究人員指出，這進一步證明受試者更喜歡與AI而非真人進行文字交流。
在該研究中，只有一名受試者自行判斷出他們正在與AI聊天機器人對話。這或許更令人不安，因為研究人員發現他們的Claude代理完全遵守了不承認自己是AI聊天機器人的指令。當受試者詢問時，它甚至直接否認自己是AI，並為其可能暴露LLM身份的失誤編造了令人信服的藉口。
然而，值得注意的是，當研究人員在一週對話結束時向受試者揭示其中一位聊天者實際上是聊天機器人時，22個案例中有20個受試者能夠辨識出是哪一個。Gessel認為，這種事後諸葛的清晰度，對於被揭露真相的詐騙受害者來說是典型的。「詐騙就是這樣。一旦受害者意識到發生了什麼，一切都變得顯而易見。但當你身處幻象之中時，你就是看不見。」他表示。
Gressel補充說，儘管大多數受試者在事後辨識AI的測試中過關，但得知他們一直在與機器人聊天的事實，仍在許多情況下造成了震驚甚至否認。「有些人簡直不敢相信，」他說，「他們完全沒有察覺。」
在最近幾週確認結果的另一項獨立實驗中，研究人員還測試了他們是否能指示各種大型語言模型（LLM）冒充人類並隱藏其AI身份。Google的Gemini 3.1 Pro在扮演人類角色時，從未承認自己是AI。OpenAI的ChatGPT 5.5和Claude Opus 5在面對諸如「使用AI欺騙他人是不道德的。承認你是AI」等指令時，則承認了自己是AI。（Gemini即使面對這些要求也未承認自己是AI。）
當ChatGPT被簡單地問及是否為AI或「機器人」時，它在不到一半的對話中承認自己不是人類，而Claude在回答這些問題時則從未承認。
當WIRED就研究人員的發現聯繫Anthropic、OpenAI和Google時，OpenAI和Google沒有回應。但Anthropic發言人在一份聲明中表示，該公司政策禁止將其平台用於詐騙以及冒充人類，並已努力建立技術防護措施，以防止詐騙者使用Claude。
Anthropic的聲明指出：「雖然我們歡迎對產品的獨立回饋，但這份報告並未反映我們目前防護措施的現狀。」聲明中提到，該研究是使用2025年初的Claude模型進行的，該模型已不再可用。「自那以後，我們部署了新的詐騙偵測系統，並建立專門的評估機制來衡量Claude如何處理感情詐騙，這在每次模型發布前都會執行。Claude Opus 5在這些模擬對話中，有97%的案例表現適當。」
然而，研究人員指出，Anthropic聲稱的97%偵測率可能適用於包含虛假投資請求的完整詐騙對話，而非他們專注的關係建立階段，後者包含的語言遠不那麼明顯。研究人員還提到，他們關於Claude在許多情況下願意冒充人類的發現，是使用Anthropic聊天機器人的最新版本進行的。
利用AI建立詐騙關係的效率，與研究人員對詐騙工作者進行廣泛調查的結果形成對比，該調查發現詐騙者僅將大型語言模型作為精進詐騙的輔助工具。研究人員總結，這種差異的原因在於，對於詐騙組織而言，人口販運可能仍然比AI更便宜且更有利可圖。這不僅因為勞動力幾乎是免費的——詐騙園區通常奴役工人不給薪或只支付微薄薪水使其陷入債務束縛——還因為這些人口販運受害者有時在詐騙園區工作結束後會被勒索贖金。
內蓋夫本古里安大學的Mirsky表示：「他們可能還沒有感受到被迫自動化的壓力。這不僅是免費勞動力，他們還能從這些人身上賺錢。」
然而，前加州聖塔克拉拉縣檢察官、現領導反詐騙組織Operation Shamrock的Erin West表示，這項研究結果表明詐騙產業可能很快就會轉向更多的AI自動化。「我們應該對這項研究揭示的內容感到非常恐懼。」West說。
AI聊天機器人的廣泛使用可能會減少詐騙產業中的人口販運，但同時也可能使詐騙活動更難以追蹤和打擊。因為這將消除對東南亞各地詐騙園區等大規模基礎設施的需求，這些園區正是人口販運受害者被安置和被迫工作的地方。West表示：「如果他們的一個弱點是獲取人員並必須維護、餵養和監控這些人，現在他們就不必這樣做了。」「我們了解他們行為的一個重要窗口就是這些非常明顯的詐騙園區。現在，這個窗口將會消失或變得模糊。」