一位名叫 Aliyah 的淺膚色黑人女性，身穿鄉村西部風格服裝，在 TikTok 上努力推銷她手工製作的金屬皮帶扣。在三月份的一段社群媒體影片中，她對著鏡頭哭泣並懇求觀看次數：「即使身為黑人女性，我更相信白人女性會停留 13 秒（觀看這段影片）來拯救我的皮帶扣生意。」
螢幕上的文字寫道。她擦去臉頰上的淚水。但 Aliyah 並非真實人物，她所謂的手工產品也不是真的——她是眾多 AI 生成的網紅之一，透過直運模式在 TikTok、Facebook 和 Instagram 上銷售大量生產的商品。一模一樣的皮帶扣——包括向日葵設計和可拆卸的刀片鑲嵌——在快時尚網站 Shein 上販售，價格僅為四分之一。
TikTok 上的 Aliyahsbuckles（左）和 TikTok 上的 Amaya’s buckles（右）。有一些線索可以判斷這段影片是 AI 生成的。Aliyah 的聲音機械且缺乏情感，與螢幕上哭泣的臉不符。在一個片段中，她正在縫製一條通常不需要縫製的皮革皮帶。
當她擦去臉上的淚水時，她擦拭處下方的液體痕跡也隨之消失。最後，TikTok 上流傳著數十個驚人相似但由不同 AI 生成角色演出的影片。其中一個名為「Aliyahsbuckles」的帳號，其背景、桌面和麻線捲軸都一模一樣。
The Verge 發現 TikTok 上有數十個帳號，它們有著相似的敘事手法，並銷售各種直運商品，包括皮帶扣、牛仔靴造型馬克杯、鉤針編織包和開襟羊毛衫。其中一些影片標註為 AI 生成。類似的帳號也活躍於 Instagram 和 Facebook。
這些帳號的幾乎所有方面似乎都是 AI 生成的——從影片中的「人物」到對評論的自動回應，有些情況下甚至試圖模仿非裔美國人的方言——專家警告，這類詐騙每天都在增加。「這規模非常龐大。」AI 生成媒體研究員、專注於 AI 影片偵測的 Riddance.ai 組織總監 Jeremy Carrasco 告訴 The Verge，談到與電子商務商店相關的 AI 生成影片。
「大多數都沒有協調，有些則有。很多時候，他們會使用一個（AI 生成的）演員，或者幾個演員經營各種商店。」他解釋道。這些 AI 生成的虛擬人會假裝製作商品、參加市集展示產品，並透過自動化「回應」評論。「我們現在看到的是這些零售詐騙，他們會連結到 Shopify 網站。」
Carrasco 估計他的研究團隊每天發現多達 100 個試圖透過 AI 生成虛擬人銷售產品的帳號。The Verge 發現的大多數帳號都是在過去兩個月內創建的，其中包含關於邊緣化個體經營小企業、努力銷售產品的影片；這些影片非常相似，劇本只有細微的變化。
雖然我們也發現了美洲原住民、拉丁裔和白人女性角色，但 The Verge 發現觀看次數和互動率最高的 AI 生成角色是黑人女性。僅 Aliyah 的帳號就有 4 萬名追蹤者。1/4 Amaya’s buckles 在 TikTok 上的截圖。
「我們在這裡看到的是同情誘餌。」Carrasco 說。「如果有一個受歡迎的直運商品可以賣給某個小眾社群，他們就會找到它，並試圖利用某種個性來推銷。」Carrasco 解釋說，這些趨勢通常是隨機的賺錢機會。「這只是一個隨意的機會，這也是許多 AI 內容的本質——平台並不在乎，人們也沒有注意到。」
Aliyah 最受歡迎的影片，也就是本文開頭描述的那段，獲得了 81.4 萬個讚、650 萬次觀看和近 3 萬條評論。有些評論指出內容是 AI 生成的，但許多人表達了幫助 Aliyah 生意的願望，透過評論影片來增加她在平台上的曝光度。India Cater-Campbell 就是其中一位評論者，她表達了購買 Aliyah 皮帶扣的願望。
「我當時是想支持一位獨立的黑人女企業家。」Cater-Campbell 說，她是一位真實的黑人企業主，正在西雅圖開設一家咖啡館。「我感覺到團結，因為我自己也正在創業。」儘管缺乏對最新生成式 AI 影片模型的研究，Carrasco 估計這些影片「足夠真實，可以欺騙」大多數人。
短影音內容平台的使用者已經習慣了無意識地滑動，不再深入探究他們正在觀看的內容。諷刺的是，這可能讓 Cater-Campbell 免於真正購買皮帶扣：她無法立即找到商店連結，於是她滑走了，很快就忘記了 Aliyah。「我當時是想支持一位獨立的黑人女企業家。」
但人們確實正在落入這些詐騙的陷阱，而且它們的影響力越來越大：兩週前，來自《波托馬克真實主婦》的 Gizelle Bryant 承認，在看到一段 AI 生成的黑人男孩說他因為鉤針編織而被白人男孩霸凌的影片後，她購買了兩個鉤針編織包。「我當時想，我想幫助這個小黑人男孩實現他的目標。」
Bryant 在她的播客 Reasonably Shady 上說，並補充說其他名人也在評論區。「我是怎麼被騙的？Viola Davis 也在那裡。」根據賓州大學傳播研究員 Cienna Davis 的說法，這種趨勢是一種數位黑臉現象。「數位黑臉是一種現象，非黑人個體能夠利用網路和數位科技模仿黑人文化表達，以獲取個人、經濟或政治利益。」
Davis 在一次視訊通話中解釋道。Davis 曾撰文討論數位黑臉，指出使用黑人 GIF 以及冒充黑人以達到政治目的。「它根植於黑臉吟遊表演，這與奴隸制的歷史遺產息息相關。」她解釋說。
基於黑人身份「本質上可被剝削」和「任人宰割」的觀念，數位黑臉被用來「以非黑人認為合適的任何方式從黑人身體中榨取價值」，Davis 說。在這種情況下，這些影片模仿的是「一種可識別的黑人掙扎概念」，她補充道。即使沒有確認影片背後的人不是黑人，Fisk 大學哲學助理教授 Tempest M. Henning 也證實這些影片是數位黑臉。
「黑臉是對黑人的一種漫畫式描繪，其中也包括黑人以漫畫式方式打扮成黑人。」Henning 說。她引用了黑人偶爾被迫在吟遊表演中演出的歷史先例，以及最近 Zoe Saldaña 在傳記片中為扮演 Nina Simone 而將膚色變深並佩戴義肢的例子。
這些虛擬人所聲稱的黑人身份帶有內在的虛假性。正如 Henning 所解釋的，「虛擬人的名字帶有黑人色彩，如 Aliyah 或 Amaya，但除了虛擬人本身之外，沒有其他（表明真實黑人身份的）信號。」內容在不同種族身份之間的複製，進一步強化了這一點，Henning 說，這導致了這些身份的扁平化。
The Verge 聯繫了 Aliyahsbuckles 以及其他銷售類似商品的商店，但未收到回應。Aliyah 帳號上發布的影片在許多銷售直運商品的類似帳號中逐場複製，只進行了細微修改以適應角色的身份或銷售的商品。在另一段以黑人女性角色 Amaya 為主角的影片中，一名白人女性嘲諷地將咖啡潑灑在市集上展示的皮帶扣上。
略顯沮喪的 Amaya——情感有些機械，從未完全到位——嘆了口氣，然後回去做她製作皮帶扣的本分工作。一個名為 ChubbyKnots 的帳號中也出現了類似的場景；這次虛擬人是一個黑人女孩，產品是鉤針編織的蝴蝶開襟羊毛衫。Henning 說，這些影片中存在一種美德展演的吸引力，呼籲觀眾表現出善意，甚至是種族或階級團結。
「這是一種美德展演，意思是『哦，那個白人女士做了那件事，但我不是那種白人女士，所以我該去哪裡買這個皮帶扣？』」Henning 說。「這就像他們在說，『我不同意這些人。』」
然而，Henning 指出，當用戶不暫停研究他們到底在支持誰時，基於種族或階級的支持是膚淺的。她解釋說，這或許是短影音內容和「糟粕」消費的一個更大的社會結果：團結往往是在「表面層次」上表現出來的，而不是透過連貫且多面向的政治視角。「我可能非常投入於一家黑人擁有的企業，但這不一定意味著所有黑人企業都符合我的政治觀點和我的立場。」
Henning 說。這種美德展演的吸引力超越了種族範疇，也利用了勞工階級的標誌，以及在一個衰退的經濟中人們努力維持生計的模擬。「（這不僅僅是）黑人掙扎，因為在其他影片中，我們可以看到勞工階級的掙扎、小企業的掙扎。」Davis 說。「但它顯然是利用這種（敘事）來銷售大量生產的商品。
它一點也不具創意。它真的只是 AI 生成的模板和角色的創建，這些角色被優化以供消費者識別和投入產品。它比『白人內疚』更廣泛，因為它可以以任何感覺必要或適用於產品的方式使用。」
儘管種族身份被扁平化，或者也許正因為如此，演算法——已被證明會延續其建構者有意識和無意識的種族偏見——正在提供符合其為每個用戶推斷出的興趣的 AI 生成內容，Carrasco 說。這些興趣可能包括 AI 虛擬人能夠模仿的特定族群的內容。「它針對（演算法）可以看到的族群。」
他說。「通常黑人女性會在她們的動態消息中看到 AI 生成的黑人，亞洲人會看到 AI 生成的亞洲人。」仔細觀察內容，很容易發現不一致和 AI 破綻。我們從未在螢幕上看到角色超過幾秒鐘，因為 Seedance 2.0、Midjourney 和 OpenAI 最近停用的 Sora 2 等 AI 應用程式無法創建超過 15 秒的片段。
當展示產品時，燈光更亮而不是棕褐色調，握著皮帶扣的手是白色的。角色臉上的表情與他們聲音的語氣不完全匹配。
但這種辨識需要廣泛缺乏的 AI 媒體素養，尤其是在這些影片被創建的規模以及技術正朝著更快自動化和更真實虛擬人發展的背景下。「那些沒有受過媒體素養或批判性媒體素養訓練的人，只會毫無疑問地接受它。」Davis 說。1/2 Amayasbuckles 銷售玫瑰刀片皮帶扣，價格為 40 美元的截圖。
短影音平台的結構本身就是錯誤資訊的主要傳播管道，它們鼓勵用戶缺乏判斷力，用戶已被訓練成想要滑動到下一個影片，而不是思考他們正在觀看什麼。「（這些平台）部分被 AI 內容利用，因為要弄清楚某個東西是 AI，通常需要一兩秒鐘。」Carrasco 說。
「到那時，你已經產生了一些互動。」從這些影片中獲利的人知道這一點，而創建可規模化的 AI 生成短影音廣告的工具在網路上隨處可見。在報導這個故事時，The Verge 發現了專門提供如何創建廣告教學的 YouTube 頻道和論壇。