xAI 因明尼蘇達州五月通過、廣泛針對「裸體化」應用程式的法律，控告該州檢察長 Keith Ellison。xAI 主張，這項法律的懲罰性條款讓公司「別無選擇，只能以各種方式限制 Grok Imagine 的圖像編輯功能」，並認為該法違反了美國憲法第一修正案。
今年一月，Grok 曾產生數百萬張性暗示的深度偽造圖片，其中包含未成年人。在過去，如此大規模的內容審核災難會讓執行長在數小時內關閉產品。然而，在 Elon Musk 的新世界裡，這個聊天機器人卻持續生成色情圖片長達數天。Musk 甚至在深度偽造疫情期間發文稱：「Grok 在一個又一個國家登上 App Store 榜首！」
顯然有些地方出了問題。這項法律是否不足以遏止非自願裸體圖片的爆炸性增長？世界各國政府都在提出類似的問題。歐盟和英國都啟動了調查，法國、印度和馬來西亞政府官員也表達了強烈反彈。儘管美國聯邦政府在此議題上相對沉默，但加州和明尼蘇達州等藍州採取了更強硬的立場。
在明尼蘇達州，州議會通過了一項針對「裸體化」技術的法律，禁止網站所有者允許人們「存取、下載或使用」此類軟體。該法案對「需要使用者技術技能才能將圖像或影片裸體化」的技術有所豁免，因此透過 Photoshop 進行的客製化性騷擾則不受影響。這項法規為私人個體提供了民事訴訟的依據，並授權州檢察長可對每次違規行為處以最高 50 萬美元的罰款。
這項號稱同類首創的法律於五月由州長 Tim Walz 簽署，並預計在八月一日生效。令人費解的是，xAI 為何不在過去三個月內提起訴訟，而是在法規生效前幾天才行動。這種遲來的反應讓人懷疑，xAI 的某人是否在上週突然意識到他們即將違反一項相當嚴厲的法律，然後花了幾天時間尋找願意為非自願深度偽造生成器加班的律師事務所。我們只能希望涉案律師能賺個盆滿缽滿。
綜合來看，這份訴狀相當合理。xAI 主張明尼蘇達州的法律過於寬泛，即使是經同意生成、或僅是帶有輕微性感、幽默或藝術價值的成人圖片，也會被追究責任。美國憲法第一修正案規定，法律必須明確且狹隘地制定，以避免禁止社會和政治評論，例如 Chris Christie 和 JB Pritzker 相撲的深度偽造圖片。
訴狀中以極其認真的語氣指出：「即使公司部署了近乎完美、最先進的技術控制措施來防止生成裸體圖像，責任依然會產生。」此外，它還抱怨使用者未經授權行為的嚴格責任，即使這些行為是「使用者可能設法違反 Grok 服務條款而創建的圖像和影片，而這只有在規避 xAI 採用的精密、最先進控制措施的情況下才可能發生。」
訴狀指出：「xAI 嚴肅看待違反其服務條款的行為」，並表示公司已對一名使用 Grok 生成兒童性虐待材料（CSAM）的使用者提起訴訟。（這起針對涉嫌 CSAM 製造者的訴訟，是在明尼蘇達州法規通過兩個多月後才提交的。）
xAI 的律師或許有其道理，但他們的訴狀讀起來像是來自另一個星球的訊息。他們聲稱，現有的明尼蘇達州和聯邦法律（例如《TAKE IT DOWN 法案》）已經以合憲的方式阻止了非自願深度偽造裸體圖片的傳播。律師們認為，這些法規的撰寫方式是合憲的，而「裸體化」法律則不然。此外，任何針對言論內容的美國法律，都必須以盡可能不具限制性的方式撰寫，同時仍能解決「令人信服」的政府利益。
然而，這正是 Grok 深度偽造災難的核心問題。如果現有法律足以應對，那麼 2026 年一整個月就不會充斥著非自願色情內容。數位仇恨反制中心（Center for Countering Digital Hate）分析了從 12 月 29 日到 1 月 8 日的 11 天期間，發現 Grok 生成了約 300 萬張性化圖片，其中約 23,000 張描繪的是兒童。「這是一個驚人的速度，每 41 秒就有一張兒童性化圖片產生。」報告中寫道。
其中許多圖片甚至可能不完全違法。例如，一張未成年人穿比基尼的暗示性深度偽造圖片是否構成兒童性虐待材料（CSAM）尚不明確，儘管一位專家先前告訴 The Verge，Grok 生成的其他圖片，例如顯示未成年人臉部沾有精液的圖片，可能確實違反了現行法律。
無論如何，一家市值數十億美元的公司讓 Grok 長時間不受控制地運作，這表明現有法律並未能促使相關方採取正確的行為。或許明尼蘇達州的 HF 1606 是一項糟糕的法律，但當「好」的法律也無效時，這又意味著什麼呢？