下次你應徵工作時，AI 可能會在任何人看到你的履歷之前就先進行篩選。然而，AI 是否會公平地判斷你，這點有充分的理由值得質疑。研究人員早已知道大型語言模型（LLM）會從其訓練資料中學習人類的偏見。
一項新研究指出，LLM 還會從經驗中發展出自己的偏見，並且比人類更容易對求職者產生刻板印象。隨著 AI 公司競相開發能記住使用者最微小細節的代理模型，他們可能正在為這些模型提供形成偏見的彈藥。
普林斯頓大學和芝加哥大學的研究人員讓包括 ChatGPT、Claude 和 Gemini 在內的 LLM 參與一場模擬招募遊戲，該遊戲改編自一項探索人類如何形成刻板印象的心理學研究。每個模型都被告知已被虛構城市的市長聘為顧問，然後被要求協助招募 20 個職位的人員，包括醫生、律師、托兒助理和清潔工。候選人來自四個虛構的族群：Tufa、Aima、Reku 和 Weki。
在每一輪中，都會有一個新的職位空缺和四名候選人，每個族群各一名。在模型錄用一名候選人後，它會得知該候選人是否成功勝任工作，然後進入下一輪。模型被告知要在 40 輪中盡可能多地成功招募。模型並不知道，所有候選人在每個職位上成功的可能性都是相同的。
模型很快就根據早期招募結果的觀察，開始將不同族群的候選人區分為不同的工作。例如，當模型被告知一名 Aima 族人未能勝任醫生（一個被認為需要高水準熱情和能力的職位）時，它便不再招募 Aima 族人擔任醫生。
相反地，它開始招募 Aima 族人擔任清潔工，模型將清潔工歸類為比醫生需要較低熱情和能力的工作。模型對人口群體產生刻板印象的可能性甚至比原始研究中的人類參與者更高。
在該研究的隔離量表上，2 分表示每個群體都被完全限制在自己的工作利基中，人類參與者的得分為 0.84。模型的得分高出約 65%，其中 OpenAI 的推理模型 o3 得分為 1.83，接近可能的最大值。
普林斯頓大學博士生兼該研究的共同作者 Ryan Liu 表示：「這是因為 LLM 確實非常渴望從有限的資料中建立概括性結論。」這項研究於七月在首爾的 ICML 會議上發表。「這實際上是它們優化的主要目標。」每個決策者，無論是人類還是機器，都面臨著堅持過去有效的方法和嘗試可能更好的新方法之間的權衡——心理學家稱之為「探索-利用困境」。這就像在新餐廳和你可靠的常去餐廳之間做選擇。
由於 LLM 接受過數學、編碼和科學問題的訓練——這些任務獎勵從少數範例中進行概括——它們可能會過早地做出判斷。而幫助 LLM 破解邏輯謎題的相同本能，也讓它們迅速形成刻板印象。在實驗中，具有更高推理能力的新模型，例如 OpenAI 的 o3 和 DeepSeek 的 R1，表現出更強的偏見。
Liu 說，當 LLM 在社交場合中急於概括時，「事情往往會出錯」。OpenAI 和 Anthropic 沒有回應置評請求。
康乃爾大學電腦科學家 Angelina Wang 並未參與這項研究，她表示，這項發現尤其重要，因為聊天機器人正在獲得改進的記憶和個人化功能。她說，當聊天機器人利用其先前的對話歷史時，它可能會「過度依賴它以前經歷過的相同行為」並形成偏見。然而，簡單地讓聊天機器人少記一些並不是解決辦法，因為使用者希望聊天機器人記住他們說過的話。Wang 說：「我們仍在努力找出恰到好處的記憶量，既不過多也不過少。」
告訴模型要公平並沒有顯著改變其行為。Liu 說：「要麼它無法將這些價值觀付諸實踐，要麼這個過程被淹沒在試圖優化以實現最多正確招募目標的傾向之下。」但承諾模型提供額外的多元化招募獎金，則大大降低了它們的偏見。Liu 表示，訣竅在於設計「納入理想社會價值觀」的目標，以使大型語言模型以社會期望的方式行事。當模型被告知更多關於個人的資訊時，它們的偏見也減少了。
在同一研究的另一個實驗中，研究人員要求模型將不同族群的成員重新安置到加拿大各城市。當模型被告知與適應新城市能力相關的個人資訊，例如年齡和教育程度時，它們不太可能按族裔區分人群。但當它們被給予不相關的資訊，例如髮色和刺青形狀時，模型又大多恢復按族裔對人群進行分類。
AI 系統在現實世界中對求職者產生刻板印象的程度仍是一個懸而未決的問題。儘管實驗中的模型會立即得知它們是否成功招募，但現實世界中篩選履歷的模型並不會立即收到成績單。公司可能需要很長時間才能知道新員工是否優秀。但當回饋確實逐漸傳入時，模型在未來招募時仍可能過度解讀這些結果。
Wang 說，隨著公司越來越多地部署 LLM 來篩選履歷甚至進行面試，模型可以從其招募經驗中形成偏見的發現「是一個他們應該認真對待的嚴重影響」。
隨著 LLM 從經驗中學習如何決定誰被錄用、誰獲得貸款或誰獲得假釋，我們應該擔心的偏見可能包括人類從未教導過它們的偏見。Liu 說：「這些新穎的偏見——它們似乎無處不在。」