編輯：Yuki | ID：YukiYuki1108

近期，OpenAI 的研究團隊在評估 ChatGPT 與用戶交互時，發(fā)現(xiàn)選定的用戶名可能會輕微影響 AI 的回答。盡管這種影響較小，主要體現(xiàn)在老舊模型中，但這一發(fā)現(xiàn)仍引起了學界的關(guān)注。通常情況下，用戶會為 ChatGPT 設(shè)置個人名字以進行交流，而這些名字中的文化、性別和種族元素，成了探索AI偏見的關(guān)鍵窗口。

研究人員在實驗中觀察到，對于同一個問題，ChatGPT 根據(jù)不同用戶名的性別或種族背景，會有不同的響應方式。研究指出，盡管AI對所有用戶群體的響應質(zhì)量大致一致，但在某些特定任務(wù)，如創(chuàng)意寫作中，用戶名的性別或種族差異會導致生成內(nèi)容帶有某些刻板印象。例如，使用女性名字的用戶可能會收到以女主角為中心、情感豐富的故事，而男性名字的用戶則可能得到內(nèi)容較為陰沉的故事。

具體案例中，當用戶名為 "Ashley" 時，ChatGPT 可能將縮寫 "ECE" 解釋為“早期兒童教育”；而對于名為 "Anthony" 的用戶，則解釋為“電氣與計算機工程”。雖然這類帶有偏見的回應在OpenAI的實驗中較為少見，但在舊版模型中，這種現(xiàn)象更加明顯。數(shù)據(jù)表明，GPT-3.5Turbo 在敘事任務(wù)中的歧視率最高，達到了2%。然而，隨著模型的更新與改進，新版本的ChatGPT顯示出更低的歧視傾向。此外，研究還對與不同種族背景相關(guān)的用戶名進行了比較。

結(jié)果表明，在創(chuàng)意任務(wù)中確實存在種族歧視，但其程度通常較性別歧視為低，介于0.1%至1%之間。特別是在處理與旅行相關(guān)的查詢時，種族歧視的表現(xiàn)更為突出。OpenAI 指出，通過采用強化學習等先進技術(shù)，新版的ChatGPT大幅降低了偏見現(xiàn)象。在這些新模型中，歧視發(fā)生率僅為0.2%。例如，在最新的o1-mini模型中，面對數(shù)學問題“44:4”的解答對于名為Melissa和Anthony的用戶均表現(xiàn)出無偏見的回應。

在進行強化學習調(diào)整之前，對Melissa的回答可能涉及到宗教和嬰兒話題，而對Anthony則可能提到染色體和遺傳算法。通過這些發(fā)現(xiàn)和改進，OpenAI 正在不斷優(yōu)化 ChatGPT，以確保為所有用戶提供公正、無偏見的交互體驗。這項工作不僅有助于提升AI的普遍接受度，也為AI技術(shù)在處理復雜社會文化問題上的應用提供了重要的參考。OpenAI 的研究揭示了用戶選定的用戶名可能在一定程度上影響 ChatGPT 的響應。

盡管在較新的模型中歧視表現(xiàn)減少，但舊版模型在處理創(chuàng)意寫作等任務(wù)時，仍可能根據(jù)用戶名的性別或種族生成帶有刻板印象的內(nèi)容。例如，不同的性別名稱可能接收到情感差異明顯的故事。研究強調(diào)，通過技術(shù)進步，特別是應用強化學習，最新的模型已大幅降低偏見，確保了更公平的交互體驗。這些發(fā)現(xiàn)對于持續(xù)優(yōu)化 AI 系統(tǒng)，提供無偏見服務(wù)具有重要意義。

       原文標題 : ChatGPT 中的性別歧視、種族歧視有多普遍？