2008 年金融危機初期，凱茜·奧尼爾（Cathy O』Neil）還在金融行業工作。她親身體驗了人們有多麼信任算法，以及這造成了多大的破壞。
她沮喪地跳到科技行業，但她發現了類似的事情：從業者對定向廣告和抵押貸款支持證券（MBS，Mortgage-Backed Security）風險評估模型抱有同樣的盲目相信。所以她離開了。
「我不認為我們當時所做的事情是值得信賴的，」她說。
一種「身為同謀」的情緒，促使她撰寫了一本有關大數據對社會造成負面影響的書。
這本書於 2016 年出版，打破了「算法是客觀的」的主流觀點，她用一個又一個例子揭示了算法如何加劇社會上的不平等。
凱茜說，在她的書出版之前，「人們並沒有真正理解算法，他們不是預測，而是分類……這不是一個數學問題，而是一個政治問題，一個信任問題。」
凱茜試圖證明許多算法都依賴歷史數據進行訓練和識別模式，並且還針對特定的「成功概念」進行優化：「像你這樣的人在過去是成功的，所以（它）傾向於預測你在未來會成功。」或者「像你這樣的人曾經是失敗的，所以你未來也很可能是失敗者。」
（來源：CHRISTOPHER CHURCHILL）
這似乎是一種明智的方法。但凱茜揭示了這些算法是如何以顯著的、具有破壞性的方式崩潰的。
例如在監獄系統中，有的算法被設計用於預測犯人再次被捕的概率，這可能會導致不公平的結果，而且它通常針對有色人種、窮人、「癮君子」、生活在糟糕社區的人、或者那些存在心理問題的人。
凱茜說：「對於監獄系統，我們從來沒定義過何謂成功。我們只是在預測，然後未來繼續重點關注一群人，因為這是我們過去的成功經驗。
這非常令人難過，而且不幸的是，這還證明我們會將本應由社會承擔的責任轉移給受害者。」
漸漸地，凱茜開始認識到另一個加劇這些不平等的因素：羞恥感。
「某人做了本可選擇不做的行為，而我們是不是會因此羞辱他？比如一些人的基因決定了他們更容易變胖，但每個飲食管理機構都會藉此製造羞恥感。
你可以選擇不上癮嗎？這件事比你想像的要難得多。你有機會解釋自己了嗎？許多人人微言輕，無法發聲，但我們一直在利用這一點來羞辱他們。」
我近日與凱茜進行了一場對話，談到了她的新書《羞辱機器：誰在羞辱的新時代獲利》。這本書深入探討了羞恥感在美國社會和文化中被「武器化」的許多方式，以及我們可能如何反擊。
《麻省理工科技評論》：從算法到羞恥感，這是一個不小的跨越。你是如何將這兩點聯繫起來的？
凱茜·奧尼爾：我研究了算法武器化背後的力量。它通常基於這樣一種觀點：你的學識不足以質疑算法背後的、科學的數學公式。這本身就是是一種羞辱。
這對我來說更明顯，因為身為一個數學博士，還能有這種感覺，這讓我很困惑。
糟糕的算法是一種對信任的違背，但這也是一種羞辱：你連問問題都不夠資格。
以前我採訪過一個朋友，她是一名校長，她手下的老師要接受紐約市老師價值增加模型的評估。
我問她能否拿到用於評估老師的具體公式，但她去詢問時，不僅要遞交一大堆申請，而且每次都有人告訴她：「這是數學——你不會理解的。」
《麻省理工科技評論》：在書中，你認為羞恥感是社會中一個巨大的結構性問題。你能展開說說一下嗎？
凱茜·奧尼爾：羞恥是一種強有力的機制，它將一種系統性的不公正用來針對特定目標。有人可能會說，「這是你的錯（對窮人或上癮的人來說）」，或者「這（算法）超出了你的理解能力」，給人打上毫無價值的標籤往往足以讓人們自慚形穢、感到羞恥，然後不再問問題。
作為一個例子，我跟一個叫杜安·湯斯（Duane Townes）的犯人聊過一次，他曾二度被判入獄。在監獄裏，他被要求在一身武裝的獄警手下從事薪水微薄的體力工作，如果他有一絲的抱怨或者上廁所超過五分鐘，獄警就會告知他的假釋官。
這很丟人，他覺得自己沒有被像人一樣對待。不過這是一個特意設計的項目，為了培養正在服刑的人成為「好工人」。
這相當於麻痹他們的自我意識，讓他們暫時出現無助感，無法捍衛自己的權利。
《麻省理工科技評論》：新冠疫情是否加劇了你在書中強調的問題？
凱茜·奧尼爾：疫情帶來了更多的新規範和更快速的變化，包括戴口罩、保持社交距離和接種疫苗，所以從這個意義上說，它讓羞恥感變得更普遍。
同樣明顯的是，在社交媒體和政治集團中誕生出的小團體，對這些變化和新規範有着截然不同的態度，這在線上和線下都引發了大規模的「羞恥之戰」。
羞恥感讓那些有些分歧的人遠離彼此。換句話說，當整個社區缺乏信任時，羞恥感會加劇分裂：雙方相互表達的憤怒和侮辱越多，人們之間的距離就越遠。
2021 年，加州成為美國第一個向所有學生提供免費午餐的州，而這不僅僅是從經濟上幫助弱勢群體，也是在幫助他們減少長期以來承受（貧窮帶來的）羞恥感。
《麻省理工科技評論》：我們該如何設計系統才能減少羞恥感呢？我們有辦法利用羞恥感來進行社會改革嗎？
凱茜·奧尼爾：這是一個很好的問題！我的建議是，使更多人有資格獲得福利，或者為所有人提供普遍基礎收入並減輕學生債務。
美國對窮人有着系統性地羞辱，窮人之間幾乎不存在團結。
這幾乎完全歸功於讓人們感到恥辱的一系列社會活動。如果我們沒有能如此成功地塑造「羞恥感」的機器，窮人就會主動提出債務減免和普遍基礎收入福利。
《麻省理工科技評論》：書中關於「網絡羞恥感」的章節討論了 Facebook、谷歌等公司是如何不斷優化算法，以此引發人們之間的衝突的。這對他們有何好處？怎樣才能抵消它呢？
凱茜·奧尼爾：這就是他們想要的結果！如果我們不因憤怒而去捍衛我們的價值感，然後通過浮誇的、破壞性的羞辱來得到點贊和轉發，他們就不會賺得盆滿缽滿。
我希望我們開始把大型科技公司的操縱視作「讓我們為他們免費工作」的活動。我們不應該這麼做。我們應該瞄準更高的目標，而這就意味着要瞄準他們。
在個人層面上，如果可能的話，我們不要在社交媒體上相互攻擊，甚至於抵制那些鼓勵這種行為的平台。
在系統層面上，我們要堅持對平台的設計、算法進行審計，並且監控有毒內容。
這不是一個簡單的建議。我們知道，臉書曾在 2018 年嘗試過這樣做，他們發現這是可行的，但沒什麼利潤，所以他們放棄了。
《麻省理工科技評論》：你成立了 ORCA，一家算法審計公司。該公司都做哪些工作？
凱茜·奧尼爾：至少在我的公司，算法審計意味着提出一個問題：「這個算法系統忽視了誰？」被忽視的人可能是招聘算法下的大齡申請人，或者是人壽保險中的肥胖人群，或者是申請學生貸款的黑人。
我們必須定義我們所關心的結果，可能受到損害的利益相關者，以及何為公平。我們還需要確定算法何時越界的閾值。
《麻省理工科技評論》：那麼，是否會有一個「好的」算法呢？
凱茜·奧尼爾：這取決於在哪個領域。在招聘領域，我認為是可以的，但如果我們沒有定義好利益的結果，那麼利益相關者就可能受到傷害。
最重要的是，（定義）公平的概念以及閾值。如果這些都沒做好，那麼我們可能最終只會得到一個沒有意義的、規則被濫用的招聘算法。
而在司法系統中，犯罪數據的混亂是一個太棘手的問題，更不用說在「什麼是成功的監禁」這件事上統一所有人的意見。
支持：Ren
原文：
1.https://www.technologyreview.com/2022/06/29/1053985/society-shame-book-review/
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-