AI 不會因為犯錯而失去任何東西。當越來越多的行動經由它進入現(xiàn)實 , 文明真正的風險不是機器覺醒 , 而是責任蒸發(fā)。
引子 : 第一件會參與決定如何使用自己的工具
人類很早就學會了造工具。石器延長手臂 , 車輪延長腳步 , 文字延長記憶 , 蒸汽機延長力量。
但過去所有的工具都共享一個特征 : 它們放大人的能力 , 卻從不取代人作為行動者的位置。
刀不會自己決定刺向哪里。汽車不會自己決定開往何處。印刷機不會自己挑選傳播哪一種思想。工具可以造成后果 , 但在工具背后 , 總有一個發(fā)出意圖、推動行動、并可以被追問的人。
AI 正在改寫這條延續(xù)了幾萬年的關系。它不再只是等待一條確定的指令 , 而是能理解目標、拆解任務、選擇路徑、調用工具 , 并根據(jù)環(huán)境繼續(xù)行動。
人類第一次造出了一種會參與決定如何使用自己的工具。
這讓 AI 看起來越來越像一個行動者。但它又不是。
它能制造結果 , 卻不承受結果。它能解釋責任 , 卻不生活在責任里。它可以生成一段無懈可擊的道歉 , 卻不會因為自己做過的事失去自由、財產、職位、關系或者未來。
所以 AI 時代最鋒利的問題 , 可能并不是機器是否擁有意識。而是 :
當行動可以脫離行動者 , 責任還依附在誰身上 ?
一、文明有兩個世界 , 過去連接它們的一直是人
《人類簡史》提出過一個影響深遠的判斷 : 人類之所以能大規(guī)模協(xié)作 , 是因為我們能共同相信一些自然界中并不存在的秩序。
國家不等于那塊土地 , 公司不等于辦公樓加員工 , 貨幣不等于一張紙 , 法律也不等于一排文字。它們之所以有力量 , 是因為足夠多的人共同承認它們 , 并按它們行動。
但共同相信本身不產生秩序。只有當想象中的規(guī)則穿過制度、組織和人的行動 , 最終改變現(xiàn)實 , 它才成為秩序。合同必須被履行 , 裁決必須被執(zhí)行 , 承諾必須變成行為 , 禁令必須真的能阻止某些事發(fā)生。
文明不只存在于人們相信什么 , 更存在于這些相信最終允許什么發(fā)生。
于是文明始終有兩個世界。一個是由語言、法律、貨幣和制度構成的意義世界 , 規(guī)定什么應該發(fā)生 ; 另一個是由資金轉移、身體行動、機器運轉和真實損失構成的物理世界 , 決定什么已經發(fā)生。
在人類歷史的絕大部分時間里 , 連接這兩個世界的通道 , 只有一種材料 : 人。
現(xiàn)在 , 這條通道里出現(xiàn)了第二種材料。
二、責任的本質 , 是不許行動與行動者徹底分離
我們?yōu)槭裁匆穯栘熑??
并不只是為了懲罰。責任真正承擔的功能 , 是把一個已經發(fā)生的結果 , 重新連回它的來源。
醫(yī)生誤診 , 我們追問他的專業(yè)義務。管理者批準了危險決策 , 我們追問他的判斷依據(jù)。司機撞了人 , 我們追問他當時在做什么。
這背后是一種非常樸素的直覺 :
行動不應該成為沒有主人的孤兒。
一件事既然發(fā)生了 , 就應該能沿著因果鏈找到某個可以回答 " 為什么 " 的主體。這個主體未必造成了全部結果——他可能被制度、命令、信息和環(huán)境裹挾——但他至少身處行動鏈之內 , 無法完全站到行動之外。
人類當然一直在逃避責任。組織把它推給流程 , 管理者推給下屬 , 下屬推給命令 , 技術團隊推給系統(tǒng)。但即便如此 , 我們始終默認 : 在這條鏈條的某個位置 , 應該存在一個可以被追問的人。
這正是法律、倫理和公司治理長期成立的地基。制度從不假設人永遠善良 , 它只是竭力讓權力、行動與后果保持連接 : 有權力的人應當知道自己可能面對后果 , 做決定的人應當知道名字會留在記錄上 , 執(zhí)行命令的人也不能僅憑 " 我只是照做 " 就自動免責。
正是這種切不斷的聯(lián)系 , 讓行動保持了重量。
三、AI 讓 " 無主的行動 " 第一次成為可能
傳統(tǒng)軟件不會解釋自己的目標 , 也不會自主挑選路徑。它把人的決定轉成穩(wěn)定的結果。即便出錯 , 歸因也相對直接 : 需求誰提的 , 代碼誰寫的 , 配置誰改的 , 按鈕誰點的。
Agent 打斷了這條線性鏈。
人給出的不再是一條清晰指令 , 而往往只是一個目標 : 提高轉化率、降低運營成本、篩出最合適的候選人、優(yōu)化庫存、處理異常賬戶、完成一次系統(tǒng)遷移。
至于用什么手段、調什么工具、走哪些步驟 , 由 AI 自行規(guī)劃。在這個過程中 , 人的意圖被翻譯、拆分、補全 , 最終凝結成一連串真實動作。
每一次翻譯 , 都在增加距離。
提出目標的人 , 不知道最后執(zhí)行了哪些具體動作。部署模型的人 , 不知道模型會遭遇怎樣的上下文。寫工具的人 , 不知道工具會被如何組合。點確認的人 , 只看到了一段 AI 生成的摘要。
結果是 : 每個人都參與了行動 , 卻沒有任何一個人完整擁有這個行動。
AI 最大的制度沖擊 , 不是它開始像人一樣思考 , 而是它讓 " 沒有任何人完整做出過的決定 ", 也能真實發(fā)生。
這是一種全新的責任結構。過去 , 一個壞結果通常來自一個做錯事的人 ; 未來 , 壞結果更可能來自一條沒有任何單一主體完整理解過的執(zhí)行鏈。
事情出問題時 , 每個人都能精準指出自己沒有決定的那一部分。管理者只提了目標 , 模型只生成了方案 , 系統(tǒng)只完成了調用 , 審批人只確認了摘要 , 供應商只提供了能力。
行動真實發(fā)生 , 責任卻像霧一樣散開。
四、關鍵不是 AI 沒有感情 , 而是它不活在后果里
人們習慣說 , 機器與人的區(qū)別在于機器沒有情感。這個說法不算錯 , 但它沒有擊中制度層面的要害。
因為許多重要行動本來就不依賴情感。會計核對賬目不需要熱愛發(fā)票 , 工程師關停危險設備不需要同情設備 , 法官作出裁決更不能憑個人情緒。
文明并不是靠情感維系的。它依賴的是 : 人被放置在一套責任關系之中。
人會失去職位 , 會被處罰 , 會被別人記住 , 會因為自己的決定改變往后的人生。即便一個人毫無同理心 , 他依然會畏懼法律、聲譽和現(xiàn)實后果。
AI 不是這樣。它能精確描述一次錯誤將造成多大損失 , 但這段描述不會變成它自己的恐懼。它能生成道歉 , 但道歉不改變它的處境。它可以被關閉、替換、回滾 , 卻不會以人的方式理解 " 失去 "。
人受責任約束 , 不只是因為人理解規(guī)則 , 而是因為人也生活在規(guī)則的后果里。
AI 可以處在因果鏈中 , 卻不處在道德后果中。它可以是執(zhí)行的原因 , 卻無法自然成為責任的終點。
所以真正的問題不是 AI 缺少情感。而是人類正在把越來越多的行動 , 交給一個不會因為這些行動而改變自身命運的系統(tǒng)。
五、當 " 我做了 " 變成 " 系統(tǒng)做了 "
語言會悄悄改變人對責任的體感。
過去人們說 : 我批準了這筆付款。我拒絕了這個申請。我改了這項配置。我刪了這批數(shù)據(jù)。
AI 進入組織之后 , 句式變了 : 系統(tǒng)自動處理了。模型判斷不符合條件。算法調整了參數(shù)。Agent 執(zhí)行了任務。
這些說法未必在撒謊 , 但它們制造了一種心理距離。行動明明源自人類設定的目標、授予的權限和搭建的系統(tǒng) , 卻開始被描述成一種技術現(xiàn)象——像下雨、斷電、設備老化一樣 , 自然發(fā)生 , 無人可怨。
當人類把動詞交給機器 , 人類也開始丟掉動詞背后的主語。
這不是修辭問題。英國郵政的 Horizon 系統(tǒng)就是一個代價慘重的注腳 :1999 年之后的十幾年里 , 數(shù)百名加盟店長因為系統(tǒng)顯示的賬目缺口被起訴 , 有人破產 , 有人入獄 , 有人自殺。系統(tǒng)出錯了 , 而在長達二十年的時間里 , 幾乎所有人的說法都是——賬目是系統(tǒng)算出來的。
荷蘭稅務部門的育兒補貼風波是另一個版本 : 一套用于識別欺詐風險的自動化系統(tǒng) , 把兩萬多個家庭錯誤標記為騙補 , 追討巨額款項 , 大量家庭因此破產、離婚、失去子女撫養(yǎng)權。2021 年 1 月 , 內閣集體辭職。事后回看 , 沒有哪一個官員 " 決定 " 要摧毀這些家庭。系統(tǒng)做的。
系統(tǒng) " 拒絕 " 了一個人 , 算法 " 淘汰 " 了一名員工 , 模型 " 判定 " 了一筆交易——但它們不會出庭解釋自己相信什么 , 不會面對被拒絕者的目光 , 也不會在很多年以后想起自己做過的這個決定。
因此 ,AI 時代最危險的變化 , 也許不是機器獲得了人的權力 , 而是人類開始借機器的名義 , 行使一種看上去沒有主人的權力。
六、行動越來越輕 , 后果一點沒變輕
技術史本質上是一部持續(xù)降低行動成本的歷史。機器降低生產成本 , 互聯(lián)網降低傳播成本 , 云計算降低算力成本 ,AI 正在降低判斷、規(guī)劃與執(zhí)行的成本。
過去十個人干幾天的活 , 以后可能是一個人帶幾個 Agent 幾分鐘完成。這確實是巨大的生產力。
但行動成本下降 , 不等于后果成本同步下降。
一筆錯誤付款不會因為由 AI 發(fā)出就不再錯誤。一次錯誤拒絕不會因為出自算法就不再傷害具體的人。一個危險配置不會因為執(zhí)行更快就破壞力更小。
恰恰相反。執(zhí)行越便宜 , 錯誤越容易被規(guī)模化復制。
過去一個人的偏見影響身邊幾十個人 ; 當偏見被寫進自動系統(tǒng) , 它可以影響幾十萬個陌生人。過去管理員的誤操作要一項項手動完成 ; 現(xiàn)在一句模糊指令可以在多個系統(tǒng)里連續(xù)擴散。2010 年 5 月的美股閃崩 , 道指在幾分鐘內蒸發(fā)近千點 , 人類交易員來不及做任何事——那還只是算法交易的年代。
技術降低了行動的重量 , 卻沒有降低現(xiàn)實承受行動的重量。
于是形成一種徹底的不對稱 : 發(fā)出行動的人越來越輕松 , 承受結果的人依然真實 ; 執(zhí)行越來越抽象 , 損失依然具體。
這也是為什么 AI 風險不能被簡化成準確率問題。當模型只是回答問題 , 錯誤停留在語言層面 ; 當模型開始執(zhí)行 , 語言就越過屏幕 , 變成賬目、權限、資源、機會 , 甚至一個人的身體處境。
從模型能夠執(zhí)行的那一刻起 ,AI 就不再只是知識工具 , 它成了現(xiàn)實的分配機制。
七、不要把文明押注在機器的善意上
人類社會從來沒有因為相信掌權者永遠善良 , 就放棄制度。
我們立法 , 不是因為所有人都會犯法 ; 做審計 , 不是因為所有人都會造假 ; 設制衡 , 也不是因為所有權力都必然被濫用。制度的意義恰恰在于承認 : 任何行動者都可能犯錯 , 任何權力都可能偏移 , 任何意圖在進入現(xiàn)實的路上都可能變形。
面對 AI, 很多人的第一反應是把模型訓練得更善良、更誠實、更對齊人類價值。這些工作當然重要 , 但文明不能只依賴一個系統(tǒng)愿意服從。
因為服從是一種內部狀態(tài)。它可能隨上下文變化、模型升級、提示詞注入、數(shù)據(jù)污染或目標沖突而改變。今天成立 , 明天未必。
成熟的制度不要求權力永遠善良 , 它確保權力即使失去善意 , 也無法無限抵達現(xiàn)實。
這正是 AI 時代需要重新理解的 " 邊界 "。邊界不是對智能的否定 ; 恰恰因為智能足夠強大 , 邊界才必須獨立于智能之外存在。
AI 可以提方案、找路徑、加速協(xié)作。但某些行動能否真正發(fā)生 , 不能只取決于 AI 當時的判斷——否則人類等于把制度交給了一種無法被責任約束的能力。
八、復雜性 , 正在成為一種新型免責裝置
圍繞 AI 的公共討論 , 總是很快滑向宏大問題 : 機器會不會成為真正的主體 ? 它有沒有意識 ? 會不會擁有權利 ?
這些問題也許終有一天要回答。但在那一天到來之前 , 一個遠為現(xiàn)實的問題已經擺在每家公司面前 :
當 AI 參與了行動 , 這個行動在制度上屬于誰 ?
屬于提出目標的人 ? 部署模型的企業(yè) ? 設計系統(tǒng)的工程師 ? 最后點確認的人 ? 還是提供基礎模型的平臺 ?
2018 年那起自動駕駛測試車致死事故給出了一個耐人尋味的答案 : 最終被刑事追責的 , 是車上那位分神的安全員 ; 公司層面未被追究刑責。責任沿著鏈條一路下滑 , 最后落在鏈條上最末端、也最容易被識別的那個人身上。
這不是一個能簡單歸因的問題。但不能簡單歸因 , 不等于可以無人負責。
技術越復雜 , 越需要人為地重新建立責任連接。否則復雜性本身就會變成一臺免責機器 : 每個人只負責局部 , 每個人只掌握部分信息 , 每個人都能證明自己沒有完整控制結果——而結果早已無法撤回。
復雜系統(tǒng)最大的誘惑 , 是讓每一個人都顯得無辜 , 卻讓現(xiàn)實承擔全部后果。
所以 AI 時代需要的 , 不是虛構一個 " 機器責任人 ", 而是重新設計人的責任。
九、責任地圖 : 六個必須寫上名字的位置
這聽起來像技術治理 , 實質仍是最古老的政治與倫理問題 : 權力如何被限制 , 行動如何被歸屬 , 后果如何被承擔。落到一家具體的企業(yè) , 它可以變成一張必須填滿的表。
在任何一個高風險的 AI 執(zhí)行鏈上 , 以下六個位置都必須有一個具體的人或崗位署名——不能是 " 團隊 ", 不能是 " 系統(tǒng) ", 更不能是空白 :
這張表填不滿 , 自動化就不該上線。
能不能追責 , 不該由事故來回答。它應該在系統(tǒng)上線之前 , 就已經被寫下來。
尾聲 : 從共同想象 , 到共同承擔
《人類簡史》講的是人類如何依靠共同想象 , 把互不相識的陌生人組織成國家、公司與市場。
但任何想象出來的秩序要想持續(xù)存在 , 都不能只靠人們相信它。它還必須讓行動有歸屬 , 讓權力受約束 , 讓后果被追問。
AI 的挑戰(zhàn)在于 , 它正在進入想象與現(xiàn)實之間的那條唯一通道。它接收人的語言 , 理解制度的目標 , 然后調用工具 , 把抽象規(guī)則變成具體結果。它正在成為文明的執(zhí)行中介。
如果這個中介只擁有行動能力 , 卻不處在任何責任關系之中 , 人類就必須在它之外建立更強的約束。否則我們會走進一個非常古怪的時代 :
每一個結果都有完整的數(shù)據(jù)記錄 , 卻找不到真正負責的人。每一個動作都通過了系統(tǒng)授權 , 卻沒有人完整理解它為什么發(fā)生。每一個參與者都盡職完成了自己那一小段 , 而整體結果違背了所有人的初衷。
這不是機器反叛 , 甚至不需要機器懷有惡意。
真正危險的不是 AI 產生了自己的意志 , 而是人類的意志經過 AI 之后 , 再也找不到原來的主人。
責任不是一種可以訓練出來的語言能力。它來自主體與后果之間那條切不斷的關系。機器可以被要求解釋 , 系統(tǒng)可以被要求記錄 , 執(zhí)行可以被要求驗證 , 但最終承擔的 , 只能是人 , 和由人建立的組織。
人類不能因為行動經過了機器 , 就當它不再屬于任何人 ; 也不能因為系統(tǒng)足夠復雜 , 就默認責任天然消失。
文明的下一步 , 不是讓機器擁有行動能力 , 而是讓人類在機器行動之后 , 依然無法逃離責任。
