挑戰(zhàn)在于人們是否可以信任這些決定。復(fù)雜的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)做出的決策通常無(wú)需解釋。由于這些系統(tǒng)基本上是自己編程的，因此它們的決策缺乏可解釋性。這被稱為"黑匣子AI"。正在進(jìn)行的研究旨在提高AI決策的透明度。
對(duì)于那些現(xiàn)在部署AI的人來(lái)說(shuō)，我們?cè)趺粗牢覀兪欠窨梢韵嘈臕I所說(shuō)的話？處理不良購(gòu)買建議或錯(cuò)誤拒絕信用購(gòu)買的影響只是一些小事，當(dāng)關(guān)鍵操作(尤其是我們的安全)依賴于AI時(shí)會(huì)發(fā)生什么？
信任是對(duì)某人或某事的可靠性、真理、能力和/或力量的堅(jiān)定信念。要讓人們相信AI，他們需要的不僅僅是一個(gè)黑匣子解釋"AI就是工作"。它需要超越這一點(diǎn)，用戶需要通過(guò)以下方式信任AI：
◆可解釋性: 用戶需要知道為什么AI系統(tǒng)會(huì)做出他們所做的決定。
◆局限性：用戶必須了解AI的局限性。此外，AI系統(tǒng)還需要意識(shí)到并適應(yīng)自己的局限性。
◆運(yùn)營(yíng)透明度：用戶必須實(shí)時(shí)查看AI系統(tǒng)的運(yùn)行方式，并知道它們?yōu)槭裁磿?huì)這樣做。
◆可預(yù)測(cè)性：用戶必須能夠預(yù)測(cè)AI系統(tǒng)在特定情況下的反應(yīng)。
◆道德：AI系統(tǒng)必須避免道德問(wèn)題，如果不小心解決，這些問(wèn)題可能會(huì)破壞信任。
信任的重要性
英特爾前工業(yè)創(chuàng)新高級(jí)總監(jiān)Irene Petrick在談到信任時(shí)表示，"我們?cè)儐?wèn)科技公司什么對(duì)他們最重要。大約三分之一的評(píng)論圍繞著信任(圖1)，比如AI是否以正確的方式使用正確的數(shù)據(jù)。AI應(yīng)該以預(yù)測(cè)其他問(wèn)題的方式，迅速推動(dòng)更多更好的行動(dòng)。如果用戶不信任人工智能，這就無(wú)法推動(dòng)行動(dòng)。"
Neurala首席技術(shù)官Anatoli Gorchet在2022年AI和智能自動(dòng)化會(huì)議上的演講中描述了歸納局限性可能引起的信任問(wèn)題。例如，常見(jiàn)的AI盲點(diǎn)是環(huán)境差異。如果只在早上捕獲訓(xùn)練模型數(shù)據(jù)，則由于太陽(yáng)的角度發(fā)生了變化，模型精度將在下午或晚上直線下降。這給用戶帶來(lái)了信任問(wèn)題，因?yàn)橥ǔＨ祟惒粫?huì)犯這樣的錯(cuò)誤。
請(qǐng)注意，環(huán)境差異可能非常微妙?？紤]將成功的AI部署到準(zhǔn)確性嚴(yán)重下降的新生產(chǎn)線上。盡管工程師認(rèn)為這條線與原始生產(chǎn)線相同，但事實(shí)并非如此：新操作員比原始操作員高六英寸，并阻擋了更多的背景光，改變了環(huán)境條件，而這些可能足以使神經(jīng)網(wǎng)絡(luò)癱瘓。
Gorchet指出，信任需要很多時(shí)間來(lái)發(fā)展，但只需要一個(gè)事件就可以打破。挑戰(zhàn)在于，我們?nèi)绾谓倘藗冃湃慰赡芟襁@樣失敗的系統(tǒng)？
圖1 雖然AI應(yīng)該以預(yù)測(cè)其他問(wèn)題的方式驅(qū)動(dòng)，但如果用戶不信任 AI，這是沒(méi)有意義的
生成可信賴的數(shù)據(jù)
AI模型建立在數(shù)據(jù)之上。因此，如果用戶要信任AI，他們必須能夠信任用于構(gòu)建它的數(shù)據(jù)，這是有道理的。Micropsi Industries首席技術(shù)官Dominik Boesl分享了數(shù)據(jù)影響信任的多種不同方式。
對(duì)數(shù)據(jù)的信任始于仔細(xì)捕獲數(shù)據(jù)。"在一個(gè)案例中，訓(xùn)練期間桌子上有一支筆。AI認(rèn)為筆是一個(gè)參考點(diǎn)，"Boesl說(shuō)，只需要一張沒(méi)有筆的圖像就可以表明它不是必需的。
開(kāi)發(fā)人員還需要考慮采樣偏差，因?yàn)樗鼤?huì)影響系統(tǒng)的準(zhǔn)確性。采樣偏差的一個(gè)常見(jiàn)示例是照明等環(huán)境條件。AI并不總是相同的。有不同的類型和技術(shù)。一個(gè)人尋找的東西并不一定與AI正在尋找的東西相匹配。早在1995年，北約就使用識(shí)別軟件來(lái)區(qū)分友方坦克和敵方坦克。它表現(xiàn)不佳。經(jīng)過(guò)幾個(gè)月的故障排除，他們發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)是從明亮的光線下干凈的小冊(cè)子圖片中獲取的，而不是被泥土覆蓋或光線不足的坦克。AI的專注點(diǎn)在于清晰與骯臟。"
"方差在數(shù)據(jù)中至關(guān)重要，"Boesl說(shuō)，"考慮一下特斯拉演示車手必須擁有95%的駕駛記錄。這輛車正在接受訓(xùn)練，以期待一個(gè)可預(yù)測(cè)的司機(jī)。但并不是每個(gè)司機(jī)都是可以預(yù)測(cè)的。添加方差通過(guò)顯示可接受的更大樣本來(lái)消除盲點(diǎn)。"
他說(shuō)，"有了足夠的方差，就沒(méi)有必要表現(xiàn)出不想要的狀態(tài)，不需要說(shuō)好或壞。我們確保使用各種白色和彩色背景來(lái)教AI不要專注于背景特征。為了獲得燈光獨(dú)立性，我們?cè)谟?xùn)練時(shí)使用視頻投影儀照亮系統(tǒng)。由于光線在不斷變化，這告訴AI光不是一個(gè)相關(guān)的特征。并讓訓(xùn)練有素的操作員教AI而不是工程師。操作員是專家，也是最終與AI合作的人。"
GE研究院機(jī)器學(xué)習(xí)高級(jí)科學(xué)家兼"謙遜人工智能計(jì)劃"負(fù)責(zé)人Nurali Virani博士說(shuō)："從根本上說(shuō)，如果模型在訓(xùn)練數(shù)據(jù)有限，或沒(méi)有訓(xùn)練數(shù)據(jù)的罕見(jiàn)和具有挑戰(zhàn)性的情況下，對(duì)其預(yù)測(cè)過(guò)于自信，那么它可能會(huì)產(chǎn)生推斷錯(cuò)誤。這有助于理解用戶的觀點(diǎn)。許多技術(shù)人員和最終用戶擁有數(shù)年甚至數(shù)十年的經(jīng)驗(yàn)。理所當(dāng)然，他們可以質(zhì)疑，'在如此具有挑戰(zhàn)性的情況下，AI怎么能比我更清楚？'"
還有人為錯(cuò)誤的問(wèn)題。如果某些數(shù)據(jù)標(biāo)記不正確，則AI對(duì)于類似實(shí)例將不可靠。如果AI依靠這些數(shù)據(jù)進(jìn)行自信的預(yù)測(cè)，那么它可能會(huì)導(dǎo)致違反信任。但是，如果AI能夠知道哪些標(biāo)簽可能是錯(cuò)誤的，并且對(duì)某些標(biāo)簽錯(cuò)誤具有魯棒性，那么它就可以要求反饋以保持信任。
Gorchet認(rèn)為，AI系統(tǒng)的開(kāi)發(fā)方式會(huì)影響信任?？紤]到當(dāng)開(kāi)發(fā)人員更改硬件時(shí)，他們可能還必須更改Cuda版本。某些用戶的模型可能不受支持，因?yàn)樾掳姹静恢С諸ensorflow。這可能會(huì)導(dǎo)致用戶質(zhì)疑其他可能不起作用的內(nèi)容。從用戶中抽象出此類開(kāi)發(fā)問(wèn)題至關(guān)重要。
AI與局限性
信任AI的另一個(gè)基礎(chǔ)是意識(shí)到它的局限性。Virani說(shuō)："我們創(chuàng)造了'謙卑的AI'一詞，指的是一種意識(shí)到自己能力、可以尋求幫助并隨著時(shí)間的推移而提高能力的AI。當(dāng)它發(fā)現(xiàn)超出其權(quán)限范圍時(shí)，它會(huì)將決定權(quán)傳遞給操作員或回退到其他安全操作模式。最終，這些新數(shù)據(jù)可以進(jìn)入模型，以提高AI的能力水平。"
這是一個(gè)重要的想法。AI不需要在一開(kāi)始就到處工作。它可以在具有足夠數(shù)據(jù)以提供幫助和信任的地方使用。例如，AI可能不知道如何診斷工業(yè)系統(tǒng)中的新故障。它可以說(shuō)，"我不知道，你是專家，請(qǐng)幫助我。"然而，AI可能知道足夠的信息來(lái)說(shuō)明情況不是什么。"這不是故障A，但可能是故障B或故障C。"
當(dāng)開(kāi)發(fā)人員接受局限性是一個(gè)因素時(shí)，這也有助于建立信任。Virani說(shuō)："沒(méi)有對(duì)局限性的認(rèn)識(shí)，AI即使不知道答案也會(huì)做出決定。"與其冒著給出錯(cuò)誤建議和破壞用戶信任的風(fēng)險(xiǎn)，AI可以縮小選擇范圍。它仍然有幫助。它仍然可以是正確的。因此，它繼續(xù)在其有能力的領(lǐng)域建立信任并減少工作量。
"廣義AI面臨著在所有條件下工作的挑戰(zhàn)。" Virani說(shuō)，但是，如果AI的所有數(shù)據(jù)都來(lái)自白天，那么它可能會(huì)在晚上遇到麻煩。你不可能在一開(kāi)始就涵蓋所有的可能性。因此，對(duì)于模特來(lái)說(shuō)，能夠說(shuō)"我在這里不能被信任"是很重要的。它需要對(duì)自己的局限性有自我意識(shí)。從相關(guān)地區(qū)的支持開(kāi)始，而不是完全自治。分階段地建立信任。
這提出了一種通過(guò)將復(fù)雜問(wèn)題分解為更小的部分來(lái)部署AI的方法。起初，整體精度可能較低。例如，Virani與GE機(jī)器學(xué)習(xí)團(tuán)隊(duì)的一項(xiàng)合作表明，用于維護(hù)記錄標(biāo)記的AI模型可能總體性能較差(80%)，但在該模型認(rèn)為可以信任的能力范圍內(nèi)，它可以提供97%的準(zhǔn)確率。
因此，超過(guò)50%的文檔標(biāo)記案例可以自動(dòng)化，而其他案例需要一些人工幫助來(lái)標(biāo)記不明確或異常的實(shí)例。這些來(lái)自人類的新標(biāo)簽可用于更新模型。參與一個(gè)值得信賴的AI的訓(xùn)練，看到它的發(fā)展，可以成為它成為可信AI的堅(jiān)實(shí)基礎(chǔ)。
Boesl 說(shuō)："我們?yōu)槊總€(gè)客戶區(qū)分任務(wù)。解決專用問(wèn)題比解決一般問(wèn)題更容易、更快捷。例如，我們教機(jī)器人如何插入特定的電纜，而不是一般的電纜。我們還對(duì)某個(gè)設(shè)施進(jìn)行培訓(xùn)，以捕捉其環(huán)境條件。AI可以通過(guò)重新校準(zhǔn)過(guò)程將技能轉(zhuǎn)移到第二根電纜或第二個(gè)設(shè)施，該過(guò)程捕獲場(chǎng)景之間的所有相關(guān)差異。重新校準(zhǔn)需要一些工作，但比從頭開(kāi)始或創(chuàng)建完全通用的方法要少得多。通過(guò)這種方法，智能機(jī)器人可以在數(shù)小時(shí)或數(shù)天內(nèi)完成訓(xùn)練，而不是數(shù)周，以逐行對(duì)機(jī)器人進(jìn)行編程。此外，機(jī)器人可以再培訓(xùn)或以更少的投資改變生產(chǎn)線。"
Gorchet建議，與其針對(duì)所有可能的情況進(jìn)行訓(xùn)練，不如針對(duì)已經(jīng)發(fā)生的場(chǎng)景進(jìn)行訓(xùn)練。這可能比創(chuàng)建通用模型便宜，即使團(tuán)隊(duì)必須進(jìn)行多個(gè)特定的訓(xùn)練。
它有助于記住AI是一個(gè)不斷發(fā)展的領(lǐng)域。如果AI沒(méi)有提供所需的結(jié)果，那么這很可能不是AI今天能夠解決的問(wèn)題。最好承認(rèn)這一點(diǎn)，而不是聲稱AI可以做它不能做的事情。因?yàn)楫?dāng)它第一次失敗時(shí)，信任就會(huì)被打破，很難重新獲得。
此外，用戶應(yīng)該能夠停止或暫停智能設(shè)備。Boesl表示，人們必須有一種感覺(jué)，即他們處于控制之中，如果出現(xiàn)問(wèn)題，機(jī)器也可以關(guān)閉。人類控制機(jī)器，而不是機(jī)器控制人類。當(dāng)用戶覺(jué)得自己被控制時(shí)，可能會(huì)失去很多信任。同時(shí)，用戶需要解釋AI的局限性。例如，在工廠車間行走的人必須意識(shí)到移動(dòng)機(jī)器人通行權(quán)，或者如果他們踩到地板上的黑色和黃色膠帶，他們可能會(huì)受到嚴(yán)重傷害。
通過(guò)可解釋性建立對(duì)AI的信任
可解釋性是建立AI信任的主要工具之一。簡(jiǎn)而言之，它的想法是，如果用戶了解AI如何做出決策，他們將更愿意相信其建議?？山忉屝缘牧硪粋€(gè)好處是，它可以更輕松地驗(yàn)證 AI 是否按預(yù)期執(zhí)行。這可以加速工程師的開(kāi)發(fā)，并與用戶建立信任。
例如，經(jīng)理可能會(huì)問(wèn)："為什么這個(gè)機(jī)器人這么慢？"雖然機(jī)器人可以走得更快，但它的速度是為了保護(hù)工人。Gorchet 描述了AI的"黑匣子"問(wèn)題(圖2)。試圖向用戶解釋神經(jīng)網(wǎng)絡(luò)的工作原理不是可解釋性的。
圖2 試圖向用戶解釋神經(jīng)網(wǎng)絡(luò)是如何工作的是不可解釋的，也沒(méi)有觸及人工智能為什么選擇以某種方式做某事的核心。
Petrick說(shuō)："可解釋性始于，'我到底為什么要這樣做？' 如果不解釋原因，就會(huì)為不安和不信任奠定基礎(chǔ)。為了獲得員工的支持，鼓勵(lì)他們的參與，他們需要了解公司面臨的挑戰(zhàn)，AI如何提供幫助，以及他們自己在整個(gè)解決方案中的重要作用。只有這樣，你才能討論黑匣子里發(fā)生了什么。接下來(lái)，我們提倡用通俗易懂的語(yǔ)言解釋AI是如何工作的。接下來(lái)是 AI 如何分解任務(wù)、評(píng)估任務(wù)以及如何提出建議。正因?yàn)锳I解決方案可以100%自動(dòng)化，它可以幫助分階段引入這種自動(dòng)化。一旦用戶收到正確的建議，他們往往會(huì)更放心地將該決定作為合作伙伴發(fā)布給AI。"
Gorchet描述了如何使用優(yōu)質(zhì)產(chǎn)品的圖像進(jìn)行培訓(xùn)，這樣就不需要貼標(biāo)簽了。當(dāng)AI認(rèn)為它檢測(cè)到缺陷時(shí)，它會(huì)在它認(rèn)為缺陷所在的地方繪制一個(gè)分割掩碼。你可以看到系統(tǒng)為什么會(huì)做出這樣的決定。如果掩碼顯示的東西不是缺陷，則系統(tǒng)會(huì)學(xué)習(xí)錯(cuò)誤并可以糾正它。
Virani將能力和可解釋性聯(lián)系在一起。特定AI在某些驗(yàn)證數(shù)據(jù)集上的整體準(zhǔn)確性并不像了解當(dāng)前建議的預(yù)期準(zhǔn)確性那么重要。還需要一定程度的可解釋性來(lái)解釋為什么AI在特定情況下有信心或不自信。例如，使用帶有標(biāo)簽的訓(xùn)練數(shù)據(jù)創(chuàng)建包裝器使 AI 能夠引用用于做出決策的相關(guān)數(shù)據(jù)。我們已經(jīng)探索了AI模型的這種基于示例的可解釋性，以便為它們?cè)谖覀兊捻?xiàng)目中的預(yù)測(cè)提供理由。當(dāng)然，這并不總是有用的。如果決策是在圖像的像素級(jí)別做出的，那么當(dāng)AI向他們展示來(lái)自訓(xùn)練數(shù)據(jù)的像素示例時(shí)，用戶可能無(wú)法理解他們?cè)诳词裁础?/span>
這是可解釋性問(wèn)題的一部分。AI可能很復(fù)雜，可用的工具為開(kāi)發(fā)人員抽象了這種復(fù)雜性。例如，對(duì)于無(wú)代碼生成的AI系統(tǒng)，開(kāi)發(fā)人員告訴AI他們想要做什么，AI生成自己的程序。然而，這種抽象只會(huì)使黑匣子更加不透明。開(kāi)發(fā)人員檢查AI所能做的就是輸入數(shù)據(jù)并驗(yàn)證結(jié)果是否正確。在某些情況下，可能幾乎沒(méi)有可解釋性。
Petrick說(shuō)："如果開(kāi)發(fā)人員不理解或無(wú)法解釋黑匣子的工作原理，那么用戶怎么能理解呢？如果理解和評(píng)估AI的可靠性需要太多的工作，用戶可能會(huì)認(rèn)為不使用AI更有效率。"
解決可解釋性挑戰(zhàn)的一種方法是雙向溝通。Petrick說(shuō)："AI工程師正在艱難地學(xué)習(xí)，他們不了解工廠車間的細(xì)微差別。在工廠車間訓(xùn)練的AI解決方案應(yīng)該很容易轉(zhuǎn)移到另一個(gè)以相同方式布置的工廠。但事實(shí)往往并非如此。例如，照明、灰塵、噴水、相機(jī)角度等環(huán)境因素使每種情況都不同。有效的可解釋性包括一個(gè)反饋渠道，使用AI的用戶可以在其中提供有關(guān)AI如何不能滿足他們需求的見(jiàn)解。"
倫理在AI中的作用
信任的一部分包括感覺(jué)用戶的最大利益被牢記在心。當(dāng)用戶感到害怕或他們不是必需的時(shí)，信任就會(huì)受到侵蝕。
Petrick說(shuō)："機(jī)器人解放了人們?nèi)プ鲋挥腥祟惒拍芡瓿傻娜蝿?wù)。機(jī)器人有助于最大限度地發(fā)揮一個(gè)人創(chuàng)造價(jià)值的潛力。但是，當(dāng)AI被認(rèn)為比用戶更可靠時(shí)，這可能會(huì)使用戶和AI發(fā)生沖突。用戶需要能夠說(shuō)，'我做決定。AI幫助了我，做了我不想做的事情。' 目前，只有20%的受訪制造商考慮AI技術(shù)的道德規(guī)范。許多人認(rèn)為道德都是關(guān)于數(shù)據(jù)偏見(jiàn)的。例如，氧脈監(jiān)護(hù)儀中的AI對(duì)深色皮膚的影響可能較小，因?yàn)楣こ倘藛T沒(méi)有意識(shí)到傳感器不能很好地讀取。數(shù)據(jù)偏差的挑戰(zhàn)之一是偏差不是故意的。這通常是一個(gè)盲點(diǎn)，一種沒(méi)有人考慮過(guò)的可能性。但這并不是唯一需要考慮的道德問(wèn)題。"
隱私對(duì)于信任也至關(guān)重要。操作員想知道如何使用有關(guān)它們的數(shù)據(jù)。Petrick說(shuō)："我們傾向于衡量最容易衡量的東西。"
辦公室工作人員不希望通過(guò)他們點(diǎn)擊鼠標(biāo)的次數(shù)來(lái)評(píng)估他們的生產(chǎn)力，因?yàn)檫@并不能準(zhǔn)確反映他們所做的工作。操作員對(duì)可用于對(duì)他們的生產(chǎn)力的任意評(píng)估也有同樣的感覺(jué)。考慮一個(gè)用戶，由于他們的專業(yè)知識(shí)而遇到更多麻煩的情況；由于難度較高，它們產(chǎn)生的產(chǎn)量更少。系統(tǒng)需要在操作過(guò)程中了解一個(gè)人，但有些人認(rèn)為需要從數(shù)據(jù)中清除這個(gè)人。Petrick說(shuō)："這個(gè)行業(yè)在隱私方面只是冰山一角。"
還有公平的因素需要考慮進(jìn)去。Virani說(shuō)："考慮一個(gè)想要推薦最好的技術(shù)人員來(lái)修復(fù)某些問(wèn)題的 AI。如果數(shù)據(jù)集不夠多樣化，AI會(huì)讓這個(gè)人只做他們以前做得很好的任務(wù)。這不僅會(huì)成為技術(shù)人員的負(fù)擔(dān)，而且從道德的角度來(lái)看，技術(shù)人員將沒(méi)有機(jī)會(huì)獲得新的經(jīng)驗(yàn)和在公司內(nèi)成長(zhǎng)。因此，當(dāng)人員參與其中時(shí)，需要確保他們的需求也得到滿足。"
這種方法也可能造成單點(diǎn)故障，因?yàn)橹挥杏邢薜募夹g(shù)人員獲得處理此問(wèn)題的經(jīng)驗(yàn)。你的人才庫(kù)中可能有更多的選擇，但它們從未被探索過(guò)，所以沒(méi)有其他人可以學(xué)習(xí)如何解決這個(gè)問(wèn)題。
當(dāng)談到問(wèn)責(zé)制時(shí)，Petrick說(shuō)，"當(dāng)AI失敗時(shí)會(huì)發(fā)生什么，看起來(lái)用戶有責(zé)任？可解釋性需要擴(kuò)展，以便不僅能夠解釋將要發(fā)生的事情，而且能夠解釋實(shí)際發(fā)生的事情。如果用戶不相信他們有辦法保護(hù)自己，他們對(duì)系統(tǒng)的信任就會(huì)降低。這不是毫無(wú)根據(jù)的考慮。工程師們正在為他們從未工作過(guò)的環(huán)境創(chuàng)造AI。"
考慮數(shù)據(jù)的道德使用。Boesl說(shuō)："有了像GDPR這樣的法規(guī)，關(guān)于誰(shuí)擁有數(shù)據(jù)有很多爭(zhēng)論。還可能出現(xiàn)道德問(wèn)題。例如，一家AI公司是否可以使用在客戶設(shè)施收集的數(shù)據(jù)來(lái)改善客戶競(jìng)爭(zhēng)對(duì)手的運(yùn)營(yíng)？如果不仔細(xì)解決，這樣的問(wèn)題可能會(huì)破壞信任。"
道德問(wèn)題只會(huì)變得更加普遍和復(fù)雜。如今，相機(jī)對(duì)準(zhǔn)生產(chǎn)線。但是，當(dāng)這些相機(jī)轉(zhuǎn)身并包括用戶時(shí)，必須考慮廣泛的道德問(wèn)題，這些問(wèn)題因國(guó)家而異。
正如我們所看到的，信任對(duì)于充分利用AI技術(shù)至關(guān)重要。有了可解釋性，可以更快地建立信任，并得到用戶的支持。當(dāng)?shù)赖聠?wèn)題被認(rèn)為很重要時(shí)，這是保護(hù)信任不被破壞的最佳防御措施。
