通常情況下，對自己的能力充滿自信絕對是件好事，只要不至于自負。隨著機器和軟件發展的越來越智能，我們會想是否能讓機器也變得充滿自信。探索機器人對于自身能力的自我感知性，將有助于指導未來高級人工智能（AI）的構建。

　　加州大學伯克利分校在讀博士生DylanHadfield-Menell稱，“過度自信的人工智能可能會導致很多問題”。以Facebook的新聞推送算法為例，其目的是為了向用戶推薦其想要閱讀的內容，然而如果用戶不經大腦地直接接收這些自動推送，最終將導致系統推送一些虛假的新聞消息。

　　對于Hadfield-Menell及其同事來說，解決方案是讓AI尋求并接受人類的監督。“如果Facebook有這樣的覺悟，我們也就不會廣受虛假消息的困擾了，”他說。

　　這種情況下，一個對自己較不自信的算法將更可能尊重一個用戶的判斷，而不是對自己“過于自信”，自顧自地將自己認為用戶想要的內容都推送給用戶。

　　“開關游戲”引發的思考

　　伯克利團隊設計了一個稱為“開關游戲”（Off-switchgame）的人機互動數學模型，用以探索機器對自己的“自信感知”。

　　在這個理論游戲中，一個具有“關閉”開關的機器被賦予一個任務。在執行任務過程中，人可以隨時按下機器的“關閉”開關中斷其任務，而機器人可以自由的選擇“關閉”開關，從而使人類不能干擾其執行任務。

　　實驗結果表明：對自己所做事情具有“高度自信”的機器，決不會讓人把它關掉，因為它試圖最大限度將時間花費在完成任務上。相比之下，“不太自信”的機器總是會讓人把它關掉，即使它所執行的任務沒有任何差錯。

　　當然，Hadfield-Menell也并不認為我們應該讓AI“太不自信”。比如說，一輛自主駕駛汽車的任務是載孩子上學，此時就不能讓小孩子獲得控制權。在這種情況下，AI就應該相信自己的能力高于孩子，無論情況如何，都應該拒絕孩子隨意關掉的指令。

　　Hadfield-Menell說，最安全的機器人將在這兩個極端之間取得平衡。

　　道德框架至關重要

　　牛津大學計算機系教授MartaKwiatkowska說，“那些拒絕讓人關掉的機器可能聽起來會很難以置信，但是對于制造與人一起工作的機器人的制造商來說，這樣的考慮是至關重要的”。

　　諸如自動駕駛汽車和消防機器人之類的智能機器，在特殊情況下將被要求做出有關人身安全的決策，所以必須盡早制定并安裝有關特殊情況下決策的機器人“倫理框架”（ethicalframework），這是至關重要的。

　　Hadfield-Menell稱，“開關游戲”只是探索機器人自我感知的一個開始。他還計劃探索機器人如何在獲取更多有關自己能力的信息后做出決策改變，比如說，一個煮咖啡智的能機器人有可能意識到自己的任務在早上是更重要的。

　　最終，Hadfield-Menell希望其研究能夠引領AI變得更有可預測性，并使其決策更易于讓人理解。“當把一個智能機器放入現實世界中，對于它究竟在做什么，我們當然想做到心里有數”，他說。