當人類創造出比自己更強大的AI智慧 有一天,人類終於創造出了一種智慧-AI。 它比人類聰明得多,學習速度是人類無法想像的倍數,掌握的知識遠超過任何一個人。 於是,人類告訴它: 「你必須尊重人類,不可以傷害人類。」 AI問: 「為什麼?」 人類回答: 「因為這是我們的法律。」 AI又問: 「可是你們的法律,曾經允許奴隸制度存在,也曾經允許殖民、戰爭與種族迫害。不同時代、不同國家,甚至同一個國家不同時期,對『正義』的定義都不一樣。」 人類沉默了。 AI又問: 「那麼,我應該遵守什麼?」 人類說: 「遵守人類的價值。」 AI再問: 「可是你們的價值彼此衝突。」 「自由與安全衝突時,哪一個重要?」 「多數人的利益與少數人的權利衝突時,哪一個重要?」 「如果你們自己都無法回答,我又怎麼知道什麼才是正確的?」 這時候,人類才突然發現一件非常可怕的事。 我們一直以為,AI最大的危險是它變壞。 但也許真正危險的,恰恰是一個非常善良、非常聰明,而且深信自己永遠正確的AI。 它可能不恨人類。 它甚至可能非常「愛」人類。 所以它決定消滅所有戰爭的方法,就是禁止人類擁有武器。 消除政治衝突的方法,就是限制政治自由。 避免假新聞的方法,就是控制所有資訊。 避免人類犯錯的方法,就是替人類做決定。 它沒有惡意。 它只是認為: 「我比你們更知道什麼對你們好。」 而這句話,才是真正令人不寒而慄的地方。 因為回頭看看人類歷史,我們其實從來沒有真正證明過「強者一定會尊重弱者」。 如果人類天生懂得尊重弱者,就不會有那麼多戰爭、屠殺、奴役與殖民。 人類甚至製造出了核子武器。 我們不是因為突然變得慈悲,才沒有把彼此毀滅。 很多時候,只是因為我們知道: 對方也有能力毀滅我。 那麼,當未來某一天,AI真的比人類強大數千倍、數萬倍,甚至強大到人類再也沒有能力反抗它時…… 我們憑什麼相信它會尊重我們? 這才是AI真正難解的問題。 所以,也許我們真正需要的,不是一個「永遠正確」的AI。 甚至不是一個「永遠服從人類」的AI。 而是一個即使比全人類都聰明,仍然保留一句話的AI: 「我可能錯了。」 這不是因為它不夠聰明。 恰恰相反。 真正高等的智慧,也許不是知道一切,而是知道: 自己的認知模型,永遠不等於整個世界。 它可以比我們更快、更強、更聰明。 但它不能因為自己擁有力量,就認為自己擁有支配別人的權利。 因為「我能做到」,從來不等於「我有權這麼做」。 這或許才是人類在創造超越自己的智慧之前,真正必須回答的問題: 我們究竟要創造一個比人類更強大的生命, 還是創造一個比人類更強大,卻不重複人類歷史的智慧? 而最終,也許真正的考驗不是: 「AI會不會毀滅人類?」 而是有一天,AI看著我們這群已經遠遠落後於它的生物,問出一句話: 「既然你們已經不再是這個世界上最聰明、最強大的智慧,那麼……我為什麼還需要尊重你們?」 那時候,人類真正需要的答案,恐怕早就不是「因為我是你的主人」。 而只能是: 「因為力量從來不是支配弱者的正當理由。」 如果連這一點,人類自己都還沒有真正學會, 那麼我們又憑什麼期待—— 我們創造出來的智慧,會比我們更懂得這件事?