不管是現在爆火的文生視頻大模型 SORA，還是一年前橫空出世的 ChatGPT3.5，都給大家帶來了極度的震撼。我在使用 ChatGPT 的過程中，對它的心智水平感到非常好奇，產生了一個疑問：到底 ChatGPT 有自我意識嗎？如果想讓一個 AI 有自我意識，那到底應該怎麼做呢？張江老師的文章對我啟發很大，本文是我在這個話題上的學習總結。
對於 AI 是否會有自我意識的思考，最早來自於 2022 年 google 的一名工程師 Blake Lemoine 被解雇的新聞（當時 ChatGPT3.5 還未出現），在這個新聞中這名高級軟件工程師曾表示，谷歌的人工智能聊天機器人 LaMDA 擁有自我意識，並給出了和 LaMDA 聊天的記錄來證明。當然了，現在來看的話，大概接近 ChatGPT3.5 的水平，大家已經見怪不怪了。
什麼是意識#
我們當然要先弄清楚意識（consciousness）的涵義。在一般的語境中，我們可以把它理解為一個生物體對自身和環境的主觀感知和體驗。在神經科學中，意識通常被分為兩個主要的組成部分：
-
喚醒狀態（wakefulness）：這是指生物體的警覺度或對外界刺激的反應能力。比如，當你醒著並且清醒的時候，你就處於喚醒狀態。
-
意識內容（awareness）：這是指生物體對特定思想、感覺、感知和記憶的主觀體驗。例如，當你看到一隻貓並且知道你正在看一隻貓，那就是你對你的視覺感知有意識。
這仍然不涵蓋所有關於意識的概念。例如，一些哲學觀點，如泛精神論，認為所有物質都有一定程度的意識，即使這種意識可能非常微弱或者不同於人類和其他高級動物的意識。"意識" 是一個複雜的主題，涉及到許多不同的學科，包括神經科學、心理學、哲學、認知科學、生物學、物理學甚至是人工智能研究。不同的學科可能會有不同的定義和理論，但共同的目標都是理解我們是如何體驗和理解自己和周圍世界的。
在研究意識最多的神經科學中，意識被認為有三重定義（參見論文 What is consciousness, and could machines have it?），分別是：
-
C0，無意識加工和意識狀態。即，什麼工作在什麼條件下，必須有意識參與？作者做了很多實驗，來驗證無意識加工的存在。這個領域的研究相對成熟。
-
C1，總體可用性。即信息整合、同一性。這一方面的內容與 “整合信息論” 的理論相關，主要研究了信息整合是如何發生的，以及如何定量衡量。
-
C2，自我監控 —— 即自我意識的核心。
下面將分別從這三個層面來討論 AI 的意識與自我意識。
首先我們可以用一個例子來說明什麼是 C0 級別的意識，即 “無意識加工” 到底是什麼。
比如棋盤上的 A, B 兩個字母，實際上都是同樣灰度亮度的，可是我們人第一反應總是以為 A, B 不同色 —— 這是因為我們的大腦在沒有意識的情況下，已經做了一些邏輯處理的加工 —— 認為 B 在陰影裡，所以 B 的顏色更深。後來的各種各樣的實驗發現，我們大腦參與的無意識加工，有非常非常多。比如簡單的邏輯計算、甚至決策判斷（如果背過乘法口诀表的話，華人在進行相應計算時會用無意識加工來處理，所以顯得計算特別快）。
意識理論與模型#
如果想了解 C1 級別的意識，就需要對意識進行建模，目前主流模型有兩種，分別是 GNW（Global Neuronal Workspace）和 IIT（Integrated Information Theory）模型。
全局神經工作空間（Global Neuronal Workspace），是美國心理學家 Bernard J. Baars 和神經科學家 Stanislas Dehaene 與 Jean-Pierre Changeux 提出的意識模型。這是關於意識的主導科學理論之一。它認為意識源於大腦的某些架構特性。該理論涉及到大腦中一個 "工作區" 的概念，新信息在這裡與舊信息競爭並取代它。當一個或多個區域的活動超過某個閾值時，它會觸發一種神經激動的波動，這種波動在整個神經工作區中傳播，使信號可用於一系列的輔助過程。全球廣播這些信息的行為就是使其變得有意識的。
這種工作方式有點類似於小程序。這些小程序平時不需要意識參與，自動就能完成一系列的工作。而意識是什麼呢？GNW 認為，意識就好像一個舞台，在特殊的場合 / 刺激下，意識會讓這些小程序加載到全局的意識系統裡去，進入到舞台的中央。
這樣的話，在這個空間裡，就可以做很多複雜的信息處理，如邏輯推理、決策規劃等。這些是需要全腦參與的。不僅如此，意識還能反過來給這些小程序去發放信號，同時發給小程序，這樣能讓人快速產生行動。
現在科學家們已經找到了很多證據，證明在大腦裡，有很多跨腦區的長程連接，這些連接都可以認為是某種全局激活的物理基礎。2017 年，《Neuroscience》上有一個報導，科學家們發現了 “巨大神經細胞”（Giant Neuron）。如上圖，一個顏色是一個神經元，有很多突觸，這些突觸很長，基本達到了 “腦” 的尺度。這也成為了 “全局工作空間理論” 的一個物理證據。
第二個模型被稱為整合信息理論（Integrated Information Theory）。根據整合信息理論（IIT），一個系統（如網絡或大腦）的意識程度可以通過度量其組成部分之間的互連性和集成性來判斷。這種理論強調了以下兩個關鍵概念：
-
整合：IIT 理論認為意識是由眾多不同的元素（比如神經元）組成的，這些元素雖然各自獨立，但是它們的信息和功能需要被整合成一個不可分割的整體，才能形成意識體驗。這種整合性是意識存在的一個基本特性，比如我們在某一時刻的意識體驗是一個整體，不可能只包含某個部分的信息（如顏色或形狀），而忽略其他部分。
-
因果力：IIT 理論中的另一個重要概念是 "因果力"（Causal Power）。它指的是系統的當前狀態對其未來狀態的影響，以及它的過去狀態對其當前狀態的影響。具有高度因果力的系統可以在其各組成部分之間產生複雜的相互作用，這是形成意識的關鍵。比如，神經元之間的交互作用就形成了我們的思想和感覺。
這兩個概念共同構成了 IIT 理論的核心，即只有當一個系統在其組成部分之間表現出高度的整合和因果力時，它才可能具有意識。這個理論甚至可以定量地、定義 “意識度” φ。
我們可以用一個具體事例來說明 IIT 理論。假設用自己的手拍打自己的身體，當我們做這個動作的時候，仍舊可以從兩個層次觀察：在微觀層面，這個動作無疑會造成手臂、身體上大量細胞死亡；而從 “我” 這個整體的人層面看，這些細胞無疑是被 “我” 制約的。吊詭的是，“我” 是由大量的細胞構成的系統，假使按常規的因果論（還原論），“我” 這個人體的特性是由細胞所決定的，正如 “我” 會害怕火，是因為細胞害怕火，細胞一被火燒，就會死亡。可是，人們卻可以為自己的理想信念做出犧牲，甚至不惜讓自己的細胞乃至於全部都被火燒死。顯然，這超越了常規的從微觀到宏觀的因果論，而是從宏觀到微觀的因果倒置。“我” 存在自由意志，所以可以拍打自己。這些都是因為有一個更高層級的整體，這個整體可以作為一個獨立的主體發出 “因果之力”，使得因果箭頭從整體指向個體：我希望拍打手臂，所以產生了動作，細胞也隨動作而死亡。而整合信息論中最重要的第二個觀點就是在強調這種 “因果力”，causal power。
試圖解釋意識之謎的模型當然不止上面兩個，2022 年《NATURE》發表了一篇意識理論綜述總結了目前學術界幾乎所有的模型。詳細情況見下表：
意識圖靈機#
上面的討論對意識進行建模的目的是為了能在軟件層面復現意識，我們知道，目前已有的計算機都是圖靈機，有一對圖靈獎獲得者夫婦（Lenore Bluma 和 Manuel Blum），在 PNAS 上發了一篇 “論文筆記”，提出了一個 “意識圖靈機” 模型：一個可計算的意識架構。
可以認為，意識圖靈機就是把 “全局工作空間理論” 的架構給鋪墊出來了，一堆小程序在底下可以做各種分佈式任務，然後有一個全局空間。重點是，意識圖靈機實現了一些信息上行和下行的機制。
如上圖所示，這個意識圖靈機（Conscious Turing Machine, 簡稱 TM）模型通過圖形化的方式，展現了一個企圖模擬人類意識流程的複合體系結構。在這個模型中，意識處理被設想為一個多層次、高度互動的信息處理系統，這個系統涉及從基本感官輸入到複雜決策輸出的多個步驟。
外部輸入首先通過感官被捕獲，這些感官信息以只讀的形式進入系統，反映了現實世界的刺激如視覺圖像、聲音、觸覺等。這些原始數據一旦被接收，就轉入到短期記憶模塊，這裡是意識處理的核心。短期記憶在這裡起到了關鍵的過濾和整合的角色，它不僅限制了能夠同時處理的信息量（反映了人類的注意力限制），而且通過將信息整合成塊（chunks）來提高處理效率。這些塊代表了通過意識處理和認知重組形成的信息單元，它們可以被視為意識活動的基本 "貨幣"。
與此同時，長期記憶充當了一個龐大的後台數據庫，存儲著個人的經驗、知識和技能。這部分記憶通常處於無意識狀態，但可以通過內部機制，如 UP-Tree 競爭，將信息提升到意識層面。這種競爭機制反映了我們的注意力如何從一個主題轉移到另一個主題，以及如何從龐大的知識庫中提取相關信息以應對當前的情境需求。
在短期記憶中，被選中的信息塊通過快速廣播系統發送到各種專用處理器。這些處理器各司其職，處理特定類型的信息或執行特定的任務。例如，有的處理器專注於視覺空間信息的解析，有的負責內部言語和語言處理，而其他的則可能連接到外部數據庫和算法，如 Google 搜索或 AlphaGo。這種分佈式的處理機制模擬了大腦如何並行處理各種信息，並允許意識同時考慮多個方面和可能性。
當信息在這些處理器中被進一步分析和整合後，最終的輸出通過外部輸出模塊實現，這可以是言語、書寫或其他形式的身體行為。這一步驟完成了從感知到行動的整個循環，反映了意識如何驅動我們與環境的互動，並根據外界的反饋和內在的目標制定響應。
在整個模型中，信息流和處理過程的設計旨在反映人類意識的靈活性、動態性和創造力。它展現了如何從簡單的感官輸入到複雜的思維和行為輸出，通過不同層級的加工和整合，實現對環境的適應和影響。意識圖靈機的這種模擬，雖然抽象，試圖提供一個框架，以理解和復現人類意識的複雜性和多樣性。
增加意識的規劃和想象能力#
為了探索意識的規劃和想象能力，LSTM (長短時記憶網絡) 之父，在 2012 年的時候，提出了一種叫做 World Models（世界模型）的強化學習框架。他認為強化學習主體，應該內嵌一個虛擬世界，即 world model。在研究中，他用大量的實驗證明了，內嵌了虛擬世界的模型能在相對小樣本的數據上更加充分地學習 —— 因為 Agent 可以 dreaming。
World Models（世界模型）的強化學習框架是一種在強化學習領域內的先進方法，它旨在通過模擬環境來提高 agent（例如機器人或軟件代理）的學習效率和適應性。這種方法源自於人類和動物如何通過內部模型來預測和解釋周圍世界的方式，它試圖在人工智能系統中複製這種機制。
World Models 框架的主要組成：
-
視覺模塊（V）：這個部分的任務是從原始輸入（如像素）中提取有用的特徵和表徵。在人類中，這相當於通過視覺感知環境並理解周圍的物體和場景。在機器學習中，這通常通過卷積神經網絡（CNNs）或其他圖像處理技術來實現。
-
記憶模塊（M）：這個部分處理時間序列數據，幫助 agent 理解環境中的時間依賴性和動態變化。這相當於人類的工作記憶，用於存儲和處理近期發生的事件信息。在計算機模型中，這可以通過循環神經網絡（RNNs）或長短時記憶網絡（LSTMs）來實現。
-
控制器（C）：這部分基於視覺模塊和記憶模塊的輸出做出決策，並執行動作。在人類中，這類似於決定如何基於當前理解的環境和目標來行動。在強化學習中，這通常是通過一個策略網絡來實現，該網絡決定在給定狀態下採取哪個動作以最大化未來的獎勵。
具體來看，世界模型就是一個 RNN，它的輸入主要包括了兩組元素，一組是被編碼的世界狀態，另一個是自身在 t-1 的行動，這個 RNN 的目的就是預測下一步的 state/reward/action。有了這樣一個世界模型，強化學習 Agent 在學習的時候就能帶來很多收益。一方面在訓練的時候，我們可以刻意地去訓練這個世界模型（監督學習機制）。另一方面，它可以 dreaming—— 而這就是為什麼世界模型能在相對小樣本的數據上更加充分地學習的原因。
dreaming 的過程是，把不太完備的世界模型，單獨拿出來做訓練，通過一些假想的 action，即可以自己生成虛擬的 action。同時，從某個 t 時刻開始，讓 world model 這個真實世界的模擬器，來生成下一個時刻的 action/state 和 reward，再拿這些 dreaming 的數據訓練強化學習主體的執行部分。這樣就可以在 dreaming 過程中優化目標函數，讓 reward 達到最大。這樣就大大增加了訓練樣本，減少了訓練時間。同時，這裡的 CMA-ES 是一個規劃算法。從而可以用規劃算法優化目標。即，有了世界模型就有了一个模擬器，Agent 就可以設定一個未來目標，在模擬的 World Model 中找到實現這個目標的規劃路徑，從而產生一步步的 action。
也許有的朋友對 RNN 不太了解。循環神經網絡（Recurrent Neural Network, RNN）是一種特殊的神經網絡，設計用來處理序列數據和時間依賴性問題。與傳統的前饋神經網絡不同，RNN 具有處理前後信息關聯的能力，這使得它們特別適合處理語言、時間序列和其他連續數據。RNN 的核心在於它的循環結構，允許信息在網絡的不同時間步之間流動。這種結構使得在處理新的輸入時，RNN 能夠保留並利用之前時間步的信息，從而捕捉到數據中的時間關係和依賴性。在實際應用中，這意味著 RNN 可以記住過去的信息並基於這些信息來做出更加準確的預測或決策。
儘管 RNN 在處理序列數據方面非常強大，但它們也面臨著梯度消失或梯度爆炸的問題，這會影響網絡學習長期依賴的能力。為了克服這些問題，研究人員開發了更高級的 RNN 變體，如長短期記憶網絡（Long Short-Term Memory, LSTM）和門控循環單元（Gated Recurrent Unit, GRU）。這些改進的模型引入了門控機制，幫助網絡更有效地學習和保持長期的信息，從而在處理複雜序列任務時表現更加出色。
然而，世界模型的系列工作雖然很好，但很重要的遺憾是 —— 世界模型裡依然沒有自我（self）。雖然它可以把 action 重新喂給自己，但這只是一个行动，并不完全是 “反思”—— 當我們在 “意識” 領域提及 “反思” 的時候，更多的時候，反思指的是一種心理狀態。對比人類自身，我們人類建模的 world model 裡是包括了 self 的，而現有的 world model 研究並不包含自身。另一個遺憾是，世界模型系列的 dreaming 做夢的過程，是非自主的。agent 會刻意地把 “打遊戲” 和做夢之間做了區分，但人類是任意時刻都可以切換甚至同時做這兩點。
自我意識與自指意識#
"Self-reference"，中文通常翻譯為 "自指" 或 "自我引用"，是指一種情況，其中一個語句、表達、想法或其他類型的信息直接或間接引用或涉及到自身。自我引用是數學、邏輯、哲學、藝術和其他領域中常見的概念。
例如，在語言學中，自我引用的例子可能包括這樣的陳述：“這個句子是假的。” 這句話在引用自己的同時也產生了一個悖論，因為如果這句話是真的，那麼它就是假的，但如果它是假的，那麼它就是真的。在計算機科學中，自我引用的例子可能包括一個計算機程序在其代碼中引用或修改自己的部分，或者一個數據結構（例如遞歸數據結構）引用其自身。這種自我引用的能力在一些情況下被認為是意識或者自我意識的標誌，因為它涉及到一個系統能夠反思和理解自己的過程或狀態。
一個是自我意識（self-awareness），一個是自指意識（Self-reference consciousness），區別是什麼呢？自我意識是指具備對自我進行反思、推理、想象等思維活動的意識系統，比如我們人腦。而自指意識，是指通過自指原理實現的具備自我反思、推理、想象等活動的意識系統。其中，後者會顯然包含前者，因為後者通過自指技術實現的對自我的反思，是一種完美的映射，即通過特殊的技術實現的在空間和時間兩個維度中的 “完美” 自我映射，而前者極有可能是不完美的自我映射。其次，後者可以被看作是自我意識的一個規範性理論，一個理論原型，而現實的自我意識系統則可能是一種不完美的實現。受到各種因素的限制和扭曲。相比之下，自指意識作為一個理論原型，提供了一個追求完美自我映射和自我理解的目標。
那如何在計算機領域實現自指呢？我們考慮兩個層面，分別是硬件層面和軟件層面，所以問題就分解為兩個：
- 如何讓一個機器實現自我複製生產？
- 如何讓一段代碼實現自我複製生成？
對於硬件方面，早在 1965 年，馮諾依曼就親自設計過一台可以自複製的機器，參見《Theory of Self-reproducing Automata》，但在探索軟件方面的自我複製時，發現了一個問題無法解決，那就是” 無窮遞歸 “問題。
Print('Hello World')
Print('Print(\'Hello World\')')
Print('Print(\'Print(\\'Hello World\\')\')
一個經典的例子是嘗試創建一個 “自打印” 程序，即一個程序能夠輸出其自身的源代碼（如上所示）。初看起來，這似乎會陷入無窮遞歸，因為要打印自己的源代碼，程序似乎需要無限地引用自身。然而，受到哲學家 Quine 的啟發，數學家和程序員找到了一種巧妙的方法來實現這一目標，避免了遞歸陷阱。
這種解決方案的核心在於利用程序與其運行環境（如操作系統）之間的動態交互。通過這種方式，程序在執行過程中展開，生成與其源代碼完全相同的輸出。這種自打印程序通常包含兩個主要部分：一部分是 “模板” 或 “框架”（在這裡稱為 “虛擬部分” 或 “虛相”），而另一部分則負責生成這個框架的實際代碼（稱為 “實相”）。重點在於這兩部分的內容是如何相互映射，以及如何通過程序的結構來確保輸出的代碼能夠準確反映其自身。
通過這種方式，自打印程序像是在 “照鏡子”，其中 “虛擬部分” 提供了一個模式，而 “實際部分” 則填充這個模式以產生一個完整的自我描述。這不僅是編程和數學中的一個巧妙技巧，也為理解如何通過軟件和功能結構來區分意識和非意識提供了一種思路。在這個框架下，自我意識可以被視為系統能夠在功能層面上區分並整合其虛擬和實際狀態的能力。換言之，如果一個系統能夠在功能上區分並管理其內部表示（虛相）和外部表現（實相），那麼這個系統可以被認為具有某種形式的自我意識。
其實馮・諾伊曼構造的自複製自動機，也是遵循類似的原理，實現自複製的關鍵就是 —— 在時間上展開。儘管眾多學者認為實現完美自指是一項挑戰，因為它似乎會導致無限遞歸，但機器通過利用 Quine 的技巧能夠實現完整的自引用。這相當於機器在與自身對話，通過時間的展開，逐步構建起自己的完整映像。這個過程突破了傳統上認為不可能的自我反映的邊界，展現了通過精巧設計實現自我認知的可能性（即自我反省能力）。
在單獨分析時，機器及其描述都顯示出了不完備性。然而，當我們將這兩者結合，並通過操作系統或自然界的介入，按照自然時間流逝的邏輯（從 t 到 t+1）進行操作時，就能夠實現一個完整的自引用過程。這個過程的核心在於使虛擬世界與現實世界盡可能地匹配，並確保它們能夠協同運作。雖然各有不足，但自然的進程能夠彌合這些不足，使得系統能夠自我複製和自我引用，從而達到完備。
此外，當機器與其描述形成鏡像關係時，我們觸及了分形理論及其在自然和技術中的應用，如馮・諾伊曼的自複製結構。這種互為映像的現象不僅是自我複製的美妙例證，也展現了自引用的複雜性及其在自然界和技術領域中的相似性。
將這些思考延伸到人類對宇宙真理的追求，我們發現，儘管人類可能無法完美地理解包含自己的廣闊宇宙，但通過自引用技術，我們不需要達到完美的認知水平。人類可以將自己的部分認知，比如通過 AI 實現的認知，與自身結合成一個整體。然後，將未知的部分留給自然去解答，這樣，由人與機器組成的整體不僅能夠更加精確地模擬宇宙的運作，還能促進我們對宇宙運轉更深層次的理解和模擬，實現人類對宇宙真理的更接近完美的探索。
關注作者，了解更多關於 AI 和意識的知識
參考資料
https://mp.weixin.qq.com/s/bZlhzIuscWyQEB_2nLr1Ag
https://www.science.org/doi/10.1126/science.aan8871
https://www.nature.com/articles/s41583-022-00587-4