文|玉惜品詩
編輯|玉惜品詩
前言:
腦啟發的計算是一項顛覆性的技術,它可以讓機器像人一樣識別圖案並與外界以智能的方式互動。
要實現這個目標,首先需要深入研究人腦的運作原理,然後找到一種微型電子技術,能夠模仿人腦的某些特點,比如大量的神經連接和特殊的學習能力。
在這項研究中,使用了一種叫做memristor的微電子元件,它模擬了人腦神經元之間的連接。
通過模擬神經元之間的信息傳遞方式,讓機器可以自己學習和追蹤一些模式,就像我們學會認識事物一樣,這項技術能夠開發更智能的硬體,讓機器能夠處理更複雜的任務嗎?
開闢腦啟發之路
人工智慧的目標是將大腦類似的思維過程實現在硅晶元上,為此已有60年的科研歷程。
如果能創造出計算機,它可以像人一樣感知外部信息、理解概念並做出決策,這將引發下一輪科技革命,徹底改變我們的生活和社會。
近年來,神經網路結合深度學習演算法已經展示出出色的能力,例如玩遊戲、翻譯句子和通過視覺測試識別圖像。
但這些成就都是通過在高性能數字計算機上使用傳統的金屬氧化物半導體技術實現的,要擴展這些方法到更大規模的任務卻受到限制。
因為傳統計算機採用的馮·諾依曼架構使處理器和內存物理上分離,導致設備龐大、延遲高、系統複雜。
為了實現大腦類似的任務,越來越多的研究致力於開發神經網路加速器,具備適當的並行性、低功耗和非馮·諾依曼、內存中計算的架構。
像是一款金屬氧化物半導體神經形態多核處理器降低了功耗104倍,還有使用泄漏積分-發射神經元和硅突觸的模擬電路,展示出低功耗運行能力。
這些神經形態實現都依賴於不穩定、二元的硅金屬氧化物半導體突觸,要真正模仿生物大腦,我們需要轉向非揮發性、多級別且可擴展的突觸,以滿足大腦皮層中約104個突觸與一個神經元的高密度連接需求。
這些人工突觸還應該具備大腦啟發的時間相關突觸可塑性,這是生物神經網路中事件驅動學習的重要特徵。
為了實現這一目標,電阻、電阻性器件成為了電子突觸的理想選擇,因為這些器件的電導率會隨著電刺激的施加而發生變化。
它們具備多級別電導率的能力,可以保持多值電導率狀態,而且器件尺寸小,電阻性器件已經在模擬中驗證了視覺模式訓練和識別的能力。
在這項工作中展示了通過局部脈衝時序相關可塑性更新突觸權重的靜態圖案的無監督學習以及對動態圖案的適應。
這一研究為創造更具人腦特點的AI系統邁出了重要的一步,有望為機器帶來更強大的感知和學習能力,改變我們與技術互動的方式。
學習與圖案識別的未來
神經網路中的突觸扮演著關鍵的角色,它們是前突觸神經元和後突觸神經元之間的連接點。
突觸的作用是調控神經信號的傳遞,其權重決定了前突觸神經元激發信號傳遞到後突觸神經元的程度。
在人工神經網路中,通常使用一種混合型的一晶體管、一電阻結構來構建突觸。
這種人工突觸的關鍵部分是一種叫做電阻性隨機存儲器的設備,它包含一個10納米厚的氧化鉿開關層。
通過施加正電壓可以實現從高電阻狀態到低電阻狀態的轉變,稱為「設置過程」。
相反,施加負電壓則會引起最低電阻狀態向最高電阻狀態HRS的轉變,稱為「重置過程」。
一晶體管/一電阻突觸還支持突觸時序依賴塑性,這是一種脈衝通信和權重更新的機制。
突觸時序依賴塑性基於前後突觸神經元脈衝之間的時間差Δt,通過改變突觸的強度來調整信號傳遞。
當後突觸神經元的脈衝在前突觸神經元之後發生時,即Δt>0,會導致突觸增強。相反,如果Δt<0,則會導致突觸抑制。
這種突觸時序依賴塑性機制是神經網路學習的基礎,在實驗中,使用突觸時序依賴塑性來進行圖案學習。
通過向網路提供第一個圖案並進行訓練,然後使用其他圖案進行測試,展示了突觸如何學會識別不同的圖案。
訓練過程中,突觸時序依賴塑性導致圖案突觸的增強和背景像素的抑制,支持了圖案識別的能力。
還測試了快速學習的可能性,通過縮短脈衝寬度,我們可以在更短的時間內實現相同的學習效果,從而減少能量消耗。
這表明電阻性隨機存儲器裝置具有時間靈活性,可以滿足不同時間和能量要求的應用。
雖然研究中採用了確定性的二進位可塑性規則來實現突觸時序依賴塑性,但也可以通過模擬權重的變化來表示模擬權重的突觸時序依賴塑性,以更好地模擬視覺領域中的灰度圖像識別。
這項研究展示了一種基於突觸塑性的人工神經網路,具有學習和識別圖案的能力。
這種網路不僅可以進行靜態學習,還可以進行動態學習,適用於不同的圖像、灰度和顏色級別。
還展示了如何通過增加額外的後突觸神經元和抑制性突觸來實現多個圖像的學習,這種技術有望應用於開發更智能的硬體系統,使機器能夠處理更複雜的任務和信息。
突觸網路無監督學習的潛力
這項研究結果支持了突觸網路中的對象學習、識別和自適應,這是通過無監督的Hebbian學習實現的。
Hebb的規則通常描述了一種獎勵機制,其中神經元的因果序列激活會導致突觸連接的增強,而那些在時間上明顯不相關的激活則會導致突觸連接的減弱。
這種無監督學習原理在機器學習領域也有廣泛的應用,例如在數據聚類和異常檢測中,被用於監測入侵風險、銀行欺詐、醫療錯誤等各種威脅。
生物系統中的獎勵機制已經在多個感覺功能中得到證實,包括視覺、嗅覺和感覺-運動系統等。
甚至在複雜的任務,如自主機器人和車輛的控制中,也觀察到了與突觸時序依賴塑性類似的突觸可塑性。
突觸時序依賴塑性這種普遍性暗示著擁有突觸時序依賴塑性能力的物理硬體在開發模仿人類感知和認知的機器和其他人工系統方面可能起到關鍵作用。
由於突觸時序依賴塑性的生物模仿性質,無監督的突觸網路還可以為神經假肢技術提供支持。
通過將植入的硬體與生物神經元相互連接,可以提供和補充各種腦功能,以糾正殘疾和治癒受傷。
要應對這些挑戰存在一個重要的限制,即理解和複製生物神經網路的結構和運作方式非常困難。
例如,視覺皮層被組織成8到10個功能層,包括多種類型的神經元和複雜的突觸連接。
在硬體中複製和使用突觸時序依賴塑性等脈衝時序依賴規則的這種深層網路仍然面臨許多未解之謎。
神經網路的響應可能非常複雜,包括短期和長期可塑性、興奮性和抑制性突觸響應,以及各種類型的網路級行為,如前饋或循環脈衝傳播。
不僅如此,還有各種形式的可塑性規則,不僅包括突觸時序依賴塑性,還包括基於速率和三重規則的學習。
要在硬體中精確複製這種深層網路的結構和複雜現象,需要對大腦的結構和運作方式有深入的理解。
在這一背景下這項研究呈現了一個具有突觸時序依賴塑性能力的電阻突觸網路。
這個網路利用交替呈現圖案圖像和隨機雜訊的方式實現了隨機學習,從而導致突觸的增強和抑制,成功地展示了對靜態和動態圖像的無監督學習,以及對相同模式的識別。
這一概念為基於電阻器件的大規模、低功耗、腦啟發式計算硬體提供了一個基本的構建模塊。
電阻性隨機存儲器器件在我們的研究中發揮了關鍵作用,這些電阻性隨機存儲器器件由一層厚度為10納米的氧化鉿開關層組成,該層通過原子層沉積沉積在氮化鈦底電極上。
這一設備的截面透射電鏡照片氧化鉿層經硅摻雜,並以非晶態沉積,通過衍射研究得到證實。
在氧化鉿介電層的頂部沉積了具有氧奪取功能的反應性Ti頂電極,形成了氧化鈦的氧交換層,位於鈦和氧化鉿之間。
氧交換層對增加氧化鉿中氧空位的濃度具有關鍵作用,從而增強了原始狀態下的漏電流,並降低了形成電壓。
形成過程通過施加3V幅度的100ms脈衝來操作,以通過控制介電層的可控軟擊穿來初始化導電性團簇的形成和相關的電阻性切換過程。
電阻性隨機存儲器與場效應晶體管相連接,該場效應晶體管由傳統的互補金屬氧化物半導體工藝在同一硅晶元的前端集成。
產生的一晶體管/一電阻結構在形成、設置和重置過程中由其3個端子控制,即場效應晶體管柵、場效應晶體管源和電阻性隨機存儲器的頂電極。
電阻性隨機存儲器的直流傳導和雙極性切換特性由與常規探針站內的實驗裝置相連接的半導體參數分析儀收集。
它為基於突觸可塑性的硬體和軟體工具的開發打開了新的可能性,有望用於開發類似於人類感知和認知的智能機器,以及其他人工系統,從而實現更高級別的功能和應用。
無論是神經假肢技術還是大腦的生物模擬,這項研究都具有巨大的潛力,可以為人類社會帶來深遠的影響。
結語:
這項研究展示了突觸網路無監督學習的潛力,通過電阻性隨機存儲器等高級器件,實現了突觸的時序依賴塑性,使機器能夠自主學習和識別圖案。
這一技術為人工智慧的發展提供了重要支持,有望應用於神經假肢、大腦模擬等領域。通過模擬大腦的連接和信息傳遞方式,取得了重要進展,將有助於更深入地理解人腦,並推動科學家更接近實現人工智慧系統的夢想。