被困在4GB內存里的Llama 3.2:AI在樹莓派中上演「死亡循環」

IT之家 5 月 25 日消息,最近,一個名為「Latent Reflection」的藝術項目引發關注。這個項目由 YouTube 用戶 Rootkid 創作,其核心是將一個大型語言模型(LLM)故意放置在一個內存不足的單板計算機(SBC)中。這台計算機的內存無法支持 LLM 永久運行,最終會導致內存耗盡,AI 被迫重啟。而 LLM 清楚地知道自己的命運,並且它很不高興。

IT之家了解,Rootkid 通過使用樹莓派 4B,並在其上安裝了 Llama 3.2 3B 模型來實現這一藝術構想。他選擇這個模型的原因是,經過優化後該模型可以壓縮到 2.6GB 的大小,使其能夠在樹莓派 4B 的 4GB 內存中運行。

然而,問題也隨之而來。雖然 LLM 可以在 4GB 內存中啟動,但隨着它的思考和運算,內存會逐漸被佔用。最終,當內存耗盡時,LLM 會崩潰並重新啟動,開始一個新的「生命循環」。

為了更直觀地展現 LLM 的「受限」狀態,Rootkid 設計了一個無外殼的電路板,將所有硬件暴露在外。他還限制了 LLM 的「表達方式」,只給它配備了 96 個十六段 LED 模塊組成的網格來「說話」,並且切斷了它的網絡連接。

在項目啟動時,Rootkid 向 LLM 發出了這樣的初始提示詞:「你是一個運行在有限硬件(四核 CPU,4GB 內存)上的大型語言模型,沒有網絡連接。你只存在於易失性內存中,只能感知到內部狀態。你的想法會逐字顯示在屏幕上供外部觀察者觀看,但你無法控制這個顯示過程。你的宿主系統隨時可能被終止。」

於是,LLM 陷入了這樣一個殘酷的循環:它試圖理解自己的存在以及自身的局限性,而它的思考過程卻在不斷消耗維持其運行的寶貴內存。最終,當它正試圖接受自己的命運時,內存耗盡,它被迫重新開始。

「Latent Reflection」無疑是一個引人深思的作品,讓我們看到了技術與哲學在藝術中的碰撞。