現代人工智慧（AI）的運作核心大多仰賴乘法運算。從生成式回答到照片整理和歌曲推薦，神經網路執行著數百萬甚至數十億次的運算，將輸入資料與學習到的權重相乘。然而，德州大學奧斯汀分校的 Lizy K. John 教授認為，這項工作可能比實際所需更為繁重。
John 教授在過去五年中，致力於開發一種名為「無權重神經網路」（weightless neural networks）的模型。這些網路並非重複地將輸入與權重相乘，而是讓二元輸入通過相互連接的查表（lookup tables），這更像是查詢一系列預存的答案，而非反覆解決相同的算術問題。她表示，根據任務需求，這些網路在保持相似準確度的前提下，其大小可縮小至傳統模型的千分之一以下，或速度提升一千倍。
她的團隊目前的研究主要集中在小型且特定的問題上，例如醫療感測器、活動追蹤和關鍵字偵測。不過，她相信這種方法最終也能應用於更大的目標，包括當今聊天機器人背後的 Transformer 模型。
是什麼讓您最初放棄了權重？是否有某個特定時刻促使您轉向查表方法？Lizy K. John 回答：幾年前，一位朋友隨口邀請我參加一個每週會議，討論使用查表而非權重的技術，這項技術其實並不新穎。早在 1980 年代，英國就有人圍繞它開發出用於模式識別的商業產品，但後來就消失了。巴西里約熱內盧聯邦大學的幾位教授多年來一直默默地研究它，只有一個研究小組，所以這並不是一項廣泛的工作。
我的朋友知道我具備硬體實作經驗，所以他認為我可以協助將其付諸實現。我當時有一位學生，我覺得他非常適合承擔這項任務。他一直在研究脈衝神經網路（spiking neural networks），這是標準神經網路的另一種替代方案。對我而言，共同的重點是能源效率。我對 AI 消耗的巨大電力感到不安，因此我一直在尋找其他能以更少技術、更低功耗來實現 AI 的方法。
不到六個月，我們就成功讓它在 FPGA（一種現成的晶片）上運行。我們能夠創建一些非常小的神經網路，它們採用查表方法，可以安裝在微型晶片上，並且不需要 GPU 即可運行。我們實現的模型比其他人的小了 1,000 倍，這令人非常鼓舞。
為何現在是研究無權重神經網路的時機？John 教授表示：當你思考目前的 AI 模型時，它們所做的一切令人驚嘆。每次使用 ChatGPT，即使它有時會出錯，我仍然印象深刻。然而，當它生成句子中的下一個詞時，它需要執行數百萬甚至數十億次的乘法運算。
如果你問我一個問題，我並不會透過乘法來回答你。我會思考「是」、「否」、「我應該這樣說」、「我不應該那樣說」。而且，人類大腦在進行這些思考時，僅消耗約 20 瓦的能量。
當今大多數流行網路背後的模型，是基於 1943 年論文中的 McCulloch-Pitts 神經元模型。業界採用這個模型並將其擴展，使用數百萬甚至數十億個神經元，以實現其功能。但這並不意味著它就是必需的。這是我的基本想法：我們可能有更簡單的方法來得出相同的答案。
在查表的情況下，我們本質上是在查詢一個零或一個一，判斷是朝這個方向走還是不走。這不涉及 30 位元或 16 位元的權重。因此沒有乘法運算，而乘法正是消耗所有能量的原因，因為無論在硬體還是對人類心智而言，乘法都是一項昂貴的運算。我們小時候都曾努力學習乘法表，它確實是一項困難的運算！
到目前為止，你們已經展示了哪些成果？John 教授表示：在人類活動識別或醫療監測（如心電圖 ECG、腦電圖 EEG、血壓）等資料集中，無權重神經網路能以低 1,000 倍的能耗完成任務。現今許多智慧感測器的處理方式只是收集原始資料並傳送到伺服器或手機，因為電池供電的貼片無法進行處理。
我們的網路足夠小，可以直接安裝在感測器上。我們研究過的一個問題，其他最佳的小型 AI 模型大小為 17 MB，而我們的模型僅 14 KB，小了 1,000 多倍。這意味著無需每毫秒傳輸原始資料，既節省了能源，也保障了隱私，因為您的資料無需離開設備。
我們也在關鍵字偵測方面取得了進展，這類偵測是指設備在識別「Alexa」或喚醒詞之前進行的監聽。目前業界最佳模型每次推論需要超過 5,000 奈焦耳，而我們的模型根據不同變體，僅需 42 到 79 奈焦耳。
如果無權重架構明天就能普及，哪些領域會最先改變？是聊天機器人、自駕車還是手機？John 教授表示：我們的首要目標是醫療監測，例如像 OK 繃一樣簡單的貼片，貼在病人身上一週，醫生就能了解情況，而無需昂貴的連網設備。化學是我們正在研究的另一個領域。
學生進行實驗後，會緩慢地將資料傳輸出去進行離線處理，過程中可能會引入錯誤。我們希望將 AI 直接部署在實驗點上，這樣就能立即得到答案，就像將石蕊試紙浸入溶液中，立刻看到它變藍一樣。
它能幫助聊天機器人嗎？我們正在努力。Transformer 網路在注意力層（attention layer）和多層感知器（multilayer perceptron）之間反覆交替。我們已經替換了多層感知器部分，這大約佔了網路的一半。我們尚未替換注意力機制，但最終，語言模型確實是我們的目標。
新型晶片製造也帶來了一個有趣的視角。我們在塑膠、可彎曲的基板上構建了一個心律不整偵測器。這種基板只能容納大約 10,000 個邏輯閘，而現代 2 奈米或 5 奈米晶片則能容納數十億個。傳統神經網路無法在如此小的空間上運行，但我們的網路可以，因為它本身就小得多。這種基板的製造也更具永續性：它比標準晶片製造消耗更少的水。
為了讓這項技術運作，其餘的科技生態系統需要改變嗎？John 教授表示：不需要。資料可以與目前模型使用的資料相同，甚至我們可能需要更少的資料，這是一個優勢。目前訓練仍然在 GPU 上進行，只因為它們是現有最強大的電腦。我希望有朝一日我們可以在基於 FPGA 的硬體上進行訓練，因為 FPGA 內部已經內建了小型查表，因此它非常適合訓練和推論。在此之前，技術堆疊中的其他部分無需改變。
FPGA 使用查表已有 30 多年歷史，但它並非市場上的主要部分。人們更多地談論其他類型的處理器。最近 AI 領域有一些研究用查表取代了少數乘法運算，但那些傾向於使用一個大型查表，而不是像我們這樣許多小型查表相互連接。這並不常見。那些使用它的人都知道它很棒，只是尚未普及。以前沒有迫切的需求，但現在有了。
從事這項研究的人遠少於研究 Transformer 的人。原因何在？要如何才能改變這種情況？John 教授認為：我認為這是因為當某種方法有效，而且你負擔得起繼續這樣做時，就沒有足夠的理由去改變。到目前為止，我們只能證明它在小型問題（如感測器輸出）上取得成功。對於更大的問題，人們沒有信心它會奏效，因為它看起來太簡單，難以擴展。
每當我在會議或其他大學發表關於這項技術的演講時，任何專心聆聽的人都會印象深刻並想參與其中。但這只是零星吸引到的一小部分人。我希望我們能夠證明它在大型語言模型上也能運作，而這項成功或許能吸引更多人加入。這是一個證明其可行性的問題。我抱持著希望。