在實驗室工作台上，康乃爾大學博士後研究員 Yifan He 將光學接收器的鏡頭放置在距離發出紅色光束的 LED 約一公尺處。連接到接收器的電腦螢幕稍作刷新後，顯示出一個類似 QR code 的方形陣列。
當您用手機相機掃描 QR code 時，光線撞擊影像感測器只是揭示黑白矩陣背後資料的第一步。這裡的接收器則有所不同：它直接利用光束陣列產生的光電流來改變自身的記憶體。與 QR code 背後可能指向簡單網址的資料不同，這種光學編碼可以傳達 AI 模型參數。這項上個月在 IEEE/JSAP VLSI 技術與電路研討會上發表的新接收器設計，旨在減輕 AI 系統日益增長的記憶體需求負擔。
研究人員表示，將資料直接照射到處理器上，可以降低資料中心、自駕車，甚至像 AI 機器人這類「邊緣」應用通常所需的能源。康乃爾大學電機與電腦工程副教授 Jae-sun Seo 指出：「人們正在設計各種不同的 AI 晶片。」這些處理器通常沒有足夠的空間容納構成 AI 模型的所有參數，因此額外資料會儲存在動態隨機存取記憶體（DRAM）中。
當系統擴展時，常用於在 DRAM 和處理器之間傳輸資料的電氣連接會產生成本和效率問題。「這是主要的瓶頸之一。」
光學連結以高頻寬傳輸資料，且能量損耗比金屬線少，但現今的光學接收器卻因為依賴耗電的類比電路將光轉換為電子位元而削弱了這項優勢。該團隊的新技術則能接收快速閃爍的數位 QR code 狀矩陣，讓晶片無需這些類比電路即可調整模型參數，實現更低能耗的全數位光學通訊。
IEEE 會士、密西根大學電機與電腦工程系主任 Dennis Sylvester 雖然未參與這項研究，但他表示：「這是一個非常重要的問題，具有巨大的商業影響。這個解決方案是處理它的巧妙方式。」
處理器內建了一些靜態隨機存取記憶體（SRAM），但不足以讓 AI 模型獨立運行。雖然 SRAM 是兩種記憶體選項中較快的一種，但 DRAM 可以在相同的佔用空間內儲存更多資料。
在新系統中，DRAM 與發射器位於一起，而接收器則是處理器 SRAM 的一部分。發射器將資料光束傳輸到 SRAM 單元陣列，這些單元經過修改後包含光電二極體。光線撞擊每個光電二極體會產生電流，從而翻轉 SRAM 中的二進位值。建立光線與接收器之間的連結需要校準，因為不能指望它們完美對齊或垂直於彼此。
He 表示，晶片會參考一個包含每個資料像素預期位置資訊的資料幀，並利用該參考來確保它能接收真實資料。Seo 補充說：「理想情況下，最好的方式是發射器和接收器之間有直接的點對點空間，但即使稍微傾斜，我們也有這個校準電路。」
研究人員表示，對於實際應用，他們需要建造一個每秒能改變光矩陣數百萬次、每秒傳輸數十億位元的發射器。我在 He 和 Seo 實驗室看到的發射器只是一個概念驗證，透過金屬遮罩發出一個靜態的 14x14 位元矩陣。研究人員表示，他們正與光學研究團隊合作，以建造一個能夠快速改變矩陣的發射器。
Sylvester 表示，由於個別感光位元單元比傳統晶片中的 SRAM 位元單元大，這項技術目前距離商業化可能還很遙遠。這些較大的單元意味著晶片能容納的記憶體較少，他認為這種權衡可能會抵消基於光學方法的額外效率。Seo 則表示，縮小位元單元是該團隊持續努力的一部分，可以透過優化電晶體和電路的尺寸以及利用 CMOS 微縮技術來實現。
Seo 和 He 正在研究這項技術在機器人和其他邊緣應用中的用途。例如，在由 AI 機器人驅動的倉庫和工廠中，光學資料傳輸可以在更新每個機器人的 AI 模型時節省時間和能源。此外，由於體積限制而記憶體受限的微型機器人，未來也可能從這項技術中受益，儘管這需要更注重尺寸的設計。
Sylvester 說：「邊緣 AI 是一個巨大的成長領域，在三、四年、五年內，你可能會像聽到資料中心一樣多地聽到邊緣 AI，因為智慧正越來越多地遷移到我們擁有的這些裝置中。」