可編程電阻器是模擬深度學(xué)習(xí)的關(guān)鍵構(gòu)件，就像晶體管是構(gòu)建數(shù)字處理器的核心元素一樣。通過在復(fù)雜的層中重復(fù)排列可編程電阻器，科學(xué)家可以創(chuàng)建一個模擬人造 “神經(jīng)元”和 “突觸 ”網(wǎng)絡(luò)，就像數(shù)字神經(jīng)網(wǎng)絡(luò)一樣執(zhí)行計算。然后這個網(wǎng)絡(luò)可以被訓(xùn)練來實現(xiàn)復(fù)雜的人工智能任務(wù)，如自然語言處理和圖像識別。

來自麻省理工學(xué)院的一個多學(xué)科研究小組著手挑戰(zhàn)他們之前開發(fā)的一種人類制造的模擬突觸的速度極限。他們在制造過程中采用了一種實用的無機材料，使他們的設(shè)備運行速度比以前的版本快100萬倍，這也比人腦中的突觸快約100萬倍。

此外，這種無機材料還使電阻的能效高得驚人。與他們早期版本的設(shè)備中使用的材料不同，新材料與硅制造技術(shù)兼容。這一變化使得在納米尺度上制造器件成為可能，并可能為整合到深度學(xué)習(xí)應(yīng)用的商業(yè)計算硬件中鋪平道路。

(資料圖片僅供參考)

高級作者、麻省理工學(xué)院電氣工程和計算機科學(xué)系（EECS）的唐納教授Jesús A. del Alamo說：“憑借這一關(guān)鍵見解，以及我們在MIT.nano擁有的非常強大的納米制造技術(shù)，我們已經(jīng)能夠把這些碎片放在一起，并證明這些設(shè)備本質(zhì)上是非?？斓?，并在合理的電壓下運行。這項工作確實把這些設(shè)備放在了一個點上，它們現(xiàn)在看起來真的很有希望在未來應(yīng)用。”

“該設(shè)備的工作機制是將最小的離子，即質(zhì)子，電化學(xué)地插入到絕緣氧化物中，以調(diào)節(jié)其電子傳導(dǎo)性。因為我們正在使用非常薄的設(shè)備，所以我們可以通過使用強電場來加速這個離子的運動，并將這些離子設(shè)備推向納秒級的操作制度，”資深作者、核科學(xué)與工程系和材料科學(xué)與工程系的Breene M. Kerr教授Bilge Yildiz解釋說。

高級作者、巴特爾能源聯(lián)盟核科學(xué)與工程系教授和材料科學(xué)與工程系教授Ju Li說：“生物細(xì)胞中的動作電位以毫秒的時間尺度上升和下降，因為大約0.1伏的電壓差受制于水的穩(wěn)定性。在這里，我們在一個特殊的納米級厚度的固體玻璃薄膜上施加高達10伏的電壓，該薄膜可以傳導(dǎo)質(zhì)子，而不會永久損壞它。而電場越強，離子設(shè)備就越快。”

這些可編程的電阻器極大地提高了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，同時極大地降低了進行這種訓(xùn)練的成本和能量。這可以幫助研究人員更快地開發(fā)深度學(xué)習(xí)模型，然后將其應(yīng)用于自動駕駛汽車、欺詐檢測或醫(yī)學(xué)圖像分析等用途。

“一旦你擁有一個模擬處理器，你將不再是在訓(xùn)練其他人正在研究的網(wǎng)絡(luò)。你將訓(xùn)練具有前所未有的復(fù)雜度的網(wǎng)絡(luò)，而這些網(wǎng)絡(luò)是其他人無法承擔(dān)的，因此大大超過了他們所有人。換句話說，這不是一輛更快的汽車，而是一艘航天器?！敝饕髡?、麻省理工學(xué)院博士后Murat Onen 補充說。

共同作者包括材料科學(xué)與工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。這項研究于7月28日發(fā)表在《科學(xué)》雜志上。

模擬深度學(xué)習(xí)比其數(shù)字同行更快、更節(jié)能，主要有兩個原因。“首先，計算是在內(nèi)存中進行的，所以巨大的數(shù)據(jù)負(fù)載不會從內(nèi)存中來回傳輸?shù)教幚砥髦小?quot;模擬處理器還可以并行地進行操作。如果矩陣大小擴大，模擬處理器不需要更多時間來完成新的操作，因為所有的計算都是同時進行的?！?/p>

麻省理工學(xué)院新的模擬處理器技術(shù)的關(guān)鍵元素被稱為質(zhì)子可編程電阻。這些電阻器以納米為單位，排列成一個陣列，就像一個棋盤。

在人腦中，學(xué)習(xí)的發(fā)生是由于神經(jīng)元之間連接的加強和減弱，稱為突觸。深度神經(jīng)網(wǎng)絡(luò)長期以來一直采用這種策略，即通過訓(xùn)練算法對網(wǎng)絡(luò)權(quán)重進行編程。在這個新的處理器的情況下，增加和減少質(zhì)子電阻的電導(dǎo)率可以實現(xiàn)模擬機器學(xué)習(xí)。

電導(dǎo)是由質(zhì)子的運動控制的。為了增加電導(dǎo)率，更多的質(zhì)子被推入電阻的一個通道，而為了減少電導(dǎo)率，質(zhì)子被取出來。這是用一種電解質(zhì)（類似于電池）來完成的，它可以傳導(dǎo)質(zhì)子，但阻止電子。

為了開發(fā)一種超快速和高能效的可編程質(zhì)子電阻，科學(xué)家們尋找了不同的電解質(zhì)材料。當(dāng)其他設(shè)備使用有機化合物時，Onen專注于無機的磷硅酸鹽玻璃（PSG）。

PSG基本上是二氧化硅，它是一種粉狀的干燥劑材料，在新家具包裝盒中的小袋子中發(fā)現(xiàn)，用于去除水分。它被研究為燃料電池在濕潤條件下的質(zhì)子導(dǎo)體。它也是用于硅加工的最著名的氧化物。為了制造PSG，在硅中加入極少量的磷，使其具有質(zhì)子傳導(dǎo)的特殊特性。

Onen假設(shè)，經(jīng)過優(yōu)化的PSG可以在室溫下具有很高的質(zhì)子傳導(dǎo)性，而不需要水，這將使它成為這種應(yīng)用的理想固體電解質(zhì)。他是對的。

PSG能夠?qū)崿F(xiàn)超快的質(zhì)子運動，因為它含有大量的納米級孔隙，其表面為質(zhì)子擴散提供了路徑。它還可以承受非常強大的脈沖電場。Onen解釋說，這一點很關(guān)鍵，因為向該設(shè)備施加更多的電壓能使質(zhì)子以驚人的速度移動。

“這個速度當(dāng)然令人驚訝。通常情況下，我們不會在設(shè)備上施加如此極端的電場，以避免將它們變成灰燼。但相反，質(zhì)子最終以巨大的速度在設(shè)備堆棧中穿梭，特別是與我們之前的速度相比，快了一百萬倍。由于質(zhì)子的體積小、質(zhì)量低，這種運動不會損害任何東西?！彼f：“這幾乎就像遠(yuǎn)距離傳輸?！?/p>

Li補充說：“納秒級的時間尺度意味著我們在如此極端的場下，接近質(zhì)子的彈道甚至量子隧道系統(tǒng)。”

由于質(zhì)子不會損壞材料，該電阻可以運行數(shù)百萬次而不發(fā)生故障。這種新的電解質(zhì)實現(xiàn)了可編程質(zhì)子電阻，比他們以前的設(shè)備快一百萬倍，并能在室溫下有效運行，這對于將其納入計算硬件非常重要。

由于PSG的絕緣性能，當(dāng)質(zhì)子移動時幾乎沒有電流通過該材料。Onen補充說，這使得該設(shè)備非常節(jié)能。del Alamo說，既然他們已經(jīng)證明了這些可編程電阻器的有效性，科學(xué)家們計劃重新設(shè)計它們以進行大批量的生產(chǎn)。然后，他們可以研究電阻器陣列的特性，并擴大其規(guī)模，以便將其嵌入系統(tǒng)中。

同時，他們計劃研究這些材料，以消除限制有效地將質(zhì)子轉(zhuǎn)移到電解質(zhì)、通過電解質(zhì)和從電解質(zhì)中轉(zhuǎn)移出來所需電壓的瓶頸。

“這些離子設(shè)備可以實現(xiàn)的另一個令人興奮的方向是高能效的硬件，以模擬神經(jīng)科學(xué)中推導(dǎo)出的神經(jīng)回路和突觸可塑性規(guī)則，超越模擬深度神經(jīng)網(wǎng)絡(luò)。”Yildiz補充說：“我們已經(jīng)開始了與神經(jīng)科學(xué)的這種合作，得到了麻省理工學(xué)院探索智能的支持。”

“我們的合作對于未來的創(chuàng)新將是至關(guān)重要的。前進的道路仍將是非常具有挑戰(zhàn)性的，但同時也是非常令人興奮的，” del Alamo說。

“嵌入反應(yīng)，如在鋰離子電池中發(fā)現(xiàn)的那些反應(yīng)，已經(jīng)被廣泛地探索用于存儲設(shè)備?！彼固垢４髮W(xué)材料科學(xué)與工程系副教授William Chueh說：“這項工作表明，基于質(zhì)子的存儲器件提供了令人印象深刻和令人驚訝的開關(guān)速度和持久性。它為一類新的存儲器件奠定了基礎(chǔ)，為深度學(xué)習(xí)算法提供動力。”他沒有參與這項研究。”

“這項工作表明，在生物啟發(fā)的電阻記憶裝置方面取得了重大突破。這些全固態(tài)質(zhì)子設(shè)備基于質(zhì)子的精致原子級控制，類似于生物突觸，但速率快了幾個數(shù)量級，”沒有參與這項工作的卡內(nèi)基梅隆大學(xué)泰迪和威爾頓-霍金斯特聘教授兼材料科學(xué)和工程系主任Elizabeth Dickey說?！拔屹潛P麻省理工學(xué)院的跨學(xué)科團隊的這一令人興奮的發(fā)展，它將使未來一代的計算設(shè)備成為可能?！?/p>