光芯片，太強(qiáng)了

當(dāng)今最苛刻的機(jī)器學(xué)習(xí)應(yīng)用所采用的深度神經(jīng)網(wǎng)絡(luò)模型已經(jīng)變得如此龐大和復(fù)雜，突破了傳統(tǒng)電子計(jì)算硬件的極限。

子硬件可以利用光進(jìn)行機(jī)器學(xué)習(xí)計(jì)算，是一種速度更快、更節(jié)能的替代方案。但是，有些類型的神經(jīng)網(wǎng)絡(luò)計(jì)算光子設(shè)備無(wú)法執(zhí)行，需要使用片外電子設(shè)備或其他會(huì)影響速度和效率的技術(shù)。

經(jīng)過(guò)十年的研究，麻省理工學(xué)院等機(jī)構(gòu)的科學(xué)家開(kāi)發(fā)出了一種新型光子芯片，可以克服這些障礙。他們展示了一種完全集成的光子處理器，可以在芯片上以光學(xué)方式執(zhí)行深度神經(jīng)網(wǎng)絡(luò)的所有關(guān)鍵計(jì)算。

該研究發(fā)表在《自然光子學(xué)》雜志上。

該光學(xué)設(shè)備能夠在不到半納秒的時(shí)間內(nèi)完成機(jī)器學(xué)習(xí)分類任務(wù)的關(guān)鍵計(jì)算，同時(shí)實(shí)現(xiàn)超過(guò) 92% 的準(zhǔn)確率，其性能與傳統(tǒng)硬件相當(dāng)。

該芯片由形成光學(xué)神經(jīng)網(wǎng)絡(luò)的互連模塊組成，采用商業(yè)代工工藝制造，可實(shí)現(xiàn)該技術(shù)的擴(kuò)展并將其集成到電子產(chǎn)品中。

從長(zhǎng)遠(yuǎn)來(lái)看，光子處理器可以實(shí)現(xiàn)更快、更節(jié)能的深度學(xué)習(xí)，適用于激光雷達(dá)、天文學(xué)和粒子物理學(xué)的科學(xué)研究或高速電信等計(jì)算要求高的應(yīng)用。

“在很多情況下，重要的不僅僅是模型的表現(xiàn)如何，還有你能多快得到答案?，F(xiàn)在我們有了一個(gè)端到端系統(tǒng)，可以在納秒的時(shí)間尺度上運(yùn)行光學(xué)神經(jīng)網(wǎng)絡(luò)，我們可以開(kāi)始在更高的層次上思考應(yīng)用程序和算法，”電子研究實(shí)驗(yàn)室 (RLE) 量子光子學(xué)和人工智能組的客座科學(xué)家、NTT Research, Inc. 的博士后 Saumil Bandyopadhyay 說(shuō)道，他是新芯片論文的主要作者。

與 Bandyopadhyay 一起參與撰寫(xiě)論文的還有 Alexander Sludds 博士、資深作者、電氣工程與計(jì)算機(jī)科學(xué)系教授、量子光子學(xué)與人工智能組及 RLE 首席研究員 Dirk Englund 等人。

                     利用光進(jìn)行機(jī)器學(xué)習(xí)

深度神經(jīng)網(wǎng)絡(luò)由許多相互連接的節(jié)點(diǎn)層或神經(jīng)元組成，這些節(jié)點(diǎn)層或神經(jīng)元對(duì)輸入數(shù)據(jù)進(jìn)行操作以產(chǎn)生輸出。深度神經(jīng)網(wǎng)絡(luò)中的一個(gè)關(guān)鍵操作是使用線性代數(shù)進(jìn)行矩陣乘法，這會(huì)在數(shù)據(jù)從一層傳遞到另一層時(shí)對(duì)其進(jìn)行轉(zhuǎn)換。

但除了這些線性運(yùn)算之外，深度神經(jīng)網(wǎng)絡(luò)還執(zhí)行非線性運(yùn)算，幫助模型學(xué)習(xí)更復(fù)雜的模式。非線性運(yùn)算（如激活函數(shù)）使深度神經(jīng)網(wǎng)絡(luò)能夠解決復(fù)雜問(wèn)題。

2017 年，Englund 團(tuán)隊(duì)與 Marin Solja?i?（塞西爾和艾達(dá)格林物理學(xué)教授）實(shí)驗(yàn)室的研究人員合作，在單個(gè)光子芯片上展示了一種光學(xué)神經(jīng)網(wǎng)絡(luò)，可以用光進(jìn)行矩陣乘法。

但當(dāng)時(shí)該設(shè)備無(wú)法在芯片上進(jìn)行非線性運(yùn)算，必須將光學(xué)數(shù)據(jù)轉(zhuǎn)換成電信號(hào)，再送到數(shù)字處理器進(jìn)行非線性運(yùn)算。

“光學(xué)中的非線性非常具有挑戰(zhàn)性，因?yàn)楣庾又g并不容易相互作用。這使得觸發(fā)光學(xué)非線性非常耗電，因此構(gòu)建一個(gè)可擴(kuò)展的系統(tǒng)變得具有挑戰(zhàn)性，”Bandyopadhyay 解釋道。

他們通過(guò)設(shè)計(jì)一種稱為非線性光學(xué)功能單元（NOFU）的設(shè)備克服了這一挑戰(zhàn)，該設(shè)備結(jié)合電子學(xué)和光學(xué)技術(shù)在芯片上實(shí)現(xiàn)非線性操作。

研究人員利用三層執(zhí)行線性和非線性運(yùn)算的設(shè)備，在光子芯片上構(gòu)建了光學(xué)深度神經(jīng)網(wǎng)絡(luò)。

                    全面集成的網(wǎng)絡(luò)

首先，他們的系統(tǒng)將深度神經(jīng)網(wǎng)絡(luò)的參數(shù)編碼為光。然后，2017 年論文中演示的可編程分束器陣列對(duì)這些輸入執(zhí)行矩陣乘法。

隨后，數(shù)據(jù)傳送至可編程 NOFU，后者通過(guò)將少量光線吸入光電二極管（光電二極管將光信號(hào)轉(zhuǎn)換為電流）來(lái)實(shí)現(xiàn)非線性功能。這一過(guò)程無(wú)需外部放大器，而且消耗的能量極少。

“我們始終處于光學(xué)領(lǐng)域，直到最后我們想要讀出答案。這使我們能夠?qū)崿F(xiàn)超低延遲，”Bandyopadhyay 說(shuō)道。

實(shí)現(xiàn)如此低的延遲使他們能夠有效地在芯片上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，這一過(guò)程稱為原位訓(xùn)練，通常會(huì)消耗數(shù)字硬件中的大量能源。

他說(shuō)：“這對(duì)于在域內(nèi)處理光信號(hào)的系統(tǒng)（如導(dǎo)航或電信）尤其有用，而且對(duì)于想要實(shí)時(shí)學(xué)習(xí)的系統(tǒng)也很有用。”

該光子系統(tǒng)在訓(xùn)練測(cè)試中實(shí)現(xiàn)了超過(guò) 96% 的準(zhǔn)確率，在推理中實(shí)現(xiàn)了超過(guò) 92% 的準(zhǔn)確率，這與傳統(tǒng)硬件相當(dāng)。此外，該芯片在不到半納秒的時(shí)間內(nèi)完成關(guān)鍵計(jì)算。

恩格倫說(shuō)：“這項(xiàng)工作表明，計(jì)算（其本質(zhì)是輸入到輸出的映射）可以編譯到線性和非線性物理的新架構(gòu)上，從而實(shí)現(xiàn)從根本上不同的計(jì)算縮放定律與所需工作量。”

整個(gè)電路的制造采用了與生產(chǎn) CMOS 計(jì)算機(jī)芯片相同的基礎(chǔ)設(shè)施和代工工藝。這使得芯片能夠大規(guī)模生產(chǎn)，采用經(jīng)過(guò)驗(yàn)證的技術(shù)，在制造過(guò)程中幾乎不會(huì)出現(xiàn)任何錯(cuò)誤。

Bandyopadhyay 表示，擴(kuò)大設(shè)備規(guī)模并將其與攝像頭或電信系統(tǒng)等現(xiàn)實(shí)世界的電子設(shè)備集成將是未來(lái)工作的重點(diǎn)。此外，研究人員希望探索能夠利用光學(xué)優(yōu)勢(shì)的算法，以更快、更節(jié)能的方式訓(xùn)練系統(tǒng)。

文章來(lái)源：半導(dǎo)體行業(yè)觀察