第319章 神經(jīng)網(wǎng)絡(luò)
就在林奇沉迷與遲疑于這位神孽以命運之力為他搭建的處理器的接口模塊時,他卻戛然發(fā)現(xiàn)腦海里同樣在動工的芯片走向了新的篇章。 迥異于他曾經(jīng)構(gòu)思的簡單cpu芯片模型,也并非最近才轉(zhuǎn)變思路的gpu芯片模型。 而是一種更為極端的芯片模型。 ai芯片。 眾所周知,芯片本身具有多種類型,以制程來分的話,微機與手機作為消費電子的關(guān)鍵,自然分配到的也是最好的消費級芯片,像每年各家手機廠商推出的最新款旗艦機,如果不搭配上最新的870880芯片,都絕對對不起這個稱號。 哪怕這里面有的芯片因為性能而發(fā)熱嚴(yán)重甚至成本巨大,但最新最強這個名頭,就是不能輕視之,不然消費者馬上在這一年教做人。 而這些芯片之外,剩下的還有不同種類的芯片,它們并不需要用到最為先進的5nm制程,它們甚至用單片機這些來控制即可,包括不限于arm,dsp這類,也就是總稱的mcu芯片。 它們的制程再高也就28nm級別,但卻是一筆龐大無比的消耗,諸如汽車便是這類芯片的消耗大頭,最簡單兩個車窗控制升降都需要,更別說自動輔助駕駛等復(fù)雜的功能模塊。 而ai芯片則是一種在異化之上,比gpu走得還要更加極端的芯片類型。 如果是gpu比起cpu而言,是需求更加多的alu單元(算術(shù)邏輯單元)。 那么ai芯片則是專門針對ai算法定制的專用芯片,所以執(zhí)行ai算法時能耗更低,效率更高。 林奇最初看著這位神孽以“創(chuàng)生圣言”激發(fā)他創(chuàng)造效率而萌生的“處理器”模塊,很快就發(fā)現(xiàn)它與尋常芯片結(jié)構(gòu)的不同之處。 像是自動駕駛這個類目,尋常的cpu處理器計算,則因為運算并非強項所以速度無法滿足需要,至于gpu芯片倒是滿足,但是它的成本過高與功耗都動輒超過了消費者承受范圍。 這時候,專門定制用來貼切這些應(yīng)用場景的ai芯片便應(yīng)運而生,像是谷歌早期訓(xùn)練阿爾法狗還用的顯卡芯片,后期便直接用自行研發(fā)的ai芯片來訓(xùn)練。 林奇這時才懵懵懂懂的想起來。 ai芯片之所以能夠勝出,便在于ai算法涉及到的太多卷積、殘差網(wǎng)絡(luò)、全連接類型計算。 而這些計算本質(zhì)上便是加法和乘法。 類似于林奇曾經(jīng)接觸到的那些法術(shù)模型的計算。 要知道,一個成熟些的ai算法,執(zhí)行一次它的話,動輒便等價于上萬億次加法乘法計算。 而先進些的cpu處理器,算上多核一秒鐘的計算次數(shù)也就幾百億次。 來處理上萬億次便有著時間差距。 可像是谷歌開發(fā)的tpu1,它一秒鐘的計算次數(shù),是接近100萬億次。 一秒鐘都把上萬億次計算的ai算法執(zhí)行了上百次了。 如果說gpu是專門從cpu中分離出去處理圖像計算,那么ai芯片則是專門分離處理ai算法計算。 這一切,都源自于深度學(xué)習(xí)對于神經(jīng)網(wǎng)絡(luò)算法的依賴! 偏偏。 此時的林奇看著這份硬是在自己腦海里建立起來的奇跡,已經(jīng)坑不出半句話來。 說多少,那都是多余。 法術(shù)模型本身涉及的便是最基本的加法乘法運算。 而林奇最初制定的方案,便是日后往人工智能轉(zhuǎn)型,卻沒想到,居然還在這兒被硬生生地抬了一個臺階。 此時他重新望著對面的神孽,對方滿意地看著林奇。 很顯然,林奇看懂了ai芯片的構(gòu)造,不會讓寶珠有蒙塵的一日。 “神經(jīng)網(wǎng)絡(luò)!” 神孽萌發(fā)出驚天的聲音,再度席卷林奇耳膜。 而他的腦海里,也戛然間重新組織起所有關(guān)于這個算法的一切資料,并且再度結(jié)合上因為知曉而回報的部分。 像某不可名之物,最初出來的時候,是cpu在挖,到如此都是專門定制的礦機,而這些礦機便是用的ai芯片。 acis(ai芯片)在計算領(lǐng)域,算是從cpu與gpu的大幕圍剿里殺了出來。 林奇撇了撇嘴。 法術(shù)。 魔法。 法術(shù)模型。 論怎樣的施法最可靠,自然是教會處理器自己來完成整套施法流程。 外在的pid處理整體秘能場參數(shù)問題,內(nèi)在的則是ai芯片處理法術(shù)模型的計算問題。 人。 根本就不應(yīng)該存在于這個環(huán)節(jié)里。 而讓芯片學(xué)會施展魔法只是第一步。 第二步是讓芯片學(xué)會抉擇! 人類的反應(yīng),已經(jīng)證明無法小于0.1秒,所以短跑認(rèn)為反應(yīng)速度超過這個就是搶跑。 然而面對瞬息萬變的法術(shù)戰(zhàn)斗,林奇如果想著1v1的單挑,那么靠他自己一個確實夠了。 可如果想著是成為法術(shù)戰(zhàn)里的萬人敵,那么他也更需要一套自動的法術(shù)應(yīng)答機制。 這也是無數(shù)法師需要事先針對接下來戰(zhàn)斗指定法術(shù)戰(zhàn)方案的原因,因為他的思維已經(jīng)無法支撐毫秒級響應(yīng)的戰(zhàn)斗,只能夠制定更為全面的計劃,然后將其嵌入本能之中。 既然他記憶宮殿內(nèi)部,有一枚即將誕生的ai芯片,那為何不一條路走到直,順勢把法術(shù)應(yīng)答也開發(fā)出來? 而這里就要繞回到最初的的問題。 機器處理1 1,那可以碾壓世間萬物。 但是機器要知道怎么選擇法術(shù),就需要經(jīng)過漫長路了! 光是一個自動駕駛,讓機器來取代人類進行駕駛,就耗費了無數(shù)廠家的心血,至今依舊在l2徘徊著。 什么是機器學(xué)習(xí)? 換個簡單的說法—— 人:1 1=? 機:5 人:1 2=? 機:7 人:3 2=? 機:10 無數(shù)次后…… 人:1 1=? 機:2。 所謂人工智能。 有多少人工,便有多少智能。 曾經(jīng)有人距離過一個芒果的例子。 比方要挑選芒果,卻又不知道什么樣子的芒果好吃,便需要先嘗遍所有芒果,然后總結(jié)了深黃色的好吃,此后再買自己選擇深黃色即可。 而機器學(xué)習(xí),便是讓機器先嘗一邊所有芒果,讓機器總結(jié)出一套規(guī)律。 這里的人,需要的便是描述給機器每一個芒果的特征,從顏色大小再到軟硬,最終讓它輸入好吃與否。 剩下的則等機器學(xué)習(xí)出一套規(guī)則,判斷“深黃色”芒果好吃。 這個學(xué)習(xí)過程,便是機器學(xué)習(xí),而神經(jīng)網(wǎng)絡(luò)便是最為熱門的機器學(xué)習(xí)法。 林奇重新秉心靜氣,走到記憶宮殿的書架之上,默默翻開最初的書籍。 進度跳的太快,讓他不得不趕緊加班加點鉆研起接下來的學(xué)識,他就像是一位油燒開了才剛開始翻菜譜的廚子。 情況雖然有些萬分火急,卻又冥冥中有著一種注定。 曾經(jīng)的阿爾法狗,利用的算法便是蒙特卡洛算法與神經(jīng)網(wǎng)絡(luò)算法,而神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)對于所有搞機器學(xué)習(xí)的都是繞不開的壁壘。 這也是林奇需要快速啃掉的知識點。 此時的他正坐于牢籠之中,內(nèi)心別無他物地在泥濘的地面上推演起來,絲毫沒有顧忌上面的污穢與沙土,仿佛這便是一副寬屏的黑板供他進行演算。 神經(jīng)網(wǎng)絡(luò),顧名思義來自人類的神經(jīng)元。 基本上經(jīng)過高中的生物學(xué)教學(xué)也大多能理解神經(jīng)元的原理,它中間是一個球形細(xì)胞體,一頭是細(xì)小而繁盛的神經(jīng)纖維分支,學(xué)名樹突。 另一頭是單獨一根長長的突起纖維,學(xué)名軸突。 神經(jīng)元的作用便是各個樹突接收到其他神經(jīng)元細(xì)胞發(fā)出的電化學(xué)信號刺激,這些脈沖相互疊加之后,一旦最終的強度達(dá)到臨界值,便會讓這個神經(jīng)元細(xì)胞啟動,隨后朝著軸突發(fā)送信號。 而軸突通過細(xì)胞膜內(nèi)外的納鉀離子交換讓膜電位發(fā)生變化,使得整個電信號不衰減地傳遞下去。 最終這些信號傳遞到其他的軸突與樹突,再激發(fā)他們產(chǎn)生信號,成為二級神經(jīng)元。 像人類的視覺系統(tǒng),便是通過1億3千萬光感受細(xì)胞接受光信號,在通過120萬節(jié)細(xì)胞軸突將信息從視網(wǎng)膜傳遞到大腦,形成了三維圖形。 而機器學(xué)習(xí),便是要教給計算機,怎么把它接受的輸入結(jié)果和我們想要的輸出結(jié)果關(guān)聯(lián)起來。 諸如看到一張圖片,它能夠理解這便是我們需要的數(shù)字1. 而這依賴的便是感知器,這也是名為神經(jīng)網(wǎng)絡(luò)的原因。 感知器,本身便是模擬神經(jīng)細(xì)胞,原先的生物學(xué)名詞都有了對應(yīng)的新名字—— 權(quán)量(突觸)、偏置(閾值)及激活函數(shù)(細(xì)胞體)。 機器無法理解一副圖片,但是它可以把圖片翻譯為“像素點陣”,然后這些點陣以0與1輸入。 林奇默默在地面上化了一個初中生熟悉的xy坐標(biāo)軸,同時在上面點出了(1,1)(-1,1)(-1,-1)(1,-1)這四個左邊,它們連接起來便是一個正方形,而這四個左邊分別坐落在四個象限。 機器學(xué)習(xí)需要的便是讓機器知曉諸如(2,2)這種應(yīng)該算作哪一個象限? 這便需要神經(jīng)網(wǎng)絡(luò)算法的“分類”作用。 這里輸入是一個(2,2)的坐標(biāo),它是一個1乘2的矩陣,這是輸入層。 設(shè)定50個神經(jīng)元,所以它便是一個1乘50的矩陣,這是隱藏層。 而結(jié)果1-4象限,則是一個1乘4的矩陣,這是輸出層。 根據(jù)線性代數(shù)的知識,可以知道矩陣之間是能夠溝通的,所以一個輸出層的1乘4矩陣可以用最初的1乘2輸入層矩陣表達(dá)。 這其中的cao作,便在于為這個矩陣運算添加激活層以及輸出正規(guī)化,再通過交叉熵?fù)p失來量化當(dāng)前網(wǎng)絡(luò)的優(yōu)劣,最后再進行參數(shù)優(yōu)化。 這個過程所需要的便是反復(fù)迭代。 重新走完這個過程后,林奇也不禁感慨地嘆息數(shù)分。 他還記得大學(xué)的畢業(yè)論文課題,當(dāng)時都是由各個導(dǎo)師根據(jù)自己的專業(yè)范圍制定題目,然后再由學(xué)生們報名選擇。 當(dāng)時林奇選的慢了,最后剩下的都是若干不好啃的“算法題”。 畢竟做算法,墓地就是優(yōu)化它的參數(shù),讓整個計算時間短一些,效果更精確,最終更優(yōu)化些,可是每年一代又一代的學(xué)生,早已把沙漠上明顯的寶石撿走了,剩下的方法也就研究生博士生的路子,自己圈一塊地,繼續(xù)往下深挖,想要靠著視野一眼就挑出鉆石,那根本是無稽之談。 而林奇最終思索數(shù)番,選擇的是一道遺傳算法做全局最優(yōu)的題目,結(jié)果當(dāng)時matlab早就有一整套成熟的工具包,林奇還是老老實實地自己編寫函數(shù),最終湊出一篇勉強的論文。 最終面對評審專家提問創(chuàng)新之處時,林奇也只能面前回答,他用的這幾個參數(shù)組合,未見與前人文章,這才勉強劃水過去。 而他那位選擇了神經(jīng)網(wǎng)絡(luò)算法的舍友,當(dāng)場被質(zhì)疑模擬數(shù)據(jù)造假,差點延畢。 后來為了幫助舍友,林奇當(dāng)時算是第一次接觸神經(jīng)網(wǎng)絡(luò)算法。 毋庸置疑,在神經(jīng)網(wǎng)絡(luò)算法里,秘能場參數(shù)便是“輸入矩陣”,法術(shù)模型結(jié)果便是“輸出矩陣”。 隨即,林奇在地面是書寫了一段文字—— 神經(jīng)網(wǎng)絡(luò)(nn)。 人工神經(jīng)網(wǎng)絡(luò)(ann)。 以大量的簡單計算單元(神經(jīng)元)構(gòu)成非線性系統(tǒng)。 一定程度上模擬大腦的信息處理、存儲和檢索等功能。 bp網(wǎng)絡(luò)的誤差反向后傳學(xué)習(xí)算法。 輸出后誤差來估計輸出層的直接前導(dǎo)層誤差,再以誤差更新前一層的誤差,如此反傳下去獲得所有其他各層的誤差估計。 …… 他一步一步地重新將整個神經(jīng)網(wǎng)絡(luò)的知識梳理一遍。 他相信,這也是對面那位神孽所等待的內(nèi)容。 這也是兩者之間的交換! 一種無須言說的默契。