我們正降落到一片新大陸。深度學(xué)習(xí)帶來的這場重大技術(shù)革命,有可能顛覆過去20年互聯(lián)網(wǎng)對技術(shù)的認(rèn)知,實現(xiàn)技術(shù)體驗的跨越式發(fā)展。
那么,深度學(xué)習(xí)到底是什么?怎么理解它的重要性?
我們先從概念和現(xiàn)象入手。
我總結(jié)了一句話,學(xué)術(shù)上看未必嚴(yán)謹(jǐn),但從我的理解角度看——深度學(xué)習(xí)是基于多層神經(jīng)網(wǎng)絡(luò)的,海量數(shù)據(jù)為輸入的,規(guī)則自學(xué)習(xí)方法。
這里包含了幾個關(guān)鍵詞:
個關(guān)鍵詞叫多層神經(jīng)網(wǎng)絡(luò)。
深度學(xué)習(xí)所基于的多層神經(jīng)網(wǎng)絡(luò)并非新鮮事物,甚至在80年代被認(rèn)為沒前途。但近年來,科學(xué)家們對多層神經(jīng)網(wǎng)絡(luò)的不斷算法優(yōu)化,使它出現(xiàn)了突破性的進展。
以往很多算法是線性的。而這世界上大多數(shù)事情的特征是復(fù)雜非線性的。比如貓的圖像中,就包含了顏色、形態(tài)、五官、光線等各種信息。深度學(xué)習(xí)的關(guān)鍵就是通過多層非線性映射將這些因素成功分開。
那為什么要深呢?多層神經(jīng)網(wǎng)絡(luò)比淺層的好處在哪兒呢?
簡單說,就是可以減少參數(shù)。因為它重復(fù)利用中間層的計算單元。我們還是以認(rèn)貓為例好了。它可以學(xué)習(xí)貓的分層特征:底層從原始像素開始學(xué)習(xí),刻畫局部的邊緣和紋;中層把各種邊緣進行組合,描述不同類型的貓的器官;高層描述的是整個貓的全局特征。
它需要超強的計算能力,同時還不斷有海量數(shù)據(jù)的輸入。特別是在信息表示和特征設(shè)計方面,過去大量依賴人工,嚴(yán)重影響有效性和通用性。深度學(xué)習(xí)則徹底顛覆了“人造特征”的范式,開啟了數(shù)據(jù)驅(qū)動的“表示學(xué)習(xí)”范式——由數(shù)據(jù)自提取特征,計算機自己發(fā)現(xiàn)規(guī)則,進行自學(xué)習(xí)。
你可以理解為——過去,人們對經(jīng)驗的利用,靠人類自己完成。在深度學(xué)習(xí)呢?經(jīng)驗,以數(shù)據(jù)形式存在。因此,深度學(xué)習(xí),就是關(guān)于在計算機上從數(shù)據(jù)中產(chǎn)生模型的算法,即深度學(xué)習(xí)算法。
問題來了,幾年前講大數(shù)據(jù),以及各種算法,與深度學(xué)習(xí)有什么區(qū)別呢?
過去的算法模式,數(shù)學(xué)上叫線性,x和y的關(guān)系是對應(yīng)的,它是一種函數(shù)體現(xiàn)的映射。但這種算法在海量數(shù)據(jù)面前遇到了瓶頸。上的ImageNet圖像分類大賽,用傳統(tǒng)算法,識別錯誤率一直降不下去,上深度學(xué)習(xí)后,錯誤率大幅降低。在2010年,獲勝的系統(tǒng)只能正確標(biāo)記72%的圖片;到2012年,多倫多大學(xué)的GeoffHinton利用深度學(xué)習(xí)的新技術(shù),帶領(lǐng)團隊實現(xiàn)了85%的準(zhǔn)確率。2015年的ImageNet競賽上,一個深度學(xué)習(xí)系統(tǒng)以96%的準(zhǔn)確率次超過了人類(人類平均有95%的準(zhǔn)確率)。
計算機認(rèn)圖的能力,已經(jīng)超過了人。尤其圖像和語音等復(fù)雜應(yīng)用,深度學(xué)習(xí)技術(shù)取得了優(yōu)越的性能。為什么呢?其實就是思路的革新。