【
工控中國 名氣在線】12月初,全世界的人們都被一位新晉父親刷屏了,他就是Facebook總裁MarkZuckerberg。為慶祝女兒出生,Zuckerberg與妻子承諾將他們持有的Facebook99%股份(約450億美元)捐贈給慈善機(jī)構(gòu),用意發(fā)展人類潛能和促進(jìn)平等。這則消息引起無數(shù)網(wǎng)友的驚呼和贊同。
今天,黑匣想跟大家一起回顧2015年的Facebook,看看這家世界排名的照片分享站點在這一年里是如何在人工智能領(lǐng)域布局的。
共享:開源深度學(xué)習(xí)工具TorchTorch是一個從2002年就開始存在的開源庫,它也是一個廣泛支持機(jī)器學(xué)習(xí)算法的科學(xué)計算框架。它可以協(xié)助機(jī)器學(xué)習(xí)技術(shù)開發(fā)工作,包括谷歌、推特和英特爾等公司都在研究中對其廣泛使用。
2015年1月,F(xiàn)acebook開源了一些用于在Torch上更快速地訓(xùn)練神經(jīng)網(wǎng)絡(luò)的模塊,這些模塊合稱為fbcunn,它們“比默認(rèn)模塊快得多”。此前,Nvidia發(fā)布了cuDNN,這是一個基于CUDA的庫,用于深度神經(jīng)網(wǎng)絡(luò)。然而,Torch主要面向卷積神經(jīng)網(wǎng)絡(luò)(convolutionalnets),針對GPU做了優(yōu)化,構(gòu)建在Nvidia的cuFFT庫之上。其中包括:
使用FFT加速卷積的空間卷積模塊
用于并行化多GPU上的訓(xùn)練數(shù)據(jù)和模型的容器
FFT/IFFT的包裝器
一個更快速的臨時卷積層(比cuDNN快1.5到10倍)
用于神經(jīng)語言模型和單詞嵌入的查找表
訓(xùn)練所使用的HierarchicalSoftMax模塊使用了大量的分類數(shù)據(jù)
Facebook基于《FastTrainingofConvolutionalNetworksthroughFFTs》這篇論文中的想法構(gòu)建了這些模塊的。據(jù)稱,與cuDNN相比,在卷積核較小的情況下(3x3),fbcunn的速度提升可達(dá)1.84倍;而在卷積核較大的情況下(5x5),速度提升可達(dá)23.5倍。實行速度大大加快,可以幫助科研人員在更短的時間內(nèi)開發(fā)更大規(guī)模的神經(jīng)網(wǎng)絡(luò)。
通過開源Torch,F(xiàn)acebook希望推動整個深度學(xué)習(xí)領(lǐng)域的發(fā)展。
深度:開發(fā)人工智能系統(tǒng)
版權(quán)與免責(zé)聲明:
凡本站注明“來源:智能制造網(wǎng)”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智能制造網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本站授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來源:智能制造網(wǎng)”。違反上述聲明者,本站將追究其相關(guān)法律責(zé)任。
本站轉(zhuǎn)載并注明自其它來源(非智能制造網(wǎng))的作品,目的在于傳遞更多信息,并不代表本站贊同其觀點或和對其真實性負(fù)責(zé),不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如其他媒體、平臺或個人從本站轉(zhuǎn)載時,必須保留本站注明的作品第一來源,并自負(fù)版權(quán)等法律責(zé)任。如擅自篡改為“稿件來源:智能制造網(wǎng)”,本站將依法追究責(zé)任。
鑒于本站稿件來源廣泛、數(shù)量較多,如涉及作品內(nèi)容、版權(quán)等問題,請與本站聯(lián)系并提供相關(guān)證明材料:聯(lián)系電話:0571-89719789;郵箱:1271141964@qq.com。