【中國(guó)智能制造網(wǎng) 名家論壇】7月18日,"云用戶生態(tài)發(fā)展論壇暨第三屆中國(guó)云計(jì)算用戶大會(huì)"在北京國(guó)家會(huì)議中心召開。在下午的會(huì)議中，青云QingCloud系統(tǒng)工程師及大數(shù)據(jù)平臺(tái)負(fù)責(zé)人李威帶來(lái)主題為“大數(shù)據(jù)云平臺(tái)之佳實(shí)踐”的精彩演講，以下是他的演講實(shí)錄：　　李威：大家好，我是QingCloud青云的系統(tǒng)工程師李威。今天我講的這個(gè)話題可能技術(shù)性有點(diǎn)強(qiáng)，可能需要大家費(fèi)點(diǎn)腦子。分成幾大塊。，先說(shuō)一下云計(jì)算和大數(shù)據(jù)的關(guān)系。第二，在云上做大數(shù)據(jù)平臺(tái)有什么獨(dú)特的挑戰(zhàn)。第三，我們會(huì)講一下大數(shù)據(jù)平臺(tái)它有一個(gè)比較基本的，或者說(shuō)通用的一個(gè)系統(tǒng)架構(gòu)是什么樣子。后，分享一些我們自己的，包括和在客戶那兒的一些跟大數(shù)據(jù)相關(guān)的佳實(shí)踐。
　　
　　大數(shù)據(jù)的例子，我就不說(shuō)太多了，說(shuō)一些我們的一些企業(yè)客戶的。比如說(shuō)個(gè)是一個(gè)非常大型的一個(gè)跨國(guó)的一個(gè)互聯(lián)網(wǎng)社交企業(yè)。然后他們會(huì)用我們?cè)谠粕系拇髷?shù)據(jù)的一些平臺(tái)，包括一些具體的技術(shù)，會(huì)做比如用戶畫像。就是你在社交網(wǎng)絡(luò)里面，然后為什么推薦給你的朋友正好是你可能會(huì)認(rèn)識(shí)的，然后為什么推薦給你的信息可能就是你感興趣的。這個(gè)都是用戶畫像用大數(shù)據(jù)來(lái)做的。
　　
　　第二，像一個(gè)非常大型的互聯(lián)網(wǎng)的金融企業(yè)，它會(huì)用大數(shù)據(jù)做一些風(fēng)控分析。因?yàn)樵诨ヂ?lián)網(wǎng)金融，尤其是互聯(lián)網(wǎng)金融行業(yè)里面，它之所以可以和傳統(tǒng)金融PK，就是因?yàn)樗陲L(fēng)控這方面可以用大數(shù)據(jù)技術(shù)把風(fēng)險(xiǎn)控制的非常小。大家可以想一想，在P2P平臺(tái)上面，憑什么沒(méi)有像以前傳統(tǒng)銀行各種人來(lái)調(diào)查你，沒(méi)有什么抵押金，但是可以讓你用錢。包括政府部門海量信息檢索，比如它需要把全國(guó)的各種部門聯(lián)合起來(lái)，然后我需要有一個(gè)犯罪嫌疑人他有沒(méi)有可能在各個(gè)地方有一些其他數(shù)據(jù)，我可以搜索，可以挖掘，然后進(jìn)行一些分析。
　　
　　大數(shù)據(jù)很火，它跟云計(jì)算到底什么關(guān)系？其實(shí)我們認(rèn)為大數(shù)據(jù)現(xiàn)在大家可能覺得到什么地方都聽見大數(shù)據(jù)，其實(shí)很可能每個(gè)人說(shuō)的不一樣，也得人說(shuō)的是大數(shù)據(jù)平臺(tái)，有的人說(shuō)的是大數(shù)據(jù)的某個(gè)產(chǎn)品，有的人可能說(shuō)的是大數(shù)據(jù)的某個(gè)應(yīng)用，比如AlphaGo。
　　
　　尤其在企業(yè)里面，我們和客戶談的時(shí)候，客戶個(gè)比較想不明白的就是大數(shù)據(jù)的產(chǎn)品和技術(shù)太多了，而且每個(gè)場(chǎng)景都區(qū)別不是那么明顯。所以，在大數(shù)據(jù)這個(gè)技術(shù)里面，我們個(gè)要解決的就是到底怎么選擇大數(shù)據(jù)的解決方案，怎么為企業(yè)做大數(shù)據(jù)解決方案。但是，每個(gè)企業(yè)需求變化又特別大，或者有很多企業(yè)，就是傳統(tǒng)企業(yè)他們對(duì)大數(shù)據(jù)的需求不是非常明確，互聯(lián)網(wǎng)企業(yè)他們需求變化非?？?。按照傳統(tǒng)的比如建一套大數(shù)據(jù)平臺(tái)，可能花費(fèi)很多成本，時(shí)間成本、人力成本，包括金錢。但是云平臺(tái)，大家知道IaaS、PaaS、SaaS，后所有東西都變成服務(wù)器。你要構(gòu)建一個(gè)非常復(fù)雜方案的時(shí)候成本就低，因?yàn)槟阒恍枰凑辗?wù)構(gòu)建的方式來(lái)做，而且這樣非常靈活，如果你發(fā)現(xiàn)其中方案某一部分有問(wèn)題，你可以很快的替換掉，因?yàn)楹芏喽际瞧脚_(tái)上的服務(wù)。所以，它可以滿足你的業(yè)務(wù)不確定性的需求，包括業(yè)務(wù)彈性的需求。因?yàn)榇蠹抑垃F(xiàn)在變化太快了。
　　
　　第二，云計(jì)算給大數(shù)據(jù)帶來(lái)的好處是什么？比如它可以自動(dòng)化運(yùn)維，一些復(fù)雜系統(tǒng)的安裝、部署、監(jiān)控都不用你自己做，在界面上非?？斓木涂梢裕浅：?jiǎn)單就能做完。然后還有一些包括穩(wěn)定、性能，這個(gè)不多說(shuō)了，云計(jì)算的好處大家肯定知道特別多，說(shuō)幾個(gè)有意思的。
　　
　　比如，網(wǎng)絡(luò)和存儲(chǔ)，計(jì)算引擎的切換，這個(gè)比較有意思。也就是當(dāng)你的平臺(tái)足夠復(fù)雜，足夠大的時(shí)候，每塊部分都是一個(gè)服務(wù)器，每一塊變成一個(gè)服務(wù)器之后，可以非常靈活的替換掉它，把他換成別的產(chǎn)品實(shí)現(xiàn)，或者別的技術(shù)實(shí)現(xiàn)。后面就是ServiceOrchestration，就是比如你有一個(gè)界面，需要畫各種圖，或者工具也好，但是他們有一個(gè)非常致命的缺點(diǎn)，你畫的那個(gè)圖是不能執(zhí)行的，就是是不能部署，不能執(zhí)行的。ServiceOrchestration是給你一個(gè)大的拓?fù)鋱D，這也是青云今年年初發(fā)布的一個(gè)產(chǎn)品，叫做資源編排?？梢栽谠破脚_(tái)把一整套的架構(gòu)部署出來(lái)，這是云上他們這些帶來(lái)的一些好處。
　　
　　云上大數(shù)據(jù)平臺(tái)的挑戰(zhàn)。很多企業(yè)做大數(shù)據(jù)平臺(tái)在物理機(jī)上做，為什么沒(méi)有在云上做？因?yàn)樘魬?zhàn)非常多。，穩(wěn)定性的挑戰(zhàn)，比如高可用、災(zāi)備。第二，性能。一直被人垢病的，因?yàn)槟闶翘摂M機(jī)，肯定沒(méi)有網(wǎng)絡(luò)機(jī)的硬盤快。在青云個(gè)IaaS層的穩(wěn)定性已經(jīng)運(yùn)行好幾年了，沒(méi)有太多可說(shuō)的。垢病性能這一塊，我們?nèi)ツ曜隽塑浖x網(wǎng)絡(luò)的2.0，2.0出來(lái)之后，這個(gè)是為云計(jì)算，為大的IaaS平臺(tái)專門研發(fā)的一套SDN，可以做到點(diǎn)對(duì)點(diǎn)之間的網(wǎng)絡(luò)傳輸，可以達(dá)到物理網(wǎng)卡。第二，在硬盤這塊一直被垢病的，我們?nèi)萜骷夹g(shù)，可以把硬盤的技術(shù)降的非常低。第三個(gè)好處就是遷移，遷移技術(shù)非常好，因?yàn)楝F(xiàn)在已經(jīng)有一些比較成形的，比如關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)。
　　
　　我們說(shuō)解決這些挑戰(zhàn)之后，我們會(huì)有一個(gè)大數(shù)據(jù)的平臺(tái)系統(tǒng)架構(gòu)出來(lái)這個(gè)架構(gòu)其實(shí)都是一個(gè)非常通用的架構(gòu)。就是你可能在很多企業(yè)里面，不管京東、美團(tuán)、亞馬遜，可能看到的基本都是這樣的樣子。其實(shí)先從左開始看起，其實(shí)是一個(gè)數(shù)據(jù)的生命周期，就是數(shù)據(jù)從哪個(gè)地方收集，可能是日志，可能是傳感器，收集過(guò)來(lái)到中間的核心平臺(tái)，下面一層就是IaaS，青云所有PaaS層的服務(wù)都是基于IaaS做的，就是都是在云上面的。然后到個(gè)就是存儲(chǔ)。中間三個(gè)大塊，個(gè)叫實(shí)時(shí)計(jì)算，叫Storm，當(dāng)然Twitter現(xiàn)在出來(lái)的可能宣稱比Storm更強(qiáng)。第二，就是BatchProcessing，第三個(gè)就是BigSQL，包括像Kylim等。右邊就是你做所有平臺(tái)可能都會(huì)做的，包括它的數(shù)據(jù)管理、監(jiān)控、安全，包括用來(lái)做分布式的配置中心的一項(xiàng)東西。