時(shí)間序列數(shù)據(jù)庫(kù)架構(gòu)課件

11/15/2018,#,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),2018/11/15,#,時(shí)間序列數(shù),據(jù)庫(kù)架構(gòu),技術(shù)創(chuàng),新,變革未來(lái),時(shí)序數(shù)據(jù)介紹,目錄,時(shí)序數(shù)據(jù)的存儲(chǔ)和分析,時(shí)序數(shù)據(jù)庫(kù),時(shí)序數(shù)據(jù)庫(kù)的改進(jìn),時(shí)序數(shù)據(jù)庫(kù)展望,目錄,時(shí)序數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景,面向分析的時(shí)序數(shù)據(jù)存儲(chǔ),時(shí)序數(shù)據(jù)庫(kù)的時(shí)序算法,時(shí)序數(shù)據(jù)庫(kù)的計(jì)算引擎,時(shí)序數(shù)據(jù)庫(kù)展望,時(shí)序數(shù)據(jù)就是在時(shí)間上,分,布的,一,系列,數(shù),值,例子：,股票價(jià)格,廣告數(shù)據(jù),氣溫變化,網(wǎng)站的,PV/UV,個(gè)人健康數(shù)據(jù),工業(yè)傳感器數(shù)據(jù),服務(wù)器系統(tǒng)監(jiān)控?cái)?shù)據(jù)，,比如,：,cpu,和內(nèi)存占用率,車(chē)聯(lián)網(wǎng),IoT,領(lǐng)域帶來(lái)了海量的時(shí)間序列數(shù)據(jù),成千上萬(wàn)的設(shè)備,數(shù)以百萬(wàn)計(jì)的傳感器,每秒產(chǎn)生百萬(wàn)條數(shù)據(jù),24x7全年無(wú)休,多維度查詢(xún),/,聚合,最新數(shù)據(jù)實(shí)時(shí)可查,IoT,中的時(shí)間序列數(shù)據(jù)處理,采樣,傳輸,存儲(chǔ),分析,IoT,領(lǐng)域中的時(shí)間序列數(shù)據(jù),時(shí)間序列數(shù)據(jù)的一個(gè)例子,單值模型,多值模型,時(shí)間序列數(shù)據(jù)的一個(gè),更,復(fù)雜,的,例子,現(xiàn)實(shí)世界的復(fù)雜之處：,未必是總是定時(shí)采樣,時(shí)間線(xiàn)可能高度發(fā)散,主鍵和,sche,m,a,修改,分布式系統(tǒng)和片鍵,數(shù)據(jù)類(lèi)型,需要對(duì)每個(gè)數(shù)據(jù)點(diǎn)的值做過(guò)濾,HiTSDB,存儲(chǔ)架構(gòu),過(guò)去,倒排索引,高壓縮比緩存,HiTSDB,存儲(chǔ)架構(gòu),優(yōu)勢(shì)和不足,優(yōu)勢(shì),倒排索引可以很,方,便,的,篩選,設(shè)備,高壓縮比緩存具,有,很,高,的寫(xiě),入和讀取能力,方便的時(shí)間切片,無(wú),schema，,靈,活,方,便,的,支持,各種數(shù)據(jù)模型,不足,在非定時(shí),采樣場(chǎng)景,下,可能導(dǎo),致,數(shù)據(jù)稀疏,值沒(méi)有索,引，因此,值,過(guò)濾只,能,線(xiàn)性過(guò)濾,schema,改,動(dòng)導(dǎo)致時(shí)間,線(xiàn),變,動(dòng),廣播,查,限,制,了,QPS,HiTSDB,存儲(chǔ)架構(gòu),演進(jìn),問(wèn)題應(yīng)對(duì)之道：,Adaptive,Schema,，,主鍵和片鍵,壓縮塊按照，引入,meta,index,，,記,錄每個(gè)壓縮塊的時(shí)間段,參考列存的思路，值索引到壓縮塊,多值索引和空間切分,時(shí)序數(shù)據(jù)加工和分析,降采樣和插值,降采樣算法,：min/max/avg,插值算法：補(bǔ)零,/,線(xiàn)性,/,貝塞爾曲線(xiàn),聚合計(jì)算,邏輯聚合：min/max,算術(shù)聚合,：sum/count/avg,統(tǒng) 計(jì)：,histogram/percentile/Standard,Deviation,時(shí)間軸計(jì)算,變化率,：rate,異常檢測(cè),定義問(wèn)題,固定兩個(gè)維度，只考慮一個(gè)維度的數(shù)據(jù),T:,only,consider,time,dim，,單一對(duì)象單一,metric（,即,單個(gè)時(shí)間序列,）：spikes,&,dips,、趨勢(shì),變,化、,范,圍,變,化,M:,only,consider,metric，,找,出,不,符,合,metric,之,間相互 關(guān)系的數(shù)據(jù),O:,only,consider,object，,找,出,與眾,不,同,的,對(duì)象,固定一個(gè)維度，只考慮兩個(gè)維度的數(shù)據(jù),MT：,固定對(duì)象，,考,慮,多,個(gè)時(shí),間,序,列,（,每,個(gè)對(duì),應(yīng),一個(gè),metric)，,并,找,出,其,相,互,變化,方,式,不,同的,作,為,異,常,MO,：不考慮時(shí)間,特,性,，,考慮,多,個(gè),對(duì),象且,每,個(gè),對(duì),象,都可以,用多個(gè),metric,表,示,，,如何,從,中,找,出,不,同的,對(duì),象,TO：,多個(gè)對(duì)象單,一,metric，,找,出變,化,趨,勢(shì),不同,的,對(duì)象,異常檢測(cè),面向問(wèn)題,內(nèi)置函數(shù),高壓縮比緩存直接作為窗口 緩存,對(duì)于滿(mǎn)足數(shù)據(jù)局部性的問(wèn)題,，直接在高壓縮比緩存上運(yùn) 行,結(jié)果直接寫(xiě)回,定時(shí)調(diào)度,vs,數(shù)據(jù)觸發(fā),外置計(jì)算,定時(shí)查詢(xún),vs,流式讀取,使用同樣的查詢(xún)語(yǔ)言執(zhí)行 查詢(xún)或定義數(shù)據(jù)源,數(shù)據(jù)庫(kù)內(nèi)置時(shí)間窗口,數(shù)據(jù)流的觸發(fā)機(jī)制,預(yù)計(jì)算,vs,后計(jì)算,數(shù)據(jù)存儲(chǔ)量低,查詢(xún)性能高,需要手工編寫(xiě),計(jì)算過(guò),程,新的計(jì)算無(wú)法,立即查,看,結(jié),果,靈活性差,不保存原始數(shù)據(jù),數(shù)據(jù)存儲(chǔ)量大,查,詢(xún),/,聚合性能,瓶,頸,任何查詢(xún)都可,以,隨,時(shí),獲,得,結(jié)果,使,用,DSL,進(jìn)行,查,詢(xún),靈活性好,保存原始數(shù)據(jù),混合架構(gòu),一點(diǎn)細(xì)節(jié),持續(xù)查詢(xún),異構(gòu)計(jì)算,展望,未來(lái)架構(gòu),存儲(chǔ)層,類(lèi)似,lambda,架,構(gòu),，,基于,一,系,列,不,可,修改,的,文件,針對(duì)不同的場(chǎng)景提,供,不,同,的存,儲(chǔ),格式,計(jì)算層,流式架構(gòu)，基于內(nèi),存,的,異,構(gòu)計(jì),算,，,自,動(dòng)填,充,熱,數(shù),據(jù),數(shù)據(jù)分片，支持高,QPS,讀取,索 引,全局的索引,vs,文件局部索引,大數(shù)據(jù),可以直接在大量的,文,件,上,跑,MR,，也,可,以,通,過(guò)高,壓縮,比,緩存以流的方式訂,閱,數(shù)據(jù),展望,時(shí)序數(shù)據(jù)平臺(tái),大數(shù)據(jù),SQ,L,生態(tài),邊緣融合,。