搜索
關于我們
ABOUT US
宏杉在線壓縮 從用戶業務出發的成本節約最優解

在線壓縮是指數據在寫入硬盤前先進行壓縮。當存儲設備開啟在線壓縮功能后,新數據寫入存儲控制器時,會先被存放在緩存中,然后進行數據壓縮計算,再將壓縮后的數據下刷至硬盤中。即,數據壓縮是在數據寫入硬盤前完成的,我們稱為在線壓縮。

我們經常會聽到數據重刪(宏杉在線全局重刪:實時重刪 數據無損)壓縮功能如何好,多么強大,但實際上重刪和壓縮是兩個不同的功能。雖然目的都是幫助用戶縮減數據容量,但各自有不同的精妙之處。

兩種不同壓縮算法 各有優劣

宏杉科技的數據壓縮功能可以支持LZ4與Deflate兩種不同的壓縮算法,用戶可以根據自己需求靈活選擇。兩種算法各有特點,但都屬于無損壓縮,用戶不用擔心壓縮時破壞數據,導致不可用的問題。

宏杉科技對算法的深入解讀以及大量的實踐測試發現,LZ4與Deflate相比,在系統資源上損耗更少,但數據的壓縮比更低。反之,Deflate的壓縮比更高,但是代價是會消耗更多的系統資源,二者各有優劣,可根據實際的業務場景酌情選擇。宏杉科技本著業務優先的原則,建議用戶采用LZ4算法,犧牲一部分壓縮比以保證性能。當然,對于不繁忙的業務系統也可以采用Deflate算法。

從業務出發 選擇數據壓縮切片粒度

與在線全局重刪功能相同,一段完整數據在寫入存儲設備時,需要先按照預先設定好的粒度將數據分割成等大小的數據塊,這個過程被稱為數據切片。在數據切片粒度方面,在線壓縮支持8KB、16KB、32KB、64KB四種大小供用戶選擇,用戶可以根據不同的業務需求指定。

需要注意的是,一旦有數據后,將無法帶數據修改數據切片粒度,如果想要調整數據切片的粒度,需要將數據遷移至其他數據卷后再進行。

在線全局重刪與在線壓縮之間可復合使用

宏杉全閃存陣列支持在線全局重刪與在線壓縮復合使用,可以針對數據卷分別開啟或同時開啟兩項功能,將數據縮減效果最大化。當二者同時開啟時,存儲設備會優先將寫入的數據進行在線全局重刪處理,完成后再進行在線壓縮處理,以上兩步操作均在數據寫入硬盤之前完成。具體流程如下: 

微信圖片_20191030163153.png

如果需要同時使用在線全局重刪功能和在線壓縮功能,二者的數據切片粒度要相同,使得二者可以更精確地匹配,提高數據縮減比率。數據寫入存儲設備時,先通過在線全局重刪功能進行數據切片,切片后的數據進行全局數據重刪比對。數據經過重刪后,完成了第一次“瘦身”,此時保留下的數據塊已經是全局唯一的數據切片了。因為在線全局重刪和在線壓縮的數據切片大小相同,在線壓縮功能將跳過數據切片處理,而是將重刪后全局唯一的數據切片進行數據壓縮,最終將壓縮后的數據寫入硬盤中。


在線全局重刪與在線壓縮是目前主流的數據縮減處理方式,可以幫助用戶在滿足業務需求的情況下,盡可能節約采購成本。將在線全局重刪與在線壓縮結合使用,可以最大化數據縮減比,充分保證用戶的利益,這也是宏杉科技多年來技術創新的初衷所在。

返回列表
澳门亚盘精髓