日日夜夜撸啊撸,欧美韩国日本,日本人配种xxxx视频,在线免播放器高清观看

云計算技術基礎大全11篇

時間:2023-08-29 16:35:20

緒論:寫作既是個人情感的抒發,也是對學術真理的探索,歡迎閱讀由發表云整理的11篇云計算技術基礎范文,希望它們能為您的寫作提供參考和啟發。

云計算技術基礎

篇(1)

引言

隨著網絡技術的不斷發展,云計算也不斷完善,不僅可以為計算機數據運行提供平臺,也能為計算機發展提供方向,因此,相關計算機技術人員要注重云計算技術,通過發展混合云計算、進行云計算遷移,能夠保證數據傳播的安全與穩定。

1云計算技術的內涵

云計算(cloudcomputing)是基于計算機技術的一種增加服務和使用交付模式的技術,主要為計算機運算提供虛擬化的動態鏈接資源。所謂的“云”是指一計算機互聯網的比喻方法。“云”由原來的比喻,逐漸轉變為計算機處理數據時的動態以及基礎設備的抽象化概念。由于云計算具有開放式運算特點,它能夠在每秒內進行15萬億次的運算,因此,擁有如此強大的數據計算能力的云計算,能夠模擬核爆炸、預測天氣變化和推測金融市場走勢。用戶端只需要通過電腦、筆記本電腦、手機就能夠接入數據中心,從而按自己所需,進行數據處理。現階段,接受最廣的云計算定義:云計算是一種按照數量來付費的數據處理模式,這種模式能夠為用戶端提供可靠的、具有針對性的網絡訪問權限。用戶端能夠接入可共享計算資源池,包括網絡資源、服務器資源等,這些資源可以被用戶端快速搜索出并被使用,從而只需非常簡單的操作,就可以和服務供應商交互。

2云計算技術在計算機數據處理過程中的應用

2.1保障數據傳輸提供安全

云安全(CloudSecurity)是一個云計算延伸的概念,主要是指用戶端在進行計算機數據處理的過程中,使用云計算,能夠保證數據信息安全。用戶端越多,每個使用者的數據就越安全,因為,用戶端群體增大,能夠覆蓋所有計算機互聯網數據角落,只要出現木馬病毒或者被病毒感染,云計算技術就可以及時截獲病毒,從而保證用戶端安全。云安全主要表現在以下三個方面。(1)安全問題。用戶端在進行數據傳輸的過程中,會遇到訪問權限,需要輸入正確的密碼,才能夠完成數據傳輸。這是云計算基于原有的安全方法不斷加密,從而使“輸入圖片中的數字”問題,變得更加深奧,避開一眼就能看出答案的問題,保證個人密碼安全。(2)雙重認證。用戶端在進行計算機技術傳輸過程中,還會遇到允許其他用戶訪問或者拒絕訪問的情況。在云計算中,除了用戶名和密碼外,還需要驗證碼。驗證碼一般是通過信息的形式發送到手機,同時,也有語音、圖片等驗證碼,通過這樣的方法,如果用戶端處于被訪問的狀態,能夠拒絕登錄,從而保障數據的安全性。(3)登錄地點。定位系統能夠顯示出用戶端的實際位置,這樣會導致信息安全問題,因此,云計算對登陸地點進行保護,用戶可以隱藏自己的位置,同時,云計算會提供郵件服務,顯示用戶賬號的異地登錄現象,保護數據信息安全。

2.2云計算可以為數據處理提供平臺

云計算技術主要包括兩個層次的服務:(1)IaaS基礎設施級服務。用戶者通過網絡能夠完善計算機基礎設施,包括存儲空間、網絡連接等基本計算資源,在此基礎上部署和運行各種軟件,包括操作系統和應用程序。現如今,主要的iaas平臺產品有華勝天成、OPENStack、Cloudstack等。(2)PaaS平臺級服務。PaaS平臺主要包括操作系統、編程語言的運行環境、數據庫和Web服務器,用戶在此平臺上部署和運行自己的應用,不能管理和控制底層的基礎設施,只能控制自己部署的應用[1]

3云計算技術在計算機數據處理中的發展策略

3.1保障云計算安全

隨著計算機技術的不斷發展,人們的信息數據安全意識也逐漸提高,更加注重在計算機數據傳輸過程中,云計算技術是否能夠發揮保護數據作用,因此,相關技術人員在進行云計算技術研發時,要注重云計算發揮安全保障作用,主要體現在以下兩個方面。(1)研發新的加密技術。加密技術是通過數學或物理手段,對數據在傳輸過程中和存儲體內進行保護,以防止泄漏的技術。加密技術具有一定的標準,技術人員在研發新的技術時,需要應用到數據加密標準,一次性將64位明文打亂順序,接著將把64位的明文分解成兩個32位塊,在用機密算法將每個32位塊打亂為16位,最后使用初始置換的逆置換。(2)安全協議。安全協議是通過一種建立在密碼基礎上的通信交互協議,運用密碼算法和邏輯,來實現密匙認證與分配。因此,技術人員在進行安全協議架設的時候,要注重熟悉加解、解密等密碼運算,從而能完成加密密鑰和解密密匙。

3.2研發混合云計算

混合云計算是指私有云計算和共有云計算二者混合運用。混合云計算能夠良好協調兩者,可以為企業、個人帶來融合應用體驗。混合云計算主要有資源自動化和提升硬件價值的優點。其中,資源自動化能夠在單一域中,使用自動化方法,來控制、管理計算機數據;而實現硬件的價值,主要是降低數據運行成本。例如,一家企業購買了數據采集和監控系統的硬件,當遷移至公共云計算時這些硬件投入就失去了價值。

3.3研發移動云服務

隨著移動端的普及,未來云計算技術發展趨勢一定是移動云服務。移動云服務能夠起到擴充移動端的能力,同時還可以增強多媒體、Web離線及本地數據存儲的能力。現如今,大部分移動設備都能夠用來信息傳遞、數據通信,因此,技術在研發移動云服務的時候,需要注重以下兩點。(1)實現Windows應用的無縫遷移。用戶端應用遷移到移動端會面臨著運行不暢的問題,影響用戶體驗,因此,技術人員要提高移動端數據傳送的流暢,降低開放應用數量和容量減材,從而確保計算機數據的傳送和安全。(2)基于信息系統進行開發。技術人員要保證移動云服務的數據安全,通過集中管理應用、完善用戶權限管理、對數據加密保護和多種登錄驗證,包括信息、語音驗證等。從而降低數據被盜用和被截取風險。

4結束語

云計算能夠促進計算機數據處理技術發展。在此基礎上,通過研發新的加密技術、架構安全協議,能夠防止技術泄漏、確定參與協議的主體標識,同時,通過“跨鏈通信”區塊鏈安全協議、混合云計算方法喚醒硬件設備,能夠擴充基礎設備容量、降低數據運行成本。

參考文獻

篇(2)

中圖分類號 TP3 文獻標識碼 A 文章編號 2095-6363(2017)08-0070-01

云計算技術融合了負載均衡、網絡存儲、效用計算和分布式計算等計算機網絡技術,具有擴展性、通用性、大規模、虛擬化等特點及可提供可靠、廉價的服務。云計算的服務包括IaaS(基礎設施即服務)、PaaS(平臺即服務)及SaaS(軟件即服務)3種模式。據艾瑞咨詢數據顯示,2016年中國企業云服務的市場規模或達520億,同比增長31.9%,且在未來幾年中,云服務市場仍會以超過30%的年復合增長率高速發展。在這一背景下,社會非常關注云安全的問題,具體涉及云端、應用服務層和基礎設施層的安全層次。針對這一問題,中國建立了BIM云計算中心、360、綠盟、啟明星辰、瑞星等公司制定了網絡安全解決辦法,并出現了阿里云、BIM云和百度云等,從而為云計算技術應用的安全性提供了重要保證。

1 網絡安全存儲的關鍵技術

1.1 身份認證

身份認證是保護計算機網絡存儲系統安全的第一道關口,其主要采用下列幾種技術方式:一是口令核對驗證,即在身份認證時,用戶僅需輸入事先建立的合法用戶名與口令,便可校驗用戶是非法的或是合法的;二是智能IC卡,即事先在智能IC卡中錄入用戶的合法信息,而在身份認證時,僅需輸入合法的用戶名與口令,便會由智能卡向認證服務器發送隨機數,以驗證用戶身份的合法性;三是Kerberos身份認證,即先利用授權服務器、資源訪問機制使用戶口令生成密鑰K,再經授權服務器提供的票證認證身份,并在獲得合法憑證后獲得相關服務;四是PKⅠ身份認證,即通過利用彼此匹配的密鑰,實現加、解密,并采用密鑰備份、更新與恢復機制,以提供計算機網絡安全服務。

1.2 數據加密

數據加密是先運用加密密鑰、加密算法使明文變為密文,再在解密時采用同樣的辦法使密文為明文。目前,數據加密技術的常用方法包括對稱、非對稱加密算法。其中,對稱加密算法使用的密鑰加、解密數據相同,詳見圖1。

結合圖1,對稱加密算法要求發送方、接收方知曉全部數據的加密密鑰或具有訪問權限,因此密鑰在傳遞與管理上的難度很高。不對稱加密算法的運用可有效彌補對稱加密算法的不足,即其會使用一對公、私鑰組合,且唯有私鑰能解密經公鑰加密的或公鑰能解密經私鑰加密的密文,其中公鑰對外公布,而私鑰由自己保存。

1.3 糾刪碼

在計算機網絡存儲系統中,可運用糾刪碼技術來應對誤碼信息位置的未知性、不確定性,且其要素包括分組碼、碼集、碼字、監督與信息碼元等。目前,常用的糾刪碼技術包括級聯低密度糾刪碼、無速率編碼和RS糾刪碼,從而實現了加速編、解碼及保證計算機網絡安全的目的。

2 云計算技術的應用

在計算機網絡安全存儲中,云計算技術的應用條件是規模化的分布式存儲技術,即其適合用在聲音、圖像、視頻和文檔等文件中,且可保證這些文件存儲的穩定性與可擴展性,同時要求用戶按需付費。在這一應用過程中,一般通過副本、編碼冗余存儲和備份數據,以保證云計算技術的安全應用。

2.1 可取回性證明算法

可取回性證明算法是一種基于“挑戰-響應-驗證”機制的算法,其運用冗余糾錯編碼,以幫助需求用戶驗證云計算中數據的狀態,即:在查詢數據時,先由用戶向云端發起挑戰,再由云端據此作出響應,而用戶通過驗證云端響應信息,便可確定歸檔數據是否處在安全狀態下。倘若驗證未能通過,表面歸檔文件受損,要求嘗試性恢復,而若破壞值處在閾值范圍內,則可用編碼冗余信息恢復原始數據,同時亦可利用副本冗余安全存儲保障,以使恢復錯誤數據的幾率更高。應用表明,可取回性證明算法可驗證云中數據的完整性,可準確定位錯誤數據及進行深入的分析與處理。但若在原始數據的冗余編碼中運用RS糾刪碼,會在一定閾值范圍內出現數據丟失或錯誤現象。為此,通過可運用冗余數據進行修復,并分開放置,以使提取歸檔文件的速率更高,從而使得系統應用功能的便捷性更高。

2.2 MC-R應用策略

在計算機網絡安全存儲中,云計算技術在應用中采用的MC-R策略包括:一是用戶端MC-R策略或用戶端MC加密算法,即:針對數據偽裝與隱藏能力較差的應用現狀,運用用戶端MC加密算法,可構建數據偽裝、隱藏和標記模塊,且這些模塊的協同狀態影響著云計算的安全應用;二是云端MC-R策略或云端RSA,即其僅加密核心隱私數據,以免云端RSA陷入大數據量消耗的狀態中,其中對于加、解密模塊,其應用流程如下:先由需求用戶生成、保存一組RSA公、私密鑰,再采用MC加密算法處理數據,并連同密鑰傳入云端,然后先云端加密數據,而在下載加密文件及用密鑰解密數據時,要求需求用戶的下載請求滿足一定的條件。對于恢復、利用初始數據的問題,可先用云端數據標記模塊尋找隱藏數據,再撤除偽裝。

3 結論

在本案,筆者結合云計算技術的理論知識,探討了其在計算機網絡安全存儲中的具體應用。研究表明,云計算技術具有性能高、可擴展性等優點,因此有助于保證網絡數據的隱私性與完整性,同時通過運用M-POR、MC-R安全存儲策略,可實現對網絡數據的完善、保護及實現部分數據的安全共享。總之,云計算作為一種新起的商業計算模型,其為下一代網絡計算平臺提供了可靠的數據存儲、優質的網絡服務。換而言之,為了適應互聯網的深入發展,在計算機網絡安全存儲中引入云計算技術及保證云計算的安全存儲具有現實意義,值得高度重視。

參考文獻

[1]張菁菁.新時期云計算環境下的計算機網絡安全技術研究[J].中國新通信,2016(4):44.

[2]袁玉珠.云計算模式下的計算機網絡安全儲存系統設計[J].電子技術與軟件工程,2016(7):227.

篇(3)

云計算技術具有規模大、虛擬化、可靠性強、高擴展性、按需付費且價格低廉、優越的事務處理環境等特點,可以根據用戶的不同需求對數據信息進行計算、備份和存儲,其服務模式主要包括三種,分別為基礎設施即服務、軟件即服務、平臺即服務。基礎設施即服務(Infrastructure-as-a-Service),主要是利用硬件設備和虛擬機設備等提供擴展,可以更好的發揮計算機的存儲作用。軟件即服務(Software-as-a-Service)為用戶提供虛擬桌面程序和軟件應用程序。平臺即服務(Platform-as-a-Service)就是根據用戶的需求開發Web服務。云服務商提供的這些服務在資金節約及數據安全性等方面具有很多優勢。

2造成計算機網絡安全存儲問題的因素分析

隨著網絡技術的發展,網絡中存儲著大量的信息,涉及到商業機密、個人機密信息等,關系著工作和生活的方方面面,因此,保障網絡數據的安全顯得尤為重要,但是技術的快速發展讓整個網絡環境變得十分復雜,很多因素都不利于網絡信息的安全存儲。第一,計算機系統的安全問題。計算機系統的安全問題主要變現在硬件問題和軟件問題兩個方面,其中,硬件系統的問題主要是硬件設備發生故障或者是人為原因對硬件設施進行破壞,軟件的問題主要是操作系統、數據庫等容易受到一些不法之徒與黑客的攻擊,他們為了獲得某些利益,通常會利用相關的技術變更用戶的訪問權限,嚴重破壞計算機系統的正常運行。第二,計算機網絡病毒。計算機網絡病毒的傳播主要通過文件下載、網頁植入、電子郵件等方式進行,通過采用計算機網絡病毒對系統進行蓄意攻擊,可以侵入他人的計算機網絡系統盜取信息,甚至還會通過不斷的復制和傳播,造成整體系統的癱瘓,破壞強度大,比如木馬程序,它隱藏性強,植入之后不會馬上爆發,不法之徒可以通過該程序遠程對計算機進行控制,給計算機網絡安全造成威脅。

3計算機網絡安全存儲中加強云計算技術運用的策略

3.1對存儲數據進行加密,提高安全保護系數

基于云計算技術提高網絡數據存儲安全性,可以應用加密技術,形成只有合法用戶才能知道的密文,提高數據存儲的安全系數。云計算環境的數據存儲安全技術主要包括密碼技術、加密算法體系。(1)密碼技術。密碼技術可以采用加密方式保護數據,數字證書鑒別身份,數字指紋及數字簽名、密碼技術驗證等,對計算機網絡安全存儲十分重要。加密方式保護數據主要通過密碼轉換的方式將明文變成只有數據合法使用者可以恢復的密文,對傳輸的數據和存儲的數據都可以進行加密。數字證書鑒別身份主要是通過標識網絡通訊雙方的身份信息確保數據的安全存儲。密碼技術驗證主要是在數據儲存過程中為了防止被篡改,將原始數據使用密碼技術運算之后生成消息驗證碼,將消息驗證碼與原始數據一起存儲,從而實現對數據的可靠性和準確性的驗證,主要應用在票據防偽中。(2)加密算法體系。為了提高數據存儲的安全性,還可以使用加密算法,包括對稱加密算法、非對稱加密算法、Hash算法、阿里云SSH密鑰對,其中對稱加密算法的加密和解密密鑰是可以相互推算的,只要知道密鑰就可以實現數據的解算。非對稱加密算法的通信雙方加密和解密所需要使用的密碼是不一樣的。阿里云SSH密鑰對由公鑰和私鑰組成,是一種用戶登錄認證方式,確保了計算機數據存儲的安全,但是該密鑰對僅支持Linux實例。(3)M-POR算法。M-POR算法在“挑戰—響應—驗證”機制中具有非常重要的作用,當用戶歸檔文件數據時,系統會自動將挑戰申請發送到云端,云端響應用戶申請之后,發送驗證信息,用戶通過驗證說明數據是安全的即可進行歸檔,如果未通過驗證,則代表歸檔文件已破損,需采進行恢復,可以采用編碼冗余信息實現文件數據的恢復,但是如果文檔數據破壞嚴重,超出了恢復的閾值需要進行數據深層分析。

3.2強化計算機網絡安全防護工作

除了數據加密之外,為了防止日常操作中計算機硬件系統損壞而造成的數據安全問題,可以應用災難備份與恢復技術和安全審計技術,幫助解決各種突發的數據安全問題,在短時間內完成各種數據的恢復,防止數據遺失。此外,還可以采用身份認證技術,提高數據存儲安全性。(1)災難備份與恢復技術。云計算環境中的災難備份與恢復技術主要為主機失效保護技術和數據的備份與恢復技術。主機失效保護技術主要包括主機集群技術,負載均衡技術和主機切換技術。主機集群技術主要是通過心跳線方式對業務系統主機的工作情況進行監聽,一旦發現問題,就會自動把業務轉換到災難恢復系統主機上來處理。負載均衡技術如果某臺主機在監聽中發現問題,其主機上的負載會自動分配到其它正常運行的主機上。主機切換技術根據預先設定的災難恢復預案,實現主機切換。數據備份和恢復技術主要包括異地保存技術、異地備份技術及遠程復制技術。異地保存技術將本地備份數據磁盤在其它主機進行重新安全和恢復。異地備份技術主要是借助數據備份軟件,對數據進行分級存儲、災難恢復和備份等。遠程復制技術經過對數據產生端與數據災難恢復端的網絡,保證兩端數據量、數據內容在每時每刻都能完全相同。(2)安全審計技術。安全審計的基本思路為基于數據倉庫技術、數據挖掘技術,在不同的網絡環境中監聽某個終端的運營情況,一旦發現問題立即按照相關的方式給被監控終端的管理者發出警告,或者是啟用故障恢復系統進行問題排查,追蹤和分析歷史數據記錄,確保網絡系統的運行安全及存儲的數據安全。(3)身份認證技術。身份認證技術通過口令核對身份驗證、智能IC卡身份認證、Kerberos身份認證以及PKI身份認證,確保用戶登錄的合法性。

3.3增強和完善云計算信息庫的防火墻功能

防火墻在整個計算機系統的運行中具有非常重要的作用,它是網絡安全的重要保護屏障之一,通過防火墻技術可以攔截各種惡意軟件和病毒的攻擊和入侵,但是隨著網絡入侵技術的不斷提升,需要對防護技術進行不斷升級,可以采用安全組。安全組是一種虛擬防火墻,由同一個地域內具有相同安全保護需求并相互信任的云服務器實例組成。安全組具備狀態檢測和數據包過濾功能,用于在云端劃分安全域。通過配置安全組規則,允許或禁止安全組內的云服務器實例對公網或私網的訪問。

3.4云安全服務的應用

除了數據加密之外,還可以采用云計算環境下的云安全服務提高數據存儲的安全性,一是,應用基礎安全服務。一是,云服務器中的基礎安全服務。該服務可以實現漏洞掃描、對異常登錄進行檢測,通過云安全中心或者是云服務器的控制臺可以隨著查看云服務器的安全狀態以確保存儲的數據安全。二是,DDoS基礎防護服務。通過該防護服務可以有效攔截對云服務器的惡意攻擊,保護云服務器的安全穩定運行,阿里云云盾默認為云服務器實例免費提供最大5Gbit/s惡意流量攻擊。三是,RAM訪問控制。只有具有RAM用戶權限策略才能對云服務器資源進行訪問,一定程度上保證了數據資源的安全性。

篇(4)

隨著物聯網、網絡、移動通信等的快速發展,特別是互聯網的普及使得信息傳播的規模和速度呈現幾何增長,人們獲取信息的途徑和方式開始變得異常豐富,人們事實上已經進入了“信息大爆炸”時代。與此同時信息傳播的大容量、高效性和準確性也對現有的數據處理體系提出了更高要求。根據大數據摩爾定律,人類世界的數據產生量將按照每兩年一倍的速率增長,預計2020年世界數據量將超過35億GB,“大數據”時代迫在眉睫。“大數據”具有離散型、隨機性、發散性、爆發性等特點。近年來,隨著云技術的興起全面革新了傳統的數據技術,大容量、多樣化、快速處理、信息價值性和準確性為了云技術背景下大數據處理的五大主要特征。如何利用云計算技術對大數據進行高效處理已經成為了信息技術發展亟待解決的關鍵問題。

1 大數據和云計算的關系

云計算技術是指利用集中式遠程計算資源池,通過按需分配的方式,為終端用戶提供強大而廉價的計算服務技術。云計算技術作為一種數據處理方式,其技術特點包括:一是資源池在物理上是對終端用戶完全透明的;二是能夠為任何行業提供規模化計算服務,其服務能力可看做是“無限”的;三是其應用部署快速便捷,服務能力和方式是可以完全按照終端客戶要求定制的,具有極強的彈性伸縮能力;四是云端數據獲取方便,能夠資源共享,用戶使用成本低廉。

云計算技術是目前最強大的數據存儲、傳輸和處理平臺,它是大數據處理的最優選擇。云計算能夠為大數據提供幾乎“無限”的存儲空間和處理能力,滿足其超大容量存儲和超級復雜的處理需求,也是傳統存儲方式無法實現的。云計算側重數據的計算處理,而大數據需要強大數據處理能力,因而它是云計算的處理對象。此外大數據所產生的業務需求也為云計算的實現提供了更多的形式。

2 基于云計算的大數據處理技術

2.1 大數據的采集技術

目前數據采集方式主要分為集中式和分布式兩大類。其中分布式的靈活性較強,而集中式的全局性較好。實際上大數據采集的對象通常包括組織內部和相互獨立組織間的各類數據,而云計算恰好具有并行處理的優勢,因而可采取混合式采集方式能夠更加有效地完成數據采集任務。即在各個組織內部采用集中式數據采集方式,通過在組織內配置中心服務器,作為集中式數據注冊機構,用于存儲和共享內部的數據。在相互獨立組織間,采用云計算的集群技術、虛擬化技術等在各獨立組織中心服務器間采用分布式采集方式實現數據采集、組織間對接和共享。大數據結構類型包括結構化、半結構和非結構化數據,因而在應用云計算技術進行分布式采集時,可依托其超強的擴展性和容錯力,將數據池內數據進行同構化,從而實現數據進行分類存儲。

2.2 大數據的存儲技術

由于超大體量、離散、復雜的數據特點,傳統數據存儲模式已經難以滿足大數據存儲要求。一方面單結點的數據倉庫在容量上難以滿足呈幾何增長的數據量,在運行效率上也難以滿足大數據的分析處理需求。另一方面傳統數據倉庫按行存儲模式,雖然可以實現大容量索引和視圖,但實際操作中其時間和空間過高。而云計算主要采取列式存儲模式,即區分數據不同屬性,不同屬性列都單獨存放。云計算中列式存儲的優勢在于在投影數據時只需查詢其屬性列,系統處理量和處理效率顯著提升。此外按數據屬性進行列式存儲,數據倉庫中相鄰列數據的相似性更高,因而能夠得到更高的數據壓縮率,進一步減少存儲所需空間。

2.3 大數據的挖掘技術

聯機分析能夠完成數據的復雜處理,得到直觀結果,實現決策性分析。云計算并行模式下聯機分析能夠基于數據全局,建立多維分析模型對數據進行多維度分析,從而盡可能獲得全面的分析結構。由此可見多維度分析是聯機分析的重要特征,而云計算技術下數據倉庫正好是通過多維數據組織的。

聯機分析對數據的處理僅僅只是表面的,其獲取的信息價值并不高,難以得到數據深層次的含義與內在關聯。而數據挖掘正是在聯機分析的基礎上,從超大體量的數據倉庫中提取數據所蘊含的隱性信息,并將這些信息用規律、概念或是模型等表現出來。基于云計算的數據挖掘主要采用分布式并行挖掘技術。與其他串行方式相比,云計算技術下并行數據挖掘能夠利用機器集群拆分分布式系統中的并行任務,并將拆分后的各個任務分別交由不同的機器去處理,從而實現大規模數據處理,其時間成本也大大降低。

2.4 大數據的可視化技術

上文所述數據挖掘可實現大數據的深層次、多維度分析,獲取更多有用信息。而云計算平臺下可視化技術則能夠將上述信息具體化,從而使數據及其有關結構的相關信息能夠更直觀地表現出來,更容易被發覺和理解。可視化技術是指在存儲空間中,將數據庫及其中數據以圖像(圖形)的形式表示出來,并在其中再采用其他的分析手段獲取圖像中所蘊含的未知信息。而原有的數據處理僅僅只能夠從數據本身入手,分析和觀察數據中的內在信息。云計算下的可視化技術不但能夠實現非空間數據的多維度圖像顯示,而且能夠實現檢索過程的直觀圖形顯示,從而幫助人們更好地挖掘和理解信息,信息檢索效率也大大提升。

3 結語

在數據爆炸時代,云計算的出現為大數據的存儲和處理提供了可能,也為數據處理系統的功能擴展提供了重要保障。以往的數據管理將收集和存儲作為重點,而在云計算模式下,大數據管理將更多地側重數據分析、挖掘及管理模式的創新。目前數據采集和統計技術已經較為成熟,利用云計算進一步豐富大數據的存儲和處理方式,實現更高層次的數據挖掘和可視化將是今后需要解決的問題之一。

參考文獻

[1]孟小峰,慈祥.大數據管理:概念,技術與挑戰[J].計算機研究與發展,2013,50(1):146+169.

[2]吳雪琴,基于云計算的大數據信息檢索技術研究[J].電腦知識與技術,2014,10(10):38-41.

篇(5)

Data Computation and Data Storage in Cloud Computing

DONG Yu , GUAN Qun

(College of Computer Science, Sichuan University, Chengdu 610065, China)

Abstract: With the continuous growth of the network bandwidth, the conditions are more mature that access non-local computing servic? es through the network, so there is a technology what we call "cloud computing".The cloud computing is a new application model for de? centralized computing which can provide reliable, customized and maximum number of users with minimum resource.With the constantly expanding and deepening of the cloud computing applications, it asks for higher demand, therefore, many researchers also strive to improve the cloud computing performance. The article explains the basic concepts of cloud computing. and on this basis, it also introduced the technology of data computation and data storage, it has a detailed description to the multi-user isolation mechanism, and finally to predict the development of cloud computing and its future.

Key words: cloud computing; data computation; data storage; isolation mechanism

云計算[1]是I T基礎設施的交付和使用模式,它指的是通過網絡以按需、易擴展的方式獲得所需的資源(硬件、平臺、軟件)。提供資源的網絡被稱為“云”。“云”中的資源在使用者看來是可以無限擴展的,并且可以隨時獲取,按需使用,隨時擴展,按使用付費。這種特性經常被稱為像水電一樣使用I T基礎設施。近年來,云計算的研究和應用發展非常快,主要原因是云計算具有如下優點:超大規模、虛擬化、高可靠性、通用性、高可擴展性、按需服務、極其廉價、安全、方便。

[1]朱近之.智慧的云計算[M].北京:電子工業出版社,2010.

[2] Dean J,Ghemawat S.MapReduce: Simplified Data Processing on Large Clusters[J].Communications of the ACM, 2008,51(1):107-113.

[3]李遠方,賈時銀,鄧世昆,等.基于樹結構的MapReduce模型[J].計算機技術與發展,2011,21(8 ):149-152.

[4]韓燕波,王桂玲,等.互聯網計算的原理與實踐[M].北京:科學出版社,2010.

[5] Sacha K. Middleware architecture with patterns and frameworks[Z].2007.

[6]王鵬.走進云計算[M].北京:人民郵電出版社,2009.

篇(6)

中圖分類號:TP393 文獻標識碼:A 文章編號:1009-3044(2015)13-0060-02

從現有的工作來看,云計算技術發展到了一個全新的階段,不僅為計算機的應用提供了更大的平臺,同時還能夠滿足較多的復雜運算,在實際的工作中,可將計算機作為一種資源,利用云計算技術輸入到網絡系統中,以此來獲得更多的計算資源,告別傳統的操作。在云計算技術發展和研究的過程中,安全問題是最大的阻礙。在此,本文主要對云計算技術安全問題及防控對策進行討論。

1云計算技術的安全問題

從客觀的角度來分析,任何一項技術在使用或者研究的過程中,都是存在安全問題的。但因為技術類別上的差異和具體服務的不同,技術上的安全問題程度也不同。云計算技術作為一種新計算技術,與網絡、電腦、日常辦公等相聯系比較緊密,此時若想更好的解決安全問題,首先應在多方面,明確云計算技術的安全問題都有哪些,了解這些問題可能會造成的影響。在此,本文主要對云計算技術的安全問題進行論述。

1) 客戶端信息安全

在現階段的工作中,云計算技術的應用比較廣泛。在技術上,云計算技術的運用基礎,主要是在網絡狀態下來完成的,并且保持相互獨立,各個終端在這種情況下連接到一起。當計算機的終端,與網絡云端相互連接的時候,各個獨立的終端,會在客觀上成為云計算的重要組成部分,這其中所包含的信息量是非常龐大的。所以,我們在運用或者是研究云計算技術的過程中,必須充分保證客戶端的信息安全。在總體的研究和運用中,這些信息并沒有一個針對性的隱私保護條例來維持,針對性的技術性措施也不是很多。倘若這些信息丟失,不僅會給用戶帶來極大的損失,也有可能對部分行業或者是產業造成傷害,其波及范圍比較廣泛。所以,我們在今后的云計算技術研究中,必須采取有效的手段,充分保障客戶端的信息安全。

2) 服務器端的信息安全

云計算技術雖然已經得到了廣泛的應用,但明顯沒有滿足所有群體的需求。網絡是現階段的重要工具,任何一項工作幾乎都可以通過網絡來完成。但是,比較先進的云計算技術在運用和研究中,其服務器端的信息安全,受到了較大的挑戰。綜合來講,目前出現的服務器端信息安全問題,還是在可控范圍內的。所以,采取針對性的措施,可以較好的解決。云計算技術當中,服務器端的信息安全問題,主要表現在以下幾個方面:第一,當用戶將自己的信息,交由他人進行云存儲或者是管理,很容易失去自身的控制權,從而造成較大的安全問題。第二,云計算技術,直接涉及到如何獲取用戶信任的問題。目前,各種網絡信息盜竊事件,給廣大的用戶造成了一定的恐慌。第三,云計算技術本身不是特別的健全,一旦出現服務器端的安全問題,勢必會造成固有問題的惡化。

3) 網絡虛假信息的干擾

網絡在發展的過程中,其速度是非常快的。在硬件設備的輔助和軟件技術提升的過程中,網絡已經涉及到了社會的各個部分。現今,虛假信息的干擾,造成了云計算技術安全問題的較大困擾。在云計算的網絡信息當中,充斥著大量的虛假信息、網絡地址等等,這些都是造成云計算技術安全問題的重要因素。從本質上來講,我們在研究和應用云計算技術的過程中,并沒有對源代碼或者是網絡源地址的安全性進行篩查,只是在出現安全問題后,被動的做出一些防護措施,而且主要是集中在用戶的主觀態度上,技術上的內容并不是很多。所以,網絡虛假信息對云計算安全的干擾,是非常嚴重的,日后必須采取有效的手段予以處理。

2 云計算技術的防控對策

云計算技術在長久的研究中,已經成為了網絡和計算機不可分割的一個重要組成部分,今后必須對其深入研究。云計算技術所反映出來的安全問題,正是技術上的不足,也是日后需要努力研究的方向。解決云計算技術安全問題的過程中,不僅要加強預防工作,還必須強化控制工作,在多個方面來完成云計算技術的長久發展,與其他技術聯合應用,實現云計算技術的體系深化和內容豐富。在此,本文主要對云計算技術的防控對策進行論述。

1) 選擇信譽度高的云服務供應商

云計算技術的發展,帶動相關產業進步。云服務供應商看中這一商機,紛紛打著云計算技術的旗號,開始投放市場。但是,部分云服務的供應商,其技術本身只有一個雛形,并不能應對較多的問題,也滿足不了較多的需求,但對于用戶來講,他們所了解的內容有限。所以,我們將云計算技術應用的過程中,必須告誡用戶選擇信譽度較高的云服務供應商。首先,云服務供應商,對于云計算安全而言,具有主要的責任。一般來講,信譽度較高的云服務供應商,其自身的數據安全維護手段和措施,也是比較健全的,能夠較好的維護用戶的利益。其次,信譽度較高的云服務供應商,會在各個領域中選擇針對性的映射手段,促使云服務在實際的運行中,可以實現整體和局部的有效配合,為用戶提供較多的服務,不會造成太多的安全問題。第三,現階段,部分信譽度較高的云服務供應商,會在出現安全問題后,采用追查手段,徹底解決源頭的安全問題。

2) 采用加密技術,保證數據信息的傳輸安全

云計算技術在應用和研究,要想從客觀上更好的解決安全問題,單純憑借上述的措施,是無法達到的。我們在現實工作中,還要選擇一些有效的加密技術,實現數據和信息的傳輸安全。就現階段的情況來看,加密技術的應用,主要是在客戶端與云計算服務供應商之間進行傳輸的加密,保證數據和信息不會被竊取,實現較強的安全性。綜合來講,在一些信譽度教高的云服務供應商都會在數據加密這一方面采取相應的措施。例如,可以運用True Crypt、PGP 等計算機軟件程序,對用戶的文件進行加密,而這種加密的方法可以使用密碼,這就可以實現客戶端與供應商對加密文件的讀取。另外,在數據加密中,可以根據信息數據的安全級別,設置不同的信息數據安全訪問級別。所以,在信息數據傳輸的過程中,通過信息數據加密技術,能夠有效防止信內容的泄漏,保證用戶的信息安全。

3) 數據的備份與恢復

云計算技術在問世后,受到了很多用戶的廣泛歡迎。原因在于,其能夠實現較多的功能,且在數據方面的處理工作相當出色。但是,在長久的應用后,發現云計算技術還是有很多的瑕疵,雖然沒有造成極大的負面影響,但其造成的安全問題不容忽視。云計算技術在實際的應用中,數據的備份和恢復,也是需要特別注意的。現今,虛擬的網絡環境不斷擴大,并且對實際造成的影響也是不容忽視的。當用戶操作使用云計算技術的時候,由于操作步驟不夠規范,或者是其他因素的影響,則容易導致計算機的信息數據出現丟失的情況,這將給用戶帶來很大的損失。因此,云計算技術必須要具有自定義數據恢復功能,并對數據進行備份,保證數據信息的完備性。而在云計算的虛擬環境中,信息數據的存儲重要是以離散的方式進行文件的存放,相對與傳統的災難恢復,云計算的災難恢復更加簡單,恢復所需要的時間也更加短暫。所以,在云計算環境中,積極對信息數據進行定時備份和定期備份,可以有效保證信息數據的安全。即使信息數據發生丟失的問題,也可以通過數據的恢復迅速找回,讓用戶能夠正常得使用信息數據。

4)采用虛擬技術進行隔離

通過深入的研究和努力,云計算技術的安全問題,得到了有效的處理,并且很多問題都沒有反復發生,具體的工作效果還是值得肯定的。通過上述三項工作的努力,已經初步建立了云計算技術安全防控的良性循環,倘若能夠融入虛擬技術的隔離措施,將會進一步提高安全問題的防控水平。云計算多數情況是針對虛擬的網絡和數據來完成的,通過采用虛擬隔離技術,能夠更好的隔離影響安全問題的因素,不僅實現了較強的預防作用,還在安全問題的控制上,做到了較高的水準。例如,在云計算系統的環境下,物理隔離的方式很難對信息數據的安全起到實質性的作用。所以要積極采用虛擬技術,設置邏輯安全邊界。用戶在裝置云計算虛擬服務器的過程中,要為每一臺虛擬服務器分配一個獨立的硬盤分區,從邏輯上對各個虛擬服務器進行隔離。另外,虛擬服務器系統還可以通過安裝防火墻、殺毒軟件以及數據恢復軟件等,構建一個多層次的安全防控體系,保障云計算的信息安全。

3 總結

本文對云計算技術安全問題以及防控對策進行討論,在現階段的工作中,云計算技術的安全問題數量逐步減少,防控對策逐步增多,基本上沒有集中在傳統的防控對策上,很多工作都是按照現實情況變化而變化的,因此做到了有效的防控。另一方面,云計算技術安全問題的研究,還是需要更加深入,需保證細節問題的有效處理,控制好大環境的影響,不要造成安全隱患。相信在今后的工作中,云計算技術的安全問題將得到徹底解決,而防控對策也將會逐步健全。

參考文獻:

[1]王少輝,印后杰.云計算環境下個人信息保護問題的思考[J].電子政務,2014(2):2-9.

[2]陸阿妮,管永權.云計算ERP的安全問題及對策初探[J].江蘇經貿職業技術學院學報,2014(4):55-58.

[3]陳鵬.物聯網RFID技術與云計算數據傳輸的安全性分析[J].物聯網技術,2014(7):91-92.

[4]高樹華.煤炭企業云計算技術的安全風險探析[J].電子制作,2014(12):132-133.

[5]張立永.云計算網絡環境下的信息安全問題研究[J].中國高新技術企業,2015(3):14-15.

篇(7)

中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2012)18-4360-03

云計算是近年來出現的一個熱門概念,也是未來互聯網發展的方向。從狹義上看,云計算是一種動態的、易擴展的且通常是通過互聯網提供虛擬化資源的計算方式。從廣義上看,云計算是一種以互聯網為中心的面向應用的服務,用戶不需要了解云內部的細節.也不必具有云內部的專業知識或直接控制基礎設施,便能使用的相關資源。云計算包括基礎設施即服務(Infrastructure as a Service,簡稱IaaS),平臺即服務(Platform as a Service,簡稱PaaS)和軟件即服務(Software as a Service,簡稱SaaS)以及其他依賴于互聯網滿足客戶計算需求的服務類型。云計算服務通常提供通用的通過瀏覽器訪問的在線商業應用,軟件和數據則存儲在服務器上。

圖1云計算的組成

2.1基礎設施

云基礎設施,即IaaS。是計算機基礎設施,通常是虛擬化的平臺環境。作為一項服務,具體應用例如:Sun公司的Sun網格、亞馬遜的彈性計算云。它通過將服務器端強大的計算能力單位化,來為個人用戶提供PC機無法實現的海量數據計算服務。

2.2存儲

云存儲涉及提供數據存儲作為一項服務,包括類似數據庫的服務,通常以使用的存儲量為結算基礎。它既可以交付作為云計算服務,又可以交付給單獨的數據存儲服務,具體應用包括亞馬遜簡單存儲服務和Google的BigTable服務。通過云存儲,由云端為用戶提供數據的備份和安全性保障,用戶可以在任何地點任何時刻進行數據的存儲和讀取操作。

2.3平臺

云平臺,即PaaS,直接提供計算平臺和解決方案作為服務.以方便應用程序部署和開發,從而節省購買和管理底層硬件和軟件的成本。比如Google的應用程序引擎(Google AppEngine)可以讓開發人員編譯基于Python的應用程序,并免費使用谷歌的基礎設施來進行托管。這種在云端的開發平臺為編程人員提供了快速開發網絡應用程序的途徑,同時免去了繁瑣的服務器搭建、維護等工作。

圖3GFS架構

3.3分布式計算

由于云計算系統中的計算單元分布在不同的地理區域,為了有效的利用這巨大的運算能力,傳統的編程方式已不適用,而要采用分布式計算模型。當前Map/Reduce模型在云計算系統中的使用最為廣泛。

Map/Reduce是一種編程模型,用于大規模數據集(大于1TB)的并行運算。概念“Map(映射)”和“Reduce(化簡)”,以及它們的主要思想,都源自函數式編程語言和矢量編程語言。Map/Reduce為編程人員進行分布式并行編程提供了一個框架,使得自己的程序可以方便的運行在分布式系統上。

Map/Reduce編程的實現是指定一個Map(映射)函數,用來把一組鍵值對映射成一組新的鍵值對,指定并發的Reduce(化簡)函數,用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

簡單說來,一個映射函數就是對一些獨立元素組成的概念上的列表(例如,一個測試成績的列表的每一個元素)進行指定的操作(例如,如果發現所有學生的成績都被高估了一分,就可以定義一個“減一”的映射函數,用來修正這個錯誤)。事實上,每個元素都是被獨立操作的,而原始列表沒有被更改,因為這里創建了一個新的列表來保存新的答案。這就是說,Map操作是可以高度并行的,這對高性能要求的應用以及并行計算領域的需求非常有用。

篇(8)

中圖分類號:TP393 文獻標識碼:A 文章編號:1674-7712 (2013) 10-0093-01

云計算是一種非常具有應用前景的綜合性計算機技術,該技術以互聯網為平臺,可以按照用戶的使用需求方便快捷的為用戶提供所需的數據處理性能和信息存儲空間,使得用戶可以隨時隨地享受高速高效的信息服務。目前,云計算無論在商用還是在個人用戶服務方面還處于初級階段,其所具有的功能和優勢還沒有得到充分的發揮和利用。但是可預見的未來,云計算以及基于云計算所構建的生態系統必將使用戶的信息管理模式發生極大的改變。本文以云存儲生態系統為例對云生態構成、運行、維護等多方面內容進行討論。

一、基于云計算技術的生態系統概述

按照對象對云生態系統進行內容分類可以將其分為生產者和消費者兩類。兩者的關系如下圖1所示。

圖1 云計算生態系統模型

云生態系統中生產者為用戶提供統一、安全、可靠、經濟的信息共享、軟件應用以及信息處理平臺,用戶通過云平臺對自身資源進行管理,進而實現消費者與生產者的互利共贏。

二、云計算生態系統運行機制

為保障云計算生態系統持續性處于健康穩定的狀態,在其運行中必須按照實際要求制定和采取必要的運行機制與維護機制,利用該機制約束云系統平臺下各成員的行為,促進云計算生態系統平衡、穩定發展。具體來說,云計算生態系統的運行機制主要由以下幾部分內容構成:用戶需求考察、系統應用規劃、云平臺監控與調度管理、云平臺優化與維護等。

其中,用戶需求考察是云計算生態系統建立的基礎,直接決定了是否可以構建生態系統、如何確定宣傳與實施方案等內容。系統應用規劃則是用于增強系統構建和部署的科學性與可控性,便于使云系統得到更好更充分的利用。云平臺監控與調度管理則是按照使用需求和管理需求對云生態系統進行實時監控和統計,根據監控內容制定或采取適當的調度和運行策略,保證系統的服務質量和用戶的使用體驗。云平臺優化與維護則是定期對云生態系統進行維護和更新,以增強生態系統的魯棒性和可持續性。

三、云存儲生態系統的構建

(一)構建方案

基于云技術的生態系統涉及多個子系統和多種資源信息,是一種綜合性的、多方面的系統平臺,可以為用戶提供多種類服務。當今信息社會中,企業各種活動的核心與支撐就是數據信息,對應云計算生態系統中即為云存儲生態子系統。實際應用中,云存儲生態系統以虛擬技術為核心,將用戶在云端存儲的數據信息以遠程桌面的方式呈獻給用戶,并按照用戶要求進行存放和管理。

完整的云存儲生態系統由云存儲設備生產商、集成商、商以及使用用戶等構成,每一對象負責云生態系統中的某一具體內容,如此便可以組成一個高效可用的云存儲生態系統。除此之外,為進一步保證云存儲生態系統中數據的可靠性與有效性,系統中還需要集成諸如身份認證、數據加密、數據管理等數據安全服務。

(二)主要功能

由圖1可以看出,云存儲生態系統中包含物質流、能量流、信息流、資金流等內容和服務。其中:(1)物質流主要是指云存儲生態系統的硬件部署,即用戶可以非常方便的獲取存儲空間,避免了傳統系統應用中的硬件設備購置;(2)能量流主要是指云存儲生態系統在遠程云端為協助用戶完成數據的管理與應用,為用戶節省系統運行所消耗的能量;(3)信息流主要是指用戶除了可以應用云存儲生態系統對數據進行存儲和管理外,還能夠借助云數據處理軟件對云端數據進行挖掘、聚類、檢索等操作,使得信息能夠得到充分的應用;(4)資金流主要是指云存儲生態系統可以讓用戶在更低的資金投入下獲得更好的使用效果,幫助用戶節約資金。

(三)關鍵技術

為實現云存儲生態系統的構建與運行,需要使用到以下幾方面關鍵技術。

(1)元數據管理技術。該技術可以向用戶提供元數據的上傳、下載、更新以及管理等。(2)緩存管理技術。對用戶的數據訪問行為進行記錄、分析與整理,協助用戶梳理數據的重要性,對于重要程度不同的數據建立不同的數據緩存與分配策略,便于提升用戶的訪問響應速度。(3)數據更新技術。該技術不僅包括本地元數據的更新,還包括云端緩存數據、存儲數據以及相關的數據表單等內容的更新。(4)服務調度技術。不同時刻云存儲生態系統的運行狀態是不同的,為讓用戶獲得更好的使用體驗,系統需要對整個系統的能力、負荷以及用戶需求等內容間進行權衡,從而制定一個最優的服務方案,讓用戶獲得良好的使用體驗,避免因系統負荷過大出現問題。(5)數據安全技術。云存儲生態系統的基礎是數據的安全。為提升用戶信息的安全性能,必須采取必要的安全防護措施和加密技術等對數據進行安全保障。

四、總結

云存儲生態系統是云計算平臺的一個重要組成部分,對整個社會經濟的發展都具有十分重要的影響和意義,不僅可以拓展人們存儲和獲取內容方式和途徑,還能夠在很大程度上提升數據的利用率,增強數據的使用效果。

參考文獻:

篇(9)

中圖分類號:TP3文獻標識碼:A文章編號:1007-9599 (2010) 10-0000-02

The Application of Cloud Computing Technology in the Storage System

Shi Feng

(Computer Center of Taiyuan University,Taiyuan030009,China)

Abstract:With rapid economic development at present,people are always encountered by tremendous amount of data in daily work,which requires large volume for the storage and redundant data backup,while the data is growing quickly in size.In the age which low-cost and high efficient storage systems have become the mainstream,effective management for these large data has not been available.As the proposal of the concept for cloud computing,the conceptual model of cloud storage was derived.Running and managing data in the cloud storage way could greatly reduce cost of storage systems and simplify the complex setup and management tasks.Placing data in cloud can also make it easy to have access to data from more places,so as to improve the efficiency of storage systems.

Keywords:Data;Cloud Computing;Storage Systems

隨著數字技術和互聯網的急速發展,特別是Web2.0的發展,互聯網上的數據量高速增長,導致了互聯網數據處理能力的相對不足,但互聯網上還同時存在著大量處于閑置狀態的計算設備和存儲資源,如果能夠將其聚合起來統一調度提供服務則可以大大提高其利用率,讓更多的用戶從中受益。因此將云計算技術應用到存儲領域可以大大提高資源的利用率。

一、云計算與云存儲

(一)云計算的概念

云計算(cloud computing),是分布式計算技術的一種,是分布式處理、并行處理和網格計算的發展,是透過網絡將龐大的計算處理程序自動拆分成無數個較小的子程序,再交給由多部服務器所組成的龐大運算系統,經過搜索和計算分析之后將處理結果回傳給用戶。透過這項技術,網絡服務提供者可以在數秒之內,達成處理數以千萬計甚至億計的信息,達到和“超級計算機”同樣強大效能的網絡服務。

(二)云存儲的概念

云存儲在云計算的概念基礎上延伸和發展出來的一個新的概念。云存儲的概念與云計算類似,它是指通過集群應用、網格技術或分布式文件系統等功能,將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。云存儲不是傳統的存儲系統,而是一種特殊形式的架構服務,對使用者來講是透明的,不是指某一個具體的設備,而是指分布在不同物理地域的多臺存儲設備和服務器所構成的集合體。

(三)云計算和云存儲之間的關系

當云計算系統運算和處理的核心業務是大量數據的存儲和管理時,云計算系統中就需要配置大量的存儲設備,那么云計算系統就轉變成為一個云存儲系統,所以云存儲是一個以數據存儲和管理為核心的云計算系統。從架構模型來看,云存儲系統比云計算系統多了一個存儲層,同時,在基礎管理也多了很多與數據管理和數據安全有關的功能,兩者在訪問層和應用接口層則是完全相同的。

二、云存儲的結構模型

與傳統的存儲設備相比,云存儲不僅僅是一個硬件,而是一個由網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網、和客戶端程序等多個部分組成的復雜系統,各部分以存儲設備為核心,通過應用軟件對外提供數據存儲和業務訪問服務。云存儲系統的結構模型(圖1云存儲結構模型)由4層組成,自下而上分別為存儲層、基礎管理層、應用接口層和訪問層。

三、云存儲服務器配置實例

對于云存儲這種云計算應用形式來說,重復數據刪除技術顯得十分重要。在我們存儲的數據和文件里,有很多文件經過反復修改,造成了大量重復的資料,這時,重復數據的刪除實現后,網絡優化的效果就變得比較明顯。根據云存儲的特點,將其過程描述為將數據分塊后,保存到不同的數據存儲節點中,并寫入數據文件存儲信息表。需要刪除時,在數據文件信息表中查找文件ID,找到后刪除該文件的數據信息。下面通過部分核心程序代碼來說明云存儲技術是怎么樣來存儲數據和刪除數據的。

(一)將一個數據塊保存在三個不同節點,成功返回1

int WriteStorInfo(fStorInfo fInfo)

{

fStorInfo temp;

memset(&temp,0,sizeof(fStorInfo));

int id=1;

int num=0;

FILE*fd;

if((fd=fopen(fileinfo,"rb+"))==NULL)

fd=fopen(fileinfo,"wb+");

while(fread(&temp,sizeof(fStorInfo),1,fd)==1)

{

if(temp.flag==0)

break;

++num;

}

fInfo.flag=1;

fseek(fd,num*sizeof(fStorInfo),0);

fwrite(&fInfo,sizeof(fStorInfo),1,fd);

fclose(fd);

return 1;

}

(二)獲得文件保存信息的順序表

int GetStorInfo(int fID,StorInfoList *L)

{

篇(10)

Research on Data Storage Scheduling Algorithm in Cloud Computing Environment

Zhen Cheng-gang Li Bao-cai

(North China Electric Power University HebeiBaoding 071000)

【 Abstract 】 The rapid development of cloud computing technology has accumulated a huge amount of data resources, data resource storage scheduling algorithm directly affects the efficiency of people's use of information resources. In order to improve the efficiency of data resource and improve the efficiency of data storage scheduling in cloud computing environment, a data storage system is designed. The system can be used to store the high frequency of the data.

【 Keywords 】 cloud computing;storage scheduling;data placement;dynamic migration

1 引言

目前,光纖網絡、移動無線網絡發展迅速,利用基礎網絡資源實現了云計算,其可以將分布于世界各地計算機終端、服務器連接在一起,利用分布式計算、透明計算、移動計算等技術,提高人們工作、生活和學習的信息化水平。云計算技術長期的使用,已經積累了海量的數據資源,因此降低了人們搜索的有效性,也降低了數據搜索的實時性,為了提高數據存儲調度效率,可以基于智能分級存儲策略設計一個新的數據存儲調度算法。

2 云計算環境下數據存儲調度算法設計

云計算環境中,為了能夠提高數據存儲調度的效率,為用戶提供更加的數據搜索利用體驗,數據存儲調度算法包含的關鍵功能包括六個方面,分別是元數據管理、文件估值、遷移控制、訪問重定向、文件系統監視、數據遷移。

(1)元數據管理。云計算環境中,為了保證數據的原子性、完整性,可以使用云數據進行描述,實現數據的遷移和訪問重定向。

(2)數據對象估值。數據對象估值可以根據數據資源訪問頻次、數據容量、讀寫模式、創建時間等屬性對數據對象進行估值,以便能夠反饋數據文件的訪問量和活躍程度,進行數據遷移。

(3)數據遷移控制。云計算環境下,用戶訪問數據對象時,可以根據數據對象估值實時的、動態的改變數據對象存儲位置,以便能夠將熱點數據賦予較高的存儲優先級位置,便于用戶訪問,提高資源命中率。

(4)數據訪問重定向。云計算時代,網絡數據能夠為用戶提供透明的、分布式的服務,因此無論用戶在哪個地方,只需要記住數據訪問的邏輯地址,無需關系存儲器的物理地址,如果數據物理地址發生改變,比如遷移到其它地方,使用數據訪問重定向功能即可尋找到數據。

(5)文件系統監視。文件系統監視可以實時的統計存儲系統運行狀態,計算系統延時、存儲空間利用率、讀寫比例、文件訪問命中率等,并且將這些輔助信息提供給遷移控制模塊。

(6)數據遷移。數據遷移可以放置在相關的遷移計劃列表中,記錄遷移數據的大小、存儲位置、創建時間、訪問頻次,同時采用相關的算法將數據遷移到合適的目標位置,數據遷移的主要目的是實現數據存儲優化。

數據存儲調度算法可以根據用戶訪問數據頻次,將數據資源放置在不同的設備,實現數據的自動化遷移,以便提高數據的命中率,算法執行流程如圖1所示。

3 云計算環境下數據存儲調度算法關鍵技術

數據存儲調度算法在實驗過程中,其關鍵技術包括三種,分別是數據分類技術、數據放置技術和數據遷移技術。

(1)數據分類技術。云計算的快速發展積累了海量的數據資源,這些數據資源根據不同的分類標準,可以劃分為文檔數據、視頻數據和圖像數據等。隨著數據分類標準的不同,不同定義和標準下數據的分類是不同的,數據分類是數據遷移的最基本條件。目前,隨著數據劃分技術的快速改進,已經誕生了貝葉斯理論、聚類、神經網絡、K均值、支持向量機等,可以將數據根據人們的需求動態的進行分類,更好的保存在不同類型的數據庫中,以便人們訪問。

(2)數據放置技術。網絡存儲系統中,數據放置可以采用相關的原則,針對系統中新添加的數據、被遷移的數據放置在某一個特定的位置上,數據放置可以采用更加科學的方法,直接影響數據讀取、寫入等訪問操作效率,影響用戶使用感知。網絡數據放置存在兩個關鍵技術:一是確定數據放置在何種類型的存儲介質上;二是數據放置的形式,隨機放置、順序放置或文件分割放置等。

(3)數據遷移技術。云計算環境下,由于用戶訪問數據是一直動態變化的,因此數據訪問頻次均是在動態改變的,為了能夠提高數據訪問效率和命中率,需要根據網絡存儲的數據和相關的指標進行數據遷移。數據遷移常用的技術包括同級數據遷移和異級數據遷移兩種模式。同級遷移模式能夠根據相關的存儲系統硬件容量的大小,將集中出現在相關的存儲系統中數據進行遷移,目的是均衡各個存儲設備的負載。異級遷移模式則是在存儲系統中經常發送的時間,可以更好地優化數據存儲內容,實現自動化的遷移,異級遷移過程能夠提高低性能存儲設備向高性能存儲設備的數據遷移,同時也可以向相反的方向遷移。

4 結束語

云計算環境下,數據存儲調度算法可以實現數據動態的、分布式的、透明的訪問、讀寫數據資源,提高數據資源訪問速度,同時能夠保護數據的安全性,確保云計算時代網絡存儲系統能夠滿足人們的需求。

參考文獻

[1] 于珊珊,陳冬林,李偉等.基于SLA的云計算多數據中心任務調度算法[J].武漢理工大學學報:信息與管理工程版,2014,3:345-349.

[2] 肖艷文,王金寶,李亞平等.云計算系統中能量有效的數據擺放算法和節點調度策略[J].計算機研究與發展,2013,S1:80-82.

[3] 王強,李雄飛,王婧.云計算中的數據放置與任務調度算法[J].計算機研究與發展,2014,51(11):2416-2426.

篇(11)

中圖分類號:G250.73 文獻標識碼:A 文章編號:1003-6938(2010)03-0099-003

Research on the Library Mass Data Storage Based on Cloud Computing

Du Haining (Library of Lishui College, Lishui, Zhejiang,323000)

Abstract:As a result of mixing and evolving of many technologies, the new kind of commercial computation model---cloud computing---has many advantages such as being safe and reliable, capable of mass data storage, as well as easy and convenient to use. Distributed data storage technology and related virtual technology of cloud computing are used by the libraries so as to have a reduction of the storage and maintenance costs besides acquiring the benefits of being reliable and safe in storing the date and convenient in sharingdata between different devices.

Key words:cloud computing; libraries; mass data storage; storage technology; virtual technology

CLC number:G250.73 Document code:A Article ID:1003-6938(2010)03-0099-003

網絡時代中,信息爆炸使得信息量呈指數型增加,近幾年世界范圍內磁盤存儲系統的容量仍將以每年近80 %的速度遞增。作為信息資源中心的圖書館面臨與日俱增的信息資源存儲問題,增大圖書館的信息資源存儲能力,更大程度的實現信息資源的長效保存和資源共享成為圖書館人思考的一個問題。作為一種新型的基于互聯網的商業計算模型,是多種技術混合演進的結果,成熟度較高,又有大公司推動,云計算已越來越成為人們熱議的焦點話題。在云計算的模式之下,圖書館的海量數據可以存儲在通過互聯網連接的任何一臺電腦或終端設備,并通過網絡來高度共享使用,[1 ]能解決困擾圖書館的數據存儲和共享等問題。

1 圖書館數字資源存儲現狀概述

1.1 圖書館數字資源存儲方式及比較

目前,國內圖書館數字資源存儲方式主要包括DAS(Direct Attached Storage,DAS,直接附加存儲)、NAS(Network Attached Storage,NAS,網絡附加存儲)、SAN(Storage Area Network,存儲局域網絡)三種。

(1)直接附加存儲(DAS)。直接附加存儲是指主機與存儲設備之間的直接連接,存儲設備通過SCSI或ATA作為數據接口的存儲方式。[2 ]是目前國內比較成熟的數字資源存儲方式,具有標準統一、兼容性好等優點,但面對指數型增長的信息量,DAS存儲方式存在可靠性和安全性較低的缺陷。當存儲服務器出現故障時,將會導致存儲設備中的數據不能被讀取。其次,DAS的擴展性差,因為DAS 沒有獨立的存儲操作系統,不能提供跨平臺的文件共享功能,各服務器不能共享原有的DAS設備。另外,由于受服務器性能的局限,以及DAS數據存儲模式是分散的,各系統下的文件必須分別存儲,容易形成信息的孤島,不利于資源的共享。

(2)網絡附加存儲(NAS)。網絡附加存儲是指直接接在網上的存儲設備,實際上NAS是一臺專用的存儲服務器,數據通過網絡協議進行傳輸。[3 ]網絡附加存儲支持異構服務器間的數據共享,在資源存儲的可靠性方面也有所改善,但NAS的數據備份時消耗較多的通信帶寬,導致數據傳輸速度過低,另外NAS不支持數據庫服務,因此不適合大型數據庫的應用。NAS依然存在擴展性較差的缺陷,由于受到設備容量的限制,新增加的NAS設備與原有的設備不能很好的集成,這就導致NAS對數據的備份恢復實現起來相當困難。除此之外,NAS技術所需投入的成本很高,因此不能得到較為廣泛的應用。

(3)存儲區域網絡(SAN)。存儲區域網絡是獨立于服務器網絡之外的高速存儲專用網絡,其將存儲子系統網絡化,實現真正的高速共享存儲目標。[4 ]SAN是繼DAS、NAS之后出現的新興存儲技術,其具有傳輸速度快,擴展能力強,共享能力高以及可靠性、安全性好的特點,因此SAN成為現在社會主流的存儲解決方案。盡管如此,SAN依然存在難以改變的缺陷:由于SAN是在DAS和NAS的基礎上發展起來的,其技術必然復雜難懂,技術實現要求也過于苛刻。龐大繁雜的技術要領必然帶來軟件升級困難和投資成本過高的問題。

1.2 圖書館數字資源存儲存在的問題

各種存儲技術沒有統一技術標準是目前國內數字資源存儲存在的首要問題,使存儲系統從立項到實施均無據可循,建設效果千差萬別,阻礙了計算機與存儲設備之間的高速互聯,甚至難于實現大容量數據共享的解決方案。其次是數據快速備份和恢復能力的缺乏。現階段各圖書館的海量數據存儲系統或大或小的存在系統不穩定的問題。由于各存儲技術不同程度的存在著該技術不能攻克的技術缺陷,任何技術都無法保證存儲系統百分百無故障。在這樣的情況下,為了保證數據的安全性就必須建立切實有效的數據備份和恢復方案。最后,為了達到圖書館數字化、信息化的要求,各圖書館對海量數據存儲系統建設的資金投入不理性。盲目追求現代化主流技術導致圖書館沒有清楚的了解自身需求,并且對建成后系統運行維護費用等缺乏理性分析,因此造成所建存儲系統后期投入更多或投入大量資金卻無法滿足自身需求的現象。

1.3 圖書館數字資源存儲的需求

隨著網絡信息服務的發展和數字信息資源的指數增長,人們在追求信息存儲系統容量擴增的同時,開始越來越多的關注信息存儲在有效性、安全性和存儲效率等方面的問題。針對目前社會較高的數字資源存儲要求,圖書館作為信息資源中心為用戶提供各種信息服務,必然要在數字資源存儲上迎合社會發展的需要。

(1)高性能的存儲系統。將傳統圖書館資源數字化并通過現代化存儲技術進行存儲的目的在于提高圖書館信息資源的使用效率,在此基礎上建立的存儲系統、存儲服務器必須擁有較高的性能。目前圖書館用戶對信息的需求量增加迅速,導致存儲系統的訪問量較大,這就要求相應的數據流量也比較大。為了加快存儲系統的數據相應時間,必須采用高性能、實用性強的存儲系統。

(2)可靠完整的存儲方案。在實際工作中,各種不可抵抗的自然災害和人為破壞都有可能造成存儲系統的崩潰,為了提高數據存儲的安全性,圖書館必須保證數據存儲在任何條件下都保持可靠完整性,存儲系統或存儲設備出現故障時也不會出現數據損壞和丟失的現象。這就需要圖書館的信息存儲系統建立一個能應對這些危機的存儲方案,如:本機、本地備份,異機、異地備份,甚至是遠程容災系統等,以保證存儲數據的安全可靠。[5 ]

(3)高度的擴展性存儲接口。由于國內圖書館資金有限,對數字資源存儲系統的投資不可能一次性到位,所以存儲方案必須考慮高度的擴展性。一方面存儲系統必須適應多廠商、多平臺和多系統的持續發展,支持異構環境下的多系統多平臺服務;另一方面,考慮到圖書館業務的發展必然導致數字資源的增長,因此存儲系統的建設必須充分滿足數據增長對存儲系統擴容的要求。

(4)適度投資的存儲原則。圖書館在海量數據存儲問題上應該量力而行,根據圖書館的規模及財力選擇適合本館的海量數據存儲方案。若存儲方案沒有考慮圖書館已有數字資源存儲設施,而另行開發建立新的存儲方案,這樣不僅造成重復建設浪費資源,而且增加了許多不必要的資金浪費。因此,如何保護原有存儲系統建設,減少海量數據存儲的投資成本是構建海量數據存儲時要考慮的關鍵問題。

2 基于云計算的圖書館海量數據存儲

2.1 基于云計算的圖書館海量數據存儲技術需求

在圖書館海量數據存儲中的云計算技術是以計算服務器為核心,動態部署虛擬的硬件服務器。用戶可以實現“無處不在”的訪問,同時也和Web云上的用戶共享流量和計算能力。[6 ]滿足實現圖書館海量數據存儲和操作需求的云計算關鍵技術需要:

(1)采用分布式存儲進行數據存儲實現云計算對圖書館海量數據的存儲,并采用冗余存儲的方式來保證存儲數據的可靠性。通過云計算這兩個技術將每個圖書館所有數字資源存儲在“云”中,并由“云”來管理和調度這些海量數據,利用分布式的數據存儲技術和與之相關的虛擬技術使得整合后的圖書館海量數據更加統一有序,實現圖書館數字資源的完全整合。

(2)為了滿足多用戶對數據的操作,云計算的數據存儲技術必然具有高吞吐率和高傳輸率的特點;同時云計算要求硬件資源與軟件資源能夠更好的被共享,且具有良好的伸縮性。這就要求云計算在圖書館海量數據存儲系統開發時必須具備多用戶技術。此技術主要表現在兩方面:其一是基于云計算的海量數據存儲系統能夠服務于大多數用戶,且具有非常容易的伸縮性;其二是該技術提供的附加業務邏輯可以使用戶對SAAS平臺進行擴展來滿足圖書館多用戶同時進行數據操作。

(3)云計算環境下對海量數字資源進行實時監控和管理,解決圖書館中的資源種類多、規模大,對資源實時監控和管理困難的問題。從云計算技術的資源調度的粒度來看,虛擬機內部應用的調度是云計算技術中最受人們關注的技術。

2.2 基于云計算的圖書館海量數據存儲系統特點

(1)確保了海量數據存儲系統的可靠性和數據安全性,用戶不必再為數據丟失、系統癱瘓等問題感到困擾。在確保存儲系統可靠性的問題上,云計算技術最大限度地降低了服務器的出錯概率。云計算模式中海量數據不再是存儲于某個圖書館的服務器上,而是存儲在“云” 中的上百萬臺服務器,因此即使“云”中的某臺服務器出現故障,在云端會有其他服務器作為替補來代替崩潰的服務器進行工作。顯然云計算模式下不會造成數據的損壞和丟失和圖書館海量數據存儲系統的癱瘓。

(2)通過云計算,圖書館可以輕松的實現不同設備間的數據共享。圖書館作為信息資源具有向用戶傳播信息、使用戶以最大的限度獲取知識和信息。傳統模式下,用戶在特定的圖書館中只能獲得該圖書館提供的資源,即使該圖書館與其他館之間有共享工程建設,用戶獲得共享資源的程序也相當繁瑣,且非常有限。通過云計算模式,相關圖書館之間可以共同構筑圖書館的共享空間,來自于任何圖書館的數字資源統統存放在“云”中,用戶只需將其電子設備連接至互聯網,就可以訪問和獲取所需的任何數據。

(3)基于云計算的圖書館海量數據存儲方式提高了信息資源的更新速度。只要是通過云計算技術來開發海量數據存儲的圖書館都會經常修改和添加新的信息資源,這種圖書館間互相補充的信息存儲使用戶可以獲取到世界上最新的資料和信息。

(4)云計算的出現使圖書館存儲系統的擴展能力得到大大的提高。因為“云”提供無限的空間和計算能力,使得圖書館在社會變遷過程中不必再為海量數據存儲系統的擴展問題煩惱。同時也防止了圖書館海量數據存儲系統擴展時對原系統的摒棄和對存儲系統的重復建設。

(5)各圖書館無論規模大小都存在資金不足的現象,云計算模式的出現大大降低了海量數據存儲系統建設和維護成本,而云計算技術可以通過少量的費用讓圖書館獲得“云”中上百萬臺服務器提供的服務。云計算對用戶端的設備要求很低,圖書館管理員無需擔心相關硬件升級的問題,另外在“云”端有專業的工作人員維護硬件,無需圖書館管理員勞神。

3 云計算圖書館海量數據存儲的思考

云計算將圖書館海量數據存儲帶入了新的時代,是圖書館海量數據存儲的變革性突破。然而時代在變遷,圖書館及其用戶對海量存儲系統的要求也在不斷地提升,因此無論多么完善的技術都會遇到瓶頸問題,云計算技術當然也不例外。為了使圖書館海量數據存儲的云計算技術走的更遠,圖書館應該從各個方面找到云計算已經遇到或可能遇到的瓶頸問題,對其進行改進,使其更好的為圖書館和用戶服務。首先,在云計算模式下,各個加入云計算模式的圖書館之間可以通過有關的協議共享彼此的信息資源。[7 ]雖然這樣豐富了信息資源的內容,但同時也帶來了版權糾紛的問題。因此,為了解決版權問題盡快制定合理的解決方案乃當務之急。其次,云安全問題一直是人們心中的疑慮,云中上百萬臺服務器提供了數據快速備份和恢復機制,但云端的安全性是否也同樣值得我們信任呢?為了進一步保證設備和數據的安全,必須嚴格加強云端安全機制的建立和完善。

云計算為圖書館用戶提供了一個更為簡單、廉價的資源共享模式。然而任何事物都是機遇與挑戰并存,為了使云計算技術更加完善的應用,它就必須迎合了大部分用戶的需求,不斷解決云計算在應用過程中遇到的各種問題。只有這樣才能使云計算的圖書館海量數據存儲真正發揮其本身的價值。

參考文獻:

[1]黎春蘭,鄧仲華.論云計算的價值[J].圖書與情報,2009,(4):42-46.

[2][3]周敬治,修蔽蔽.數字資源存儲系統的構建模式及比較研究[J].情報雜志,2006,(11):106-108.

[4]劉姝.對高校圖書館建設數字資源存儲系統的思考[J].大學圖書館學報,2008,(6):75-78.

[5]嚴莊.圖書館數字資源存儲技術方案研究[J].四川文理學院學報,2007,(6):108-110.

主站蜘蛛池模板: 三穗县| 昆山市| 太仓市| 建瓯市| 福建省| 大理市| 郧西县| 青铜峡市| 宜昌市| 威宁| 松原市| 永丰县| 宜宾市| 台中县| 磴口县| 灵宝市| 西乌珠穆沁旗| 左云县| 甘孜县| 扎囊县| 剑川县| 滦平县| 晋宁县| 白城市| 博客| 常宁市| 南皮县| 东海县| 鲁甸县| 招远市| 丰镇市| 浦东新区| 集贤县| 香港| 武平县| 泰和县| 离岛区| 东宁县| 商河县| 汝城县| 延庆县|