,電子工業(yè)出版社云計(jì)算(第三版)配套課件,主編：劉鵬教授,第3章,Amazon云計(jì)算AWS(二),本套PPT下載地址：,云計(jì)算的紅寶書,書籍購買地址：,微信掃描二維碼,關(guān)注云計(jì)算頭條,電子工業(yè)出版社云計(jì)算(第三版)配套課件,（包郵且有劉鵬教授親筆簽名）,教授、博導(dǎo)、學(xué)科帶頭人，清華大學(xué)博士。現(xiàn)任中國云計(jì)算專家咨詢委員會秘書長、中國信息協(xié)會大數(shù)據(jù)分會副會長、工業(yè)與信息化部云計(jì)算研究中心專家。主持完成科研項(xiàng)目25項(xiàng)，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級科技進(jìn)步二等獎(jiǎng)4項(xiàng)、三等獎(jiǎng)4項(xiàng)。主編了國內(nèi)第一本云計(jì)算教材云計(jì)算和第一本云計(jì)算編程書籍實(shí)戰(zhàn)Hadoop。創(chuàng)辦了知名的中國云計(jì)算（）和中國大數(shù)據(jù)（）網(wǎng)站。曾率隊(duì)奪得2002PennySort國際計(jì)算機(jī)排序比賽冠軍，兩次奪得全國高校科技比賽最高獎(jiǎng)，并三次奪得清華大學(xué)科技比賽最高獎(jiǎng)。榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省“333高層次人才培養(yǎng)工程”中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號。,劉鵬,3.1基礎(chǔ)存儲架構(gòu)Dynamo,3.2彈性計(jì)算云EC2,3.3簡單存儲服務(wù)S3,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS,3.6簡單隊(duì)列服務(wù)SQS,3.7內(nèi)容推送服務(wù)CloudFront,3.8其他Amazon云計(jì)算服務(wù),3.9AWS應(yīng)用實(shí)例,3.10小結(jié),3.3簡單存儲服務(wù)S3,3.3.1S3的基本概念和操作,3.3.2S3的數(shù)據(jù)一致性模型,3.3.3S3的安全措施,6,S3的基本概念和操作,3.3簡單存儲服務(wù)S3,簡單存儲服務(wù)（SimpleStorageServices，S3）構(gòu)架在Dynamo之上，用于提供任意類型文件的臨時(shí)或永久性存儲。S3的總體設(shè)計(jì)目標(biāo)是可靠、易用及低成本。,S3存儲系統(tǒng)的基本結(jié)構(gòu)，其中涉及兩個(gè)基本概念：,桶Bucket,對象Object,7,S3的基本概念和操作,3.3簡單存儲服務(wù)S3,桶Bucket,桶是用于存儲對象的容器，其作用類似于文件夾，但桶不可以被嵌套，即在桶中不能創(chuàng)建桶。目前，Amazon限制了每個(gè)用戶創(chuàng)建桶的數(shù)量，但沒有限制每個(gè)桶中對象的數(shù)量。桶的名稱要求在整個(gè)AmazonS3的服務(wù)器中是全局唯一的，以避免在S3中數(shù)據(jù)共享時(shí)出現(xiàn)相互沖突的情況。在對桶命名時(shí)，建議采用符合DNS要求的命名規(guī)則，以便與CloudFront等其他AWS服務(wù)配合使用。,8,S3的基本概念和操作,3.3簡單存儲服務(wù)S3,對象Object,任意類型，但大小會受到對象最大容量的限制,數(shù)據(jù)內(nèi)容的附加描述信息，通過名稱-值（name-value）集合的形式來定義,數(shù)據(jù),元數(shù)據(jù),9,S3的基本概念和操作,3.3簡單存儲服務(wù)S3,S3中支持對桶和對象的操作，主要包括：Get、Put、List、Delete和Head。下圖列出了五種操作的主要內(nèi)容。,表3-3S3的主要操作,3.3簡單存儲服務(wù)S3,3.3.1S3的基本概念和操作,3.3.2S3的數(shù)據(jù)一致性模型,3.3.3S3的安全措施,11,S3的數(shù)據(jù)一致性模型,3.3簡單存儲服務(wù)S3,在數(shù)據(jù)被充分傳播到所有的存放節(jié)點(diǎn)之前，服務(wù)器返回給用戶的仍是原數(shù)據(jù)，此時(shí)用戶操作可能會出現(xiàn)后面幾種情況：,與其構(gòu)建的基礎(chǔ)Dynamo相同，S3中采用了最終一致性模型。,12,S3的數(shù)據(jù)一致性模型,3.3簡單存儲服務(wù)S3,3.3簡單存儲服務(wù)S3,3.3.1S3的基本概念和操作,3.3.2S3的數(shù)據(jù)一致性模型,3.3.3S3的安全措施,S3向用戶提供包括,S3的安全措施,身份認(rèn)證（Authentication）,訪問控制列表（ACL）,15,S3的安全措施,3.3簡單存儲服務(wù)S3,身份認(rèn)證（Authentication）,AccessKeyID時(shí)間戳用戶數(shù)據(jù),服務(wù)請求字符串SecretAccessKey,數(shù)字簽名A,服務(wù)請求字符串?dāng)?shù)字簽名A,服務(wù)請求字符串,計(jì)算,發(fā)送內(nèi)容,用戶端,HMAC,服務(wù)請求字符串SecretAccessKey,SecretAccessKey,AccessKeyID,服務(wù)請求字符串?dāng)?shù)字簽名A,S3服務(wù)器,數(shù)字簽名B,HMAC,計(jì)算,服務(wù)器端,A=B，通過認(rèn)證，否則未通過,17,S3的安全措施,3.3簡單存儲服務(wù)S3,訪問控制列表是S3提供的可供用戶自行定義的訪問控制策略列表。S3的訪問控制策略（ACP）提供如下所列的五種訪問權(quán)限。,訪問控制列表（AccessControlList）,18,S3的ACL不具有繼承性,19,S3的安全措施,3.3簡單存儲服務(wù)S3,所有者（Owner）,個(gè)人授權(quán)用戶（User）,組授權(quán)用戶（Group）,所有者是桶或?qū)ο蟮膭?chuàng)建者，默認(rèn)具是WRITE_ACP權(quán)限。所有者默認(rèn)就是最高權(quán)限擁有者。,兩種授權(quán)方式，一種是通過電子郵件地址授權(quán)的用戶，另一種是通過用戶ID進(jìn)行授權(quán)。,一種是AWS用戶組，它將授權(quán)分發(fā)給所有AWS賬戶擁有者；另一種是所有用戶組，這是一種有著很大潛在危險(xiǎn)的授權(quán)方式。,S3中有三大類型的授權(quán)用戶,3.1基礎(chǔ)存儲架構(gòu)Dynamo,3.2彈性計(jì)算云EC2,3.3簡單存儲服務(wù)S3,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS,3.6簡單隊(duì)列服務(wù)SQS,3.7內(nèi)容推送服務(wù)CloudFront,3.8其他Amazon云計(jì)算服務(wù),3.9AWS應(yīng)用實(shí)例,3.10小結(jié),3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,3.4.1非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較,3.4.2SimpleDB,3.4.3DynamoDB,3.4.4SimpleDB和DynamoDB的比較,22,非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,23,非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,總結(jié)：,關(guān)系型數(shù)據(jù)庫,非關(guān)系型數(shù)據(jù)庫,優(yōu)點(diǎn),缺點(diǎn),優(yōu)點(diǎn),缺點(diǎn),具有高一致性，在ACID方面很強(qiáng)，移植性很高,可擴(kuò)展性方面能力較弱,具有很高的可擴(kuò)展性，具有很好的并發(fā)處理能力,缺乏數(shù)據(jù)一致性保證，處理事務(wù)性問題能力較弱,難以處理跨表、跨服務(wù)器的查詢,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,3.4.1非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較,3.4.2SimpleDB,3.4.3DynamoDB,3.4.4SimpleDB和DynamoDB的比較,25,SimpleDB,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,SimpleDB基本結(jié)構(gòu)圖如下，包含了域、條目、屬性、值等概念。,用戶賬戶,26,SimpleDB,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,但域的劃分也會為數(shù)據(jù)操作帶來一些限制，是否劃分域需要綜合多種因素考慮。,屬性1,屬性2,域1,1.域（Domain）,域是用于存放具有一定關(guān)聯(lián)關(guān)系的數(shù)據(jù)的容器，其中的數(shù)據(jù)以UTF-8編碼的字符串形式存儲。,每個(gè)用戶賬戶中的域名必須是唯一的，且域名長度為3255個(gè)字符。,每個(gè)域中數(shù)據(jù)的大小具有一定的限制。,27,SimpleDB,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,操作上具有極大的靈活性，用戶可以隨時(shí)創(chuàng)建、刪除以及修改條目的內(nèi)容,2.條目（Item）,條目對應(yīng)著一條記錄，通過一系列屬性來描述，即條目是屬性的集合。,在每個(gè)域中，條目名必須是唯一的,與關(guān)系數(shù)據(jù)庫不同，SimpleDB中不需要事先定義條目的模式，即條目由哪些屬性來描述。,28,SimpleDB,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,屬性1,屬性2,域1,3.屬性（Attribute）,屬性是條目的特征，每個(gè)屬性都用于對條目某方面特性進(jìn)行概括性描述。,每個(gè)條目可以有多個(gè)屬性。,屬性的操作相對自由，不用考慮該屬性是否與域中的其他條目相關(guān)。,29,SimpleDB,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,4.值（Value）,值用于描述某個(gè)條目在某個(gè)屬性上的具體內(nèi)容,一個(gè)條目的一個(gè)屬性中可以有多個(gè)值。,某類商品除顏色外其他參數(shù)完全一致，此時(shí)可以通過在顏色屬性中存放多個(gè)值來使用一個(gè)條目表示該商品，而不需要像關(guān)系數(shù)據(jù)庫中那樣建立多條記錄。,例如：,30,SimpleDB,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,如圖顯示了SimpleDB的樹狀組織方式，其中可以看出SimpleDB對多值屬性的支持。,31,SimpleDB,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,SimpleDB中每個(gè)屬性值的大小不能超過1KB,SimpleDB存儲的數(shù)據(jù)范圍極其有限,將相對大的數(shù)據(jù)存儲在S3中，在SimpleDB中只保存指向某個(gè)特定文件位置的指針,SimpleDB與其他AWS組件綜合使用的方式,限制,導(dǎo)致,解決,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,3.4.1非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較,3.4.2SimpleDB,3.4.3DynamoDB,3.4.4SimpleDB和DynamoDB的比較,33,DynamoDB,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,DynamoDB的特點(diǎn)：,DynamoDB以表為基本單位，表中的條目同樣不需要預(yù)先定義的模式。,DynamoDB中取消了對表中數(shù)據(jù)大小的限制，用戶設(shè)置任意大小，并由系統(tǒng)自動分配到多個(gè)服務(wù)器上。,DynamoDB不再固定使用最終一致性數(shù)據(jù)模型，而是允許用戶選擇弱一致性或者強(qiáng)一致性。,DynamoDB還在硬件上進(jìn)行了優(yōu)化，采用固態(tài)硬盤作為支撐，并根據(jù)用戶設(shè)定的讀/寫流量限制預(yù)設(shè)來確定數(shù)據(jù)分布的硬盤數(shù)量。,1,2,3,4,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,3.4.1非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較,3.4.2SimpleDB,3.4.3DynamoDB,3.4.4SimpleDB和DynamoDB的比較,35,SimpleDB和DynamoDB的比較,3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB,SimpleDB和DynamoDB都是Amazon提供的非關(guān)系型數(shù)據(jù)庫服務(wù)。,SimpleDB,DynamoDB,限制了每張表的大小，更適合于小規(guī)模復(fù)雜的工作。自動對所有屬性進(jìn)行索引，提供了更加強(qiáng)大的查詢功能。,支持自動將數(shù)據(jù)和負(fù)載分布到多個(gè)服務(wù)器上，并未限制存儲在單個(gè)表中數(shù)據(jù)量的大小，適用于較大規(guī)模負(fù)載的工作。,本章未完待續(xù),百度排名首位的大數(shù)據(jù)資料和交流中心,百度排名首位的云計(jì)算資料和交流中心,終生免費(fèi)的智能硬件大數(shù)據(jù)托管平臺,終生免費(fèi)的環(huán)境大數(shù)據(jù)共享平臺,云創(chuàng)大數(shù)據(jù)給您一步到位的解決方案！,高校Hadoop教學(xué)科研,一攬子解決方案,云計(jì)算、大數(shù)據(jù)時(shí)代，社會亟需相關(guān)人才！而高校缺平臺、缺人才、缺經(jīng)驗(yàn)！怎么辦？,建設(shè)一個(gè)Hadoop實(shí)驗(yàn)平臺一套開源的Hadoop一體機(jī)和開發(fā)環(huán)境，詳細(xì)的指導(dǎo)書籍和實(shí)驗(yàn)設(shè)計(jì)。培養(yǎng)一支云計(jì)算師資隊(duì)伍來自云計(jì)算高手的系列培訓(xùn)，早在2010年就培訓(xùn)了全國第一批云計(jì)算師資力量。營造一個(gè)大數(shù)據(jù)科研環(huán)境為科研提供技術(shù)支持，與大數(shù)據(jù)應(yīng)用相結(jié)合，讓科研邁上新臺階。,劉鵬看未來,云計(jì)算頭條,云創(chuàng)大數(shù)據(jù),中國大數(shù)據(jù)