第3章Amazon云計算AWS(三)3.1基礎存儲架構Dynamo3.2彈性計算云EC23.3簡單存儲服務S33.4非關系型數據庫服務SimpleDB和DynamoDB3.5關系數據庫服務RDS3.6簡單隊列服務SQS3.7內容推送服務CloudFront3.8其他Amazon云計算服務3.9AWS應用實例3.10小結3.5關系數據庫服務RDS3.5.1RDS的基本原理3.5.2RDS的使用4RDS的基本原理3.5關系數據庫服務RDS網絡CPUCPUCPU內存內存內存硬盤硬盤硬盤AmazonRDS將MySQL數據庫移植到集群中，在一定的范圍內解決了關系數據庫的可擴展性問題。MySQL集群方式采用了Share-Nothing架構。每臺數據庫服務器都是完全獨立的計算機系統，通過網絡相連，不共享任何資源。這是一個具有較高可擴展性的架構，當數據庫處理能力不足時，可以通過增加服務器數量來提高處理能力，同時多個服務器也增加了數據庫并發訪問的能力。53.5關系數據庫服務RDSRDS的基本原理集群MySQL小表1表單劃分Sharding小表2小表n存儲于數據庫服務器存儲于數據庫服務器存儲于數據庫服務器表單主要根據業務的需要進行針對性的劃分，對數據庫的管理人員提出了非常高的要求，如果劃分得不科學，則查詢經常會跨表單和服務器，性能就會嚴重下降。6SlaveASlaveBSlaveCMasterBMasterA主從備份客戶端客戶端客戶端…………寫寫讀RDS的基本原理3.5關系數據庫服務RDS集群MySQL通過主從備份和讀副本技術提高可靠性和數據處理能力。癱瘓升級并發處理3.5關系數據庫服務RDS3.5.1RDS的基本原理3.5.2RDS的使用8RDS的使用3.5關系數據庫服務RDS從用戶和開發者的角度來看，RDS和一個遠程MySQL關系數據庫沒什么兩樣。Amazon將RDS中的MySQL服務器實例稱做DBInstance，通過基于Web的API進行創建和管理，其余的操作可以通過標準的MySQL通信協議完成。創建DBInstance時還需要定義可用的存儲，存儲范圍為5GB到1024GB，RDS數據庫中表最大可以達到1TB。可以通過兩種工具對RDS進行操作：命令行工具和兼容的MySQL客戶端程序命令行工具是Amazon提供的Javamazon網站下載。MySQL客戶端是可以與MySQL服務器進行通信的應用程序3.1基礎存儲架構Dynamo3.2彈性計算云EC23.3簡單存儲服務S33.4非關系型數據庫服務SimpleDB和DynamoDB3.5關系數據庫服務RDS3.6簡單隊列服務SQS3.7內容推送服務CloudFront3.8其他Amazon云計算服務3.9AWS應用實例3.10小結Amazon為解決云計算平臺之間不同組件的通信專門設計開發的簡單隊列服務SimpleQueueService，SQS3.6簡單隊列服務SQS3.6.1SQS的基本模型3.6.2SQS的消息12SQS的基本模型3.6簡單隊列服務SQS隊列消息1消息2消息3消息n……三個組成部分系統組件Component隊列Queue消息Message13SQS的基本模型3.6簡單隊列服務SQS隊列消息1消息2消息3消息n……系統組件Component系統組件是SQS的服務對象，而SQS則是組件之間溝通的橋梁既可以是消息的發送者，也可以是消息的接收者14SQS的基本模型3.6簡單隊列服務SQS隊列消息1消息2消息3消息n……消息Message消息是發送者創建的具有一定格式的文本數據，接收對象可以是一個或多個組件消息的大小是有限制的，但是消息的數量并未做限制在SQS中，消息和隊列是最重要的兩個概念。15SQS的基本模型3.6簡單隊列服務SQS隊列消息1消息2消息3消息n……隊列Queue隊列是存放消息的容器，類似于S3中的桶隊列的數目是任意的，創建隊列時用戶必須給其指定一個在SQS賬戶內唯一的名稱隊列在傳遞消息時會盡可能“先進先出”16SQS的基本模型3.6簡單隊列服務SQS不過SQS允許用戶在消息中添加有關的序列數據，對于數據發送順序要求比較高的用戶可以在發送消息之前向其中加入相關信息。隊列消息1消息2消息3消息n……3.6簡單隊列服務SQS3.6.1SQS的基本模型3.6.2SQS的消息18SQS的消息3.6簡單隊列服務SQS消息IDMessageID接收句柄ReceiptHandle消息體Body消息體MD5摘要MD5ofBody由系統返回給用戶，用來標識隊列中的不同消息。當從隊列中接收消息時就會從消息那里得到一個接收句柄，這個句柄可以用來對消息進行刪除等操作。消息的正文部分，需要注意的是消息存放的是文本數據并且不能是URL編碼方式。消息體字符串的MD5校驗和。消息的格式19SQS的消息3.6簡單隊列服務SQS消息取樣隊列中的消息是被冗余存儲的，同一個消息會存放在系統的多個服務器上。其目的是為了保證系統的高可用性，但這會給用戶查詢隊列中的消息帶來麻煩。為了解決該問題，SQS采用了基于加權隨機分布（WeightedRandomDistribution）的消息取樣當用戶發出查詢隊列中消息的命令后，系統在所有的服務器上使用基于加權隨機分布算法隨機地選出部分服務器，然后返回這些服務器上保存的所查詢的隊列消息副本。20發出查詢請求返回查詢結果ABC隊列ABCDAB服務器1DB服務器2CD服務器3AC服務器4SQS的消息3.6簡單隊列服務SQS當消息數量較少時，SQS進行消息取樣時可能會出現返回結果不準確的現象但由于消息采樣具有隨機性，只要用戶一直查詢下去，總會查詢到所有的消息。21SQS的消息3.6簡單隊列服務SQSSQS中，用戶執行刪除操作后，系統認為用戶已接收消息，將隊列中的消息徹底刪除若用戶為接收到數據或未執行刪除操作，SQS在隊列中保留該消息。為了保證其他組件不會看到用戶的消息，SQS將該消息阻塞（加鎖），但這把鎖不會一直鎖住消息，因為系統保留消息的目的是給用戶重傳數據，為此SQS引入了一個可見性超時值。22不可見拓展重新計時可見消息生命周期結束超過4天接收消息未刪除終止計時時間到時間未到消息刪除未接收SQS的消息3.6簡單隊列服務SQS擴展操作就是將計時器按照新設定的值重新計時，終止就是將當前的計時過程終止，直接將消息由不可見變為可見。可見性表明該消息可以被所有的組件查看，可見性超時值相當于一個計時器，在設定好的時間內，發給用戶的消息對于其他所有的組件是不可見的。在計時的過程中可以進行兩種操作：擴展和終止3.1基礎存儲架構Dynamo3.2彈性計算云EC23.3簡單存儲服務S33.4非關系型數據庫服務SimpleDB和DynamoDB3.5關系數據庫服務RDS3.6簡單隊列服務SQS3.7內容推送服務CloudFront3.8其他Amazon云計算服務3.9AWS應用實例3.10小結基于Amazon云計算平臺實現的內容分發網絡(CDN)。借助Amazon部署在世界各地的邊緣節點，用戶可以快速、高效地對由CloudFront提供服務的網站進行訪問。CloudFront3.7內容推送服務CloudFront3.7.1CDN3.7.2CloudFront26傳統的網絡服務模式中，用戶和內容提供商位于服務的兩端，網絡服務提供商將兩者聯系起來。在這種情況下，網絡服務提供商僅僅起“橋梁”作用。CDN3.7內容推送服務CloudFront本地DNSDNS服務器網站服務器提交所訪問網站域名發出解析請求返回所訪問網站的IP返回所訪問網站的IP利用網站IP進行訪問1234527CDN3.7內容推送服務CloudFront用戶在發出服務請求后，需要經過DNS服務器進行域名解析后得到所訪問網站的真實IP，然后利用該IP訪問網站。在這種模式中，世界各地的訪問者都必須直接和網站服務器連接才可以訪問相關內容，存在明顯的缺陷。首先其次最后網站服務器可以容納的訪問量是有限的這種模式中沒有考慮訪問者的地域問題使用不同網絡服務提供商服務的用戶之間的互訪速度也會受到限制CDN技術通過將網站內容發布到靠近用戶的邊緣節點，使不同地域的用戶在訪問相同網頁時可以就近獲取。解決辦法28CDN3.7內容推送服務CloudFront本地DNSDNS服務器智能DNS負載均衡系統邊緣節點網站服務器提交所訪問網站域名1發出解析請求2重定向3返回邊緣節點的IP4返回邊緣節點的IP5返回邊緣節點的IP6利用邊緣節點訪問7通過內部DNS解析得到IP并向服務器發出請求8返回請求內容9返回請求內容10DNS在對域名進行解析時不再向用戶返回網站服務器的IP，而是返回了由智能CDN負載均衡系統選定的某個邊緣節點的IP。29CDN3.7內容推送服務CloudFront這種訪問模式的好處主要有以下幾點：好處一好處二好處三將網站的服務流量以比較均勻的方式分散到邊緣節點中，減輕了網站源服務器的負擔。由于邊緣節點與訪問者的地理位置較近，訪問速度快。智能DNS負載均衡系統和各個邊緣節點之間始終保持著通信聯系，可以確保分配給用戶的邊緣節點始終可用且在允許的流量范圍之內。30CDN3.7內容推送服務CloudFrontCDN的實現需要多種網絡技術的支持，主要包括以下幾種：負載均衡技術分布式存儲緩存技術將流量均勻地分發到可以完成相同功能的若干個服務器上，在減輕服務器壓力的同時也避免了單一網絡通道的流量擁堵。網站內容不再是單一地被保存在源服務器上，多個邊緣節點都可能保存相應的副本通過將內容存儲在本地或網絡服務提供商的服務器上來改善用戶的響應時間。3.7內容推送服務CloudFront3.7.1CDN3.7.2CloudFront32CloudFront3.7內容推送服務CloudFrontCloudFront正是通過Amazon設在全球的邊緣節點來實現CDN的，但是較普通的CDN而言，它的優勢無疑是巨大的。首先CloudFront的收費方式和Amazon的其他云計算收費方式一樣是按用戶實際使用的服務來收費，這尤其適合那些資金缺乏的中小企業。其次CloudFront的使用非常簡單，只要配合S3再加上幾個簡單的設置就可以完成CDN的部署33CloudFront3.7內容推送服務CloudFront對象Object源服務器OriginServer分發Distribution利用CloudFront進行分發的任意一個文件存儲需要分發文件的位置作用是在CloudFront服務和源服務器之間建立一條通道別名指向CNAME邊緣節點位置EdgeLocation有效期Expiration系統分配給用戶域名的一個別名實際的邊緣節點服務器位置文件副本在邊緣節點上的存放時間34CloudFront3.7內容推送服務CloudFrontCloudFront邊緣節點S3利用相關鏈接向服務器發出請求1給該訪問請求分配邊緣節點2邊緣節點上無請求內容則向S3發出請求3返回請求內容的副本4返回請求內容5CloudFront在此處就相當于CDN中的智能DNS負載均衡系統，用戶實際是和CloudFront進行服務交互而不是直接和S3中的原始文件進行交互。CloudFront與其他一些AWS不同的是，它只接受安全的HTTPS方式而不接受HTTP方式進行訪問，這又進一步提高了安全性。3.1基礎存儲架構Dynamo3.2彈性計算云EC23.3簡單存儲服務S33.4非關系型數據庫服務SimpleDB和DynamoDB3.5關系數據庫服務RDS3.6簡單隊列服務SQS3.7內容推送服務CloudFront3.8其他Amazon云計算服務3.9AWS應用實例3.10小結快速應用部署ElasticBeanstalk和服務模板CloudFormation

AWSElasticBeanstalk——一種簡化在AWS上部署和管理應用程序的服務。用戶只需上傳自己的程序，系統會自動地進行需求分配、負載均衡、自動縮放、監督檢測等一些具體部署細節ElasticBeanstalk虛擬機是一種運行ApacheWebServer、Tomcat和theEnterpriseEditionoftheJavaplatform的AMI虛擬機AWSCloudFormation——為開發者和系統管理員提供一個簡化的、可視的AWS資源調用方式。開發者可以直接利用CloudFormation提供的模板或自己創建的模板方便地建立自己的服務云中的DNS服務Router53

傳統DNS服務器存在問題：域名對應IP地址變更傳播非常緩慢Router53——管理DNS、處理DNS請求的全新AWS。該服務運行在Amazon的云中，提供了DNS授權服務器的功能，可以通過RESTAPI進行訪問，API允許用戶創建管理區（Zone），并在區中保存DNS記錄為了提供高可用、低延遲的DNS服務，Amazon在全球分布了多臺服務器。Route53會把DNS請求路由到最近的服務器，以便快速地響應用戶請求虛擬私有云VPC

Amazon虛擬私有云（VirtualPrivateCloud，VPC）——安全的、可靠的、可以無縫連接企業現有的基礎設施和Amazon云平臺的技術

簡單通知服務SNS和簡單郵件服務SESAmazon簡單通知服務（SimpleNotificationService，SNS）——一種Web服務，提供方便的信息發布平臺，具有高的可擴展性和成本優勢例如，運行在EC2上應用程序發布更新版本。在未來，Amazon的SNS將整合到如AmazonS3和SimpleDB的其他AWS服務中Amazon簡單郵件服務（SimpleEmailService，SES）——一個簡單的高擴展性和具有成本優勢的電子郵件發送服務將高效率、低成本的優勢轉移到用戶身上。同時SES采用了內容過濾技術，有效地阻止垃圾郵件彈性MapReduce服務

通過在EC2上部署Hadoop實現了MapReduce的功能，Amazon將這項服務整合到AWS之中，為需要進行海量數據處理的用戶提供了極大便利彈性MapReduce的運行過程非常簡單，用戶根本不需要考慮計算中涉及的服務器部署、維護及軟件環境的配置

任務流——由一系列前后相關的處理過程組成的，可以與線性鏈表的結構類比，除了第一個節點和最后一個節點，每個節點既是前一個節點的后繼也是后一個節點的前驅，Amazon的彈性MapReduce將數據的實際計算過程都看成是任務流中的某一個步驟電子商務服務DevPay、FPS和SimplePayDevPay——Amazon推出的主要針對開發者的軟件銷售及賬戶管理平臺開發者：將自己開發的付費AMI和基于S3的相關產品通過DevPay平臺進行發布用戶：通過DevPay瀏覽包括軟件功能和價格在內的相關信息，購買并支付費用

DevPay和淘寶的簡單類比關系圖DevPay服務的基本架構圖

電子商務服務DevPay、FPS和SimplePayDevPay允許開發者發布的產品付費AMI基于S3服務開發的產品計費

開發者向用戶收取的費用

DevPay向開發者收取的費用

一次性注冊費

服務使用費月租按時足額繳納使用費用（正常情況）AWS服務使用費另外計費方式電子商務服務DevPay、FPS和SimplePay靈活支付服務FPS允許用戶根據需要和實際情況對支付服務進行各種個性化的設置，使其和用戶的電子商務平臺更加契合

FPS服務中有三種身份的參與者Sender：消費者，是相關產品或服務費用的支付者Recipient：銷售者，它接受消費者支付的費用Caller：資金流動的中介者角色，作用是將資金從sender轉移到recipientFPS服務類型適合的交易類型AmazonFPSBasicQuickStart一次性的交易AmazonFPSAdvancedQuickStart買賣雙方多次或重復交易AmazonFPSMarketplaceQuickStart有中介參與的三方交易AmazonFPSAggregatedPaymentsQuickStart將數個小額交易集合成單個交易AmazonFPSAccountManagementQuickStart賬戶管理電子商務服務DevPay、FPS和SimplePay整個購買流程顧客商品網頁：顧客在該網頁上選購產品CBUI：聯合品牌標志用戶界面（商家及AmazonPayments雙重品牌標志）FPS顧客購買基本流程電子商務服務DevPay、FPS和SimplePay不同FPS服務返回的PaymentToken

支付信息中有一個稱為PaymentToken的ID（1）Single-use：一次性交易中所需的Token（2）Recurring-use：每隔固定的間隔時間就對購買進行確認所需的Token（3）Multi-use：可以在多次交易中使用的Token（4）Prepaid：使用預付款方式進行交易中所需的Token（5）Postpaid：使用賒賬方式進行交易所需的Token（6）Editing：對已存在的Token修改時所需FPS服務的最主要區別:不同類型的FPS服務中會返回不同的PaymentTokenFPS還向開發者提供了一個沙盒測試，而且不會產生任何費用電子商務服務DevPay、FPS和SimplePay簡單支付服務（SimplePay）——是一種允許顧客使用其Amazon賬戶進行支付的服務，商家只需要在相應的Web支付頁面放置合適的按鈕就可以使用戶利用其Amazon賬戶對商品進行支付

最大優勢：簡單

按鈕類型功能StandardButton普通的一次性購物MarketplaceButton作為交易的中介者BasicDonationButton允許在美的通過美國國稅局認證的非營利性機構募集捐款Marketplace-EnabledDonationButton允許第三方機構代表非營利性組織來募集捐款SubscriptionButton通過該按鈕可以收取類似訂閱費的重復性費用，還可以利用該按鈕對用戶提供免費試用服務或進行產品介紹Amazon執行網絡服務

Amazon執行網絡（FulfillmentWebService，FWS）——是一個非常有用的代理訂單執行網絡服務，簡單來說它的作用就是產品存儲及銷售業務的托管，也可直接理解為Amazon替用戶銷售產品FWS服務分成兩個部分Inbound：對應著用戶將自己的產品運送到Amazon的存儲中心的過程Outbound：對應著顧客購買產品后的一系列流程

土耳其機器人

土耳其機器人——計算機擅長的是有著固定流程的程式化計算，而對于像寫作、翻譯等具有高度靈活性且無固定規律可循的任務則顯得無能為力。土耳其機器人的推出就是為了解決這個問題主要概念（1）Requester：任務的發布者（2）HIT：Requester發布的任務（3）Worker：任務的接受者（4）Assignment：可以用來監督HIT的完成情況，對于每個Worker都會創建一個assignment。（5）Reward：Worker成功完成HIT后需要支付給其的獎勵土耳其機器人