網(wǎng)站服務(wù)器架構(gòu)&分布式存儲(chǔ)memcached提綱硬件架構(gòu)

服務(wù)器劃分

帶寬的計(jì)算2.網(wǎng)站架構(gòu)的演變過(guò)程3.軟件架構(gòu)

Web服務(wù)器集群負(fù)載均衡分布式緩存CDN內(nèi)容分發(fā)系統(tǒng)數(shù)據(jù)庫(kù)集群NoSql-key-value存儲(chǔ)

服務(wù)器劃分

對(duì)于訪問(wèn)量大的網(wǎng)站而言，將網(wǎng)站的各個(gè)部分拆分分別部署到不同服務(wù)器上是很有必要的。例如將圖片和web站點(diǎn)分開(kāi)一般而言，在網(wǎng)站的整個(gè)服務(wù)器部署上分為如下幾種類型：

文件服務(wù)器：一般存儲(chǔ)系統(tǒng)的相關(guān)圖片和文件，給各個(gè)子系統(tǒng)提供統(tǒng)一的文件調(diào)用

代理服務(wù)器：一般使用linux+Nginx作為反向代理 web服務(wù)器：.net中最常用的Web服務(wù)器IIS，Mono中一般使用Nginx

應(yīng)用服務(wù)器：負(fù)責(zé)系統(tǒng)中各個(gè)業(yè)務(wù)邏輯的提供，比如用戶中心，結(jié)算中心，支付中心等緩存服務(wù)器：提供MemCached緩存服務(wù)

數(shù)據(jù)庫(kù)服務(wù)器：負(fù)責(zé)網(wǎng)站數(shù)據(jù)的提供，一般為Sqlserver,mysql,oracle等

帶寬的計(jì)算

假設(shè)網(wǎng)站每天要承受100萬(wàn)pv的訪問(wèn)量，計(jì)算帶寬要涉及到兩個(gè)指標(biāo)(峰值流量和頁(yè)面平均大小),帶寬單位為bps(bit/s)。 1、假設(shè)峰值流量為平均流量的5倍； 2、假設(shè)每次訪問(wèn)的平均頁(yè)面大小為100KB左右。

1B=8b---------------------1B/s=8b/s(1Bps=8bps) 1KB=1024B-------------1KB/s=1024B/s 1MB=1024KB------------1Mps=1024KB/s 100萬(wàn)pv訪問(wèn)量一天平均分布，折合每秒大約訪問(wèn)12次，頁(yè)面大小為字節(jié)(Byte),總共訪問(wèn)頁(yè)面大小就是12*100KB=1200KB,1Byte=8bit,則1200KB=9600Kb，9600Kb/1024大約9Mb/s(9Mbps)，我們網(wǎng)站在峰值流量時(shí)一定要保持正常訪問(wèn)，則真實(shí)帶寬應(yīng)該在9M*5=45Mbps左右。網(wǎng)站架構(gòu)的演變過(guò)程之一公司剛剛起步，業(yè)務(wù)量不大，往往可能在某個(gè)虛擬主機(jī)空間商租用一個(gè)虛擬主機(jī)和一個(gè)數(shù)據(jù)庫(kù)就搭建了一個(gè)最基本的網(wǎng)站網(wǎng)站架構(gòu)的演變過(guò)程之二增加緩存網(wǎng)站架構(gòu)的演變過(guò)程之三增加web服務(wù)器

當(dāng)系統(tǒng)訪問(wèn)量的再度增加，webserver機(jī)器的壓力在高峰會(huì)上升到比較高，這個(gè)時(shí)候開(kāi)始考慮增加一臺(tái)WebServer，但是增加一臺(tái)WebServer的時(shí)候意味著要在兩臺(tái)的服務(wù)器上分別建立相同的站點(diǎn)，那么就會(huì)出現(xiàn)如下問(wèn)題：

如何讓訪問(wèn)分配到這兩臺(tái)機(jī)器上？Nginx

如何保持狀態(tài)信息的同步，例如用戶session等？

如何保持?jǐn)?shù)據(jù)緩存信息的同步？

如何讓上傳文件這些類似的功能繼續(xù)正常？

網(wǎng)站架構(gòu)的演變過(guò)程之四分庫(kù)，分表，分布式緩存通過(guò)增加web服務(wù)器享受了一段快速訪問(wèn)的幸福后，發(fā)現(xiàn)系統(tǒng)又開(kāi)始變慢了，經(jīng)過(guò)查找，發(fā)現(xiàn)數(shù)據(jù)庫(kù)寫入、更新的這些操作的部分?jǐn)?shù)據(jù)庫(kù)連接的

資源競(jìng)爭(zhēng)非常激烈，導(dǎo)致了系統(tǒng)變慢，這下怎么辦呢？分庫(kù)分表Memcache,Redis分布式緩存

垂直分區(qū)userblogApp通用框架

水平分區(qū)user33%user33%App通用框架user34%blogblogblog水平分區(qū)程序序改進(jìn)水平分區(qū)VS垂直分區(qū)水平垂直存儲(chǔ)依賴可跨越DB可跨越物理機(jī)器可跨越表空間,不同的物理屬性不能跨DB存儲(chǔ)存儲(chǔ)方式分布式集中式擴(kuò)展性ScaleOut(橫向擴(kuò)展，增加便宜設(shè)備)ScaleUp(升級(jí)設(shè)備)可用性無(wú)單點(diǎn)存在單點(diǎn)(DB數(shù)據(jù)本身)價(jià)格低廉適中，甚至昂貴應(yīng)用場(chǎng)景web2.0網(wǎng)站多數(shù)傳統(tǒng)應(yīng)用架構(gòu)演變過(guò)程程之五Web園或增加更多多WebServer在做完分庫(kù)分分表這些工作作后，數(shù)據(jù)庫(kù)庫(kù)上的壓力已已經(jīng)降到比較較低了,這個(gè)時(shí)候可能能到了下一個(gè)個(gè)瓶頸，查看看windows的性能計(jì)數(shù)器器發(fā)現(xiàn)有大量量的阻塞請(qǐng)求求，于是可以以做Web園或者添加一一些webserver服務(wù)器。在這這個(gè)添加webserver服務(wù)器的過(guò)程程，有可能會(huì)會(huì)出現(xiàn)如下幾幾個(gè)問(wèn)題：一臺(tái)Nginx服務(wù)器的軟負(fù)負(fù)載已經(jīng)無(wú)法法承擔(dān)巨大的的web訪問(wèn)量了，可可以用硬件負(fù)負(fù)載解決F5或應(yīng)用從邏輯輯上做一定的的分類，然后后分散到不同同的軟負(fù)載集集群中原有的一些狀狀態(tài)信息同步步、文件共享享等方案可能能會(huì)出現(xiàn)瓶頸頸，需要進(jìn)行行改進(jìn)，也許許這個(gè)時(shí)候會(huì)會(huì)根據(jù)情況編編寫符合網(wǎng)站站業(yè)務(wù)需求的的分布式文件件系統(tǒng)等；在做完這些工工作后，開(kāi)始始進(jìn)入一個(gè)看看似完美的無(wú)無(wú)限伸縮的時(shí)時(shí)代，當(dāng)網(wǎng)站站流量增加時(shí)時(shí)，應(yīng)對(duì)的解解決方案就是是不斷的添加加webserver。架構(gòu)演變之六六讀寫分離和和廉價(jià)存儲(chǔ)方方案通過(guò)增加web服務(wù)器享受了了一段快速訪訪問(wèn)的幸福后后，發(fā)現(xiàn)系統(tǒng)統(tǒng)又開(kāi)始變慢慢了，經(jīng)過(guò)查查找，發(fā)現(xiàn)數(shù)數(shù)據(jù)庫(kù)寫入、、更新的這些些操作的部分分?jǐn)?shù)據(jù)庫(kù)連接接的

資源競(jìng)競(jìng)爭(zhēng)非常激烈烈，導(dǎo)致了系系統(tǒng)變慢，這這下怎么辦呢呢，讀寫分離離,訂閱和發(fā)布廉價(jià)存儲(chǔ)方案案NosqlNoSQL=NotOnlySQL指的是非關(guān)系系型的數(shù)據(jù)庫(kù)庫(kù)。隨著互聯(lián)聯(lián)網(wǎng)web2.0網(wǎng)站的興起，，傳統(tǒng)的關(guān)系系數(shù)據(jù)庫(kù)在應(yīng)應(yīng)付web2.0網(wǎng)站，特別是是超大規(guī)模和和高并發(fā)的SNS類型的web2.0純動(dòng)態(tài)網(wǎng)站已已經(jīng)顯得力不不從心，暴露露了很多難以以克服的問(wèn)題題，而非關(guān)系系型的數(shù)據(jù)庫(kù)庫(kù)則由于其本本身的特點(diǎn)得得到了非常迅迅速的發(fā)展。。NoSql數(shù)據(jù)庫(kù)大量應(yīng)用于微微博系統(tǒng)等事事務(wù)性不強(qiáng)的的系統(tǒng)BigTableMongoDB/topic/2011/10-1/nosqlapp/index.html架構(gòu)演變之七七進(jìn)入大型分分布式應(yīng)用時(shí)時(shí)代和廉價(jià)服服務(wù)器群夢(mèng)想想時(shí)代經(jīng)過(guò)上面這個(gè)個(gè)漫長(zhǎng)而痛苦苦的過(guò)程，終終于再度迎來(lái)來(lái)了完美的時(shí)時(shí)代，不斷的的增加webserver就可以支撐越越來(lái)越高的訪訪問(wèn)量了，但但是原來(lái)部署署在webserver上的那個(gè)web應(yīng)用已經(jīng)非常常龐大

了，，當(dāng)多個(gè)團(tuán)隊(duì)隊(duì)都開(kāi)始對(duì)其其進(jìn)行改動(dòng)時(shí)時(shí)，相當(dāng)?shù)牟徊环奖悖瑥?fù)用用性也相當(dāng)糟糟糕，基本上上每個(gè)團(tuán)隊(duì)都都做了或多或或少重復(fù)的事事情，而且部部署和維護(hù)也也是相當(dāng)?shù)穆槁闊驗(yàn)辇孆嫶蟮膽?yīng)用包包在N臺(tái)機(jī)器上復(fù)制制、啟動(dòng)都需需要耗費(fèi)不少少的時(shí)間，出出問(wèn)題的時(shí)候候也不是很好好查，另外一一個(gè)更糟糕的的狀況是很有有可能會(huì)出現(xiàn)現(xiàn)某個(gè)應(yīng)用上上的bug就導(dǎo)

致了全全站都不可用用，還有其他他的像調(diào)優(yōu)不不好操作（因因?yàn)闄C(jī)器上部部署的應(yīng)用什什么都要做，，根本就無(wú)法法進(jìn)行針對(duì)性性的調(diào)優(yōu)）等等因素，根據(jù)據(jù)這樣的分析析，開(kāi)始痛下下決心，將系系統(tǒng)根據(jù)職職責(zé)進(jìn)行拆分分，于是一個(gè)個(gè)大型的分布布式應(yīng)用就誕誕生了，通常常，這個(gè)步驟驟需要耗費(fèi)相相當(dāng)長(zhǎng)的時(shí)間間，因?yàn)闀?huì)碰碰到很多的挑挑戰(zhàn)：1、拆成分布式式后需要提供供一個(gè)高性能能、穩(wěn)定的通通信框架，并并且需要支持持多種不同的的通信和遠(yuǎn)程程調(diào)用方式；；2、將一個(gè)龐大大的應(yīng)用拆分分需要耗費(fèi)很很長(zhǎng)的時(shí)間，，需要進(jìn)行業(yè)業(yè)務(wù)的整理和和系統(tǒng)依賴關(guān)關(guān)系的控制等等；3、如何運(yùn)維（（依賴管理、、運(yùn)行狀況管管理、錯(cuò)誤追追蹤、調(diào)優(yōu)、、監(jiān)控和報(bào)警警等）好這個(gè)個(gè)龐大的分布布式應(yīng)用。經(jīng)經(jīng)過(guò)這一步步，差不多系系統(tǒng)的架構(gòu)進(jìn)進(jìn)入相對(duì)穩(wěn)定定的階段，同同時(shí)也能開(kāi)始始采用大量的的廉價(jià)機(jī)器來(lái)來(lái)支撐著巨大大的訪問(wèn)量和和數(shù)據(jù)量，結(jié)結(jié)合這套架構(gòu)構(gòu)以及這么多多次演變過(guò)程程吸取的經(jīng)驗(yàn)驗(yàn)來(lái)采用其他他各種各樣的的方法來(lái)支撐撐著越來(lái)越高高的訪問(wèn)量。。Nginx負(fù)載均衡CDN內(nèi)容分發(fā)系統(tǒng)統(tǒng)Memcached部署技巧Nginx是什么？Nginx("enginex")是一個(gè)高性能能的HTTP和反向代理服務(wù)器，也是是一個(gè)IMAP/POP3/SMTP代理服務(wù)器。Nginx是由IgorSysoev為俄羅斯訪問(wèn)問(wèn)量第二的Rambler.ru站點(diǎn)開(kāi)發(fā)的，，它已經(jīng)在該該站點(diǎn)運(yùn)行超超過(guò)四年多了了。Igor將源代碼以類類BSD許可證的形式式發(fā)布。自Nginx發(fā)布四年來(lái)，，Nginx已經(jīng)因?yàn)樗牡姆€(wěn)定性、豐豐富的功能集集、示例配配置文件和低低系統(tǒng)資源的的消耗而聞名名了。目前國(guó)國(guó)內(nèi)各大門戶戶網(wǎng)站已經(jīng)部部署了Nginx，如新浪、網(wǎng)網(wǎng)易、騰訊等等；國(guó)內(nèi)幾個(gè)個(gè)重要的視頻頻分享網(wǎng)站也也部署了Nginx，如六房間、、酷6等。新近發(fā)發(fā)現(xiàn)Nginx技術(shù)在國(guó)內(nèi)日日趨火熱，越越來(lái)越多的網(wǎng)網(wǎng)站開(kāi)始部署署Nginx。squidNginx中文WikiNginx的安裝Nginx在Ubuntu下的安裝配置置Nginx在Ubuntu下的安裝3.配置Nginx.conf文件實(shí)現(xiàn)負(fù)載載均衡Vim/etc/nginx/nginx.conf打開(kāi)配置文件件，在http{}中配置如下信信息：upstreamtestsite{server:9090down;server:8080weight=2;server:6060;weight=1;server:7070backup;}server{listen9988;server_name

;Nginx在Ubuntu下的安裝配置置location/{include/usr/local/nginx/conf/proxy.conf;proxy_passhttp://testsite;}}配置文件正確確性驗(yàn)證Sudo/usr/local/nginx/sbin/nginx-t如果屏幕顯示示以下兩行信信息，說(shuō)明配配置文件正確確：theconfigurationfile/usr/local/webserver/nginx/conf/nginx.confsyntaxisok

theconfigurationfile/usr/local/webserver/nginx/conf/nginx.confwastestedsuccessfully配置完畢以后后執(zhí)行sudo/etc/init.d/nginx-sreload（force_reload）進(jìn)行nginx的平滑重啟使使配置生效Nginx在Ubuntu下的安裝配置置這樣,nginx就會(huì)在啟動(dòng)之之后開(kāi)始偵聽(tīng)聽(tīng)本地IP（）的9988端口請(qǐng)求，當(dāng)當(dāng)用戶訪問(wèn):9988時(shí)nginx會(huì)將其請(qǐng)求轉(zhuǎn)轉(zhuǎn)向到testsite中所指定的兩兩個(gè)iis站點(diǎn)，并將執(zhí)執(zhí)行的結(jié)果轉(zhuǎn)轉(zhuǎn)發(fā)給客戶端端。我們刷新新兩次會(huì)看到到第一次返回回的是站點(diǎn)1的頁(yè)面，那么么第二次就會(huì)會(huì)是站點(diǎn)2的頁(yè)面，這樣樣就達(dá)到了負(fù)負(fù)責(zé)均衡的效效果。實(shí)現(xiàn)多臺(tái)服務(wù)務(wù)器之間狀態(tài)態(tài)共享和數(shù)據(jù)據(jù)共享1、使用分布式式緩存，不需需將所有狀態(tài)態(tài)存入緩存服服務(wù)器2、ip_hash4、upstream_hashCDN內(nèi)容分發(fā)網(wǎng)絡(luò)絡(luò)CDN的通俗理解就就是網(wǎng)站加速速，可以解決決跨運(yùn)營(yíng)商，，跨地區(qū)，服服務(wù)器負(fù)載能能力過(guò)低，帶帶寬過(guò)少等帶帶來(lái)的網(wǎng)站打打開(kāi)速度慢等等問(wèn)題。網(wǎng)宿宿，睿江，藍(lán)藍(lán)訊MemCached分布式緩存1、在windows下安裝Memcached參考：MemCachedforWindows安裝與狀態(tài)查查詢MemC使用實(shí)例2、在Ubuntu下安裝MemCached在Linux上安裝Memcached服務(wù)3、memcached在分布式系統(tǒng)統(tǒng)架構(gòu)中扮演演重要角色memcached在分布式系統(tǒng)統(tǒng)架構(gòu)中的應(yīng)應(yīng)用memcached在分布式系統(tǒng)統(tǒng)架構(gòu)中的應(yīng)應(yīng)用固定機(jī)器數(shù)量量時(shí)，保證對(duì)對(duì)相同key的訪問(wèn)會(huì)被發(fā)發(fā)送到相同的的服務(wù)器一致性Hash算法分布式架構(gòu)中中，節(jié)點(diǎn)的故故障是不可避避免的，當(dāng)添添加和刪除某某一節(jié)點(diǎn)時(shí)，，會(huì)導(dǎo)致大量量散列數(shù)據(jù)失失效，需要重重新散列。這這意味著這些些丟失的數(shù)據(jù)據(jù)要去數(shù)據(jù)庫(kù)庫(kù)中請(qǐng)求一次次以后才能按按照hash(key)/服務(wù)器數(shù)=服務(wù)器編號(hào)重重新散列緩緩存到對(duì)應(yīng)的的服務(wù)器上。。這對(duì)于高訪訪問(wèn)量的系統(tǒng)統(tǒng)來(lái)講影響是是非常大的。。人們采用一致性Hash來(lái)解決此類問(wèn)問(wèn)題一致性Hash算法增刪服務(wù)務(wù)器后的命中中率測(cè)試測(cè)試隨機(jī)生成成的眾多key是否會(huì)平均分分布到各個(gè)結(jié)結(jié)點(diǎn)上測(cè)試結(jié)結(jié)果如下:節(jié)點(diǎn)增刪測(cè)試試:在環(huán)上插入N個(gè)結(jié)點(diǎn)，每個(gè)個(gè)節(jié)點(diǎn)50個(gè)虛擬結(jié)點(diǎn)。。隨機(jī)生成眾眾多key，在增刪節(jié)點(diǎn)點(diǎn)時(shí)，測(cè)試同同一個(gè)key選擇相同節(jié)點(diǎn)點(diǎn)的概率，測(cè)測(cè)試如果如下下:9、靜夜夜四無(wú)無(wú)鄰，，荒居居舊業(yè)業(yè)貧。。。1月-231月-23Thursday,January5,202310、雨中中黃葉葉樹(shù)，，燈下下白頭頭人。。。02:29:2502:29:2502:291/5/20232:29:25AM11、以以我我獨(dú)獨(dú)沈沈久久，，愧愧君君相相見(jiàn)見(jiàn)頻頻。。。。1月月-2302:29:2502:29Jan-2305-Jan-2312、故人人江海海別，，幾度度隔山山川。。。02:29:2502:29:2502:29Thursday,January5,202313、乍見(jiàn)翻翻疑夢(mèng)，，相悲各各問(wèn)年。。。1月-231月-2302:29:2502:29:25January5,202314、他鄉(xiāng)生白白發(fā)，舊國(guó)國(guó)見(jiàn)青山。。。05一月月20232:29:25上上午02:29:251月-2315、比不了了得就不不比，得得不到的的就不要要。。。一月232:29上午午1月-2302:29January5,202316、行行動(dòng)動(dòng)出出成成果果，，工工作作出出財(cái)財(cái)富富。。。。2023/1/52:29:2502:29:2505January202317、做前，，能夠環(huán)環(huán)視四周周；做時(shí)時(shí)，你只只能或者者最好沿沿著以腳腳為起點(diǎn)點(diǎn)的射線線向前。。。2:29:25上午午2:29上午午02:29:251月-239、沒(méi)有失失敗，只只有暫時(shí)時(shí)停止成成功！。。1月-231月-23Thursday,January5,202310、很多事事情努力力了未必必有結(jié)果果，但是是不努力力卻什么么改變也也沒(méi)有。。。02:29:2502:29:2502:291/5/20232:29:25AM11、成功就是日日復(fù)一日那一一點(diǎn)點(diǎn)小小努努力的積累。。。1月-2302:29:2502:29Jan-2305-Jan-2312、世間成事，，不求其絕對(duì)對(duì)圓滿，留一一份不足，可可得無(wú)限完美美。。02:29:2502:29:2502:29Thursday,January5,202313、不不知知香香積積寺寺，，數(shù)數(shù)里里入入云云峰峰。。。。1月月-231月月-2302:29:2502:29:25January5,202314、意志志堅(jiān)強(qiáng)強(qiáng)的人人能把把世界界放在在手中中像泥泥塊一一樣任任意揉揉捏。。05一一月月20232:29:25上上午02:29:251月-2315、楚塞三湘接接，荊門九派派通。。。一月232:29上上午1月-2302:29January5,202316、少少年年十十五五二二十十時(shí)時(shí)，，步步行行奪奪得得胡胡馬馬騎騎。。。。2023/1/52:29:2602:29:2605January202317、空空山山新新雨雨后后，，天天氣氣晚晚來(lái)來(lái)秋秋。。。。2:29:26上上午午2:29上上午午02:29:261月月-239、楊柳散和和風(fēng)，青山山澹吾慮。。。1月-231月-23Thursday,January5,202310、閱讀一切切好書如同同和過(guò)去最最杰出的人人談話。02:29:2602:29:2602:291/5/20