国产免费观看青青草原网站_久久精品视频色悠悠_影音先锋激情5566_日本一區二區三區免費高清在線_麻豆精品一区综合av_丰满的大屁股一区二区_男女啪啪免费网站_草莓视频app在线观看下载_午夜寂寞少妇AA片_混乱的生物课月老师后续视频

 
您現(xiàn)在的位置:首頁 ? 知識(shí)庫 ? 軟件開發(fā) 軟件開發(fā)
百度資深架構(gòu)師帶你深入淺出一致性Hash原理
發(fā)布日期:2018-04-11

一、前言

在解決分布式系統(tǒng)中負(fù)載均衡的問題時(shí)候可以使用Hash算法讓固定的一部分請(qǐng)求落到同一臺(tái)服務(wù)器上,這樣每臺(tái)服務(wù)器固定處理一部分請(qǐng)求(并維護(hù)這些請(qǐng)求的信息),起到負(fù)載均衡的作用。

但是普通的余數(shù)hash(hash(比如用戶id)%服務(wù)器機(jī)器數(shù))算法伸縮性很差,當(dāng)新增或者下線服務(wù)器機(jī)器時(shí)候,用戶id與服務(wù)器的映射關(guān)系會(huì)大量失效。一致性hash則利用hash環(huán)對(duì)其進(jìn)行了改進(jìn)。

二、一致性Hash概述

為了能直觀的理解一致性hash原理,這里結(jié)合一個(gè)簡單的例子來講解,假設(shè)有4臺(tái)服務(wù)器,地址為ip1,ip2,ip3,ip4。

  • 一致性hash是首先計(jì)算四個(gè)ip地址對(duì)應(yīng)的hash值

    hash(ip1),hash(ip2),hash(ip3),hash(ip3),計(jì)算出來的hash值是0~最大正整數(shù)直接的一個(gè)值,這四個(gè)值在一致性hash環(huán)上呈現(xiàn)如下圖:

  • hash環(huán)上順時(shí)針從整數(shù)0開始,一直到最大正整數(shù),我們根據(jù)四個(gè)ip計(jì)算的hash值肯定會(huì)落到這個(gè)hash環(huán)上的某一個(gè)點(diǎn),至此我們把服務(wù)器的四個(gè)ip映射到了一致性hash環(huán)

  • 當(dāng)用戶在客戶端進(jìn)行請(qǐng)求時(shí)候,首先根據(jù)hash(用戶id)計(jì)算路由規(guī)則(hash值),然后看hash值落到了hash環(huán)的那個(gè)地方,根據(jù)hash值在hash環(huán)上的位置順時(shí)針找距離最近的ip作為路由ip.

如上圖可知user1,user2的請(qǐng)求會(huì)落到服務(wù)器ip2進(jìn)行處理,User3的請(qǐng)求會(huì)落到服務(wù)器ip3進(jìn)行處理,user4的請(qǐng)求會(huì)落到服務(wù)器ip4進(jìn)行處理,user5,user6的請(qǐng)求會(huì)落到服務(wù)器ip1進(jìn)行處理。

下面考慮當(dāng)ip2的服務(wù)器掛了的時(shí)候會(huì)出現(xiàn)什么情況?

當(dāng)ip2的服務(wù)器掛了的時(shí)候,一致性hash環(huán)大致如下圖:

根據(jù)順時(shí)針規(guī)則可知user1,user2的請(qǐng)求會(huì)被服務(wù)器ip3進(jìn)行處理,而其它用戶的請(qǐng)求對(duì)應(yīng)的處理服務(wù)器不變,也就是只有之前被ip2處理的一部分用戶的映射關(guān)系被破壞了,并且其負(fù)責(zé)處理的請(qǐng)求被順時(shí)針下一個(gè)節(jié)點(diǎn)委托處理。

下面考慮當(dāng)新增機(jī)器的時(shí)候會(huì)出現(xiàn)什么情況?

當(dāng)新增一個(gè)ip5的服務(wù)器后,一致性hash環(huán)大致如下圖:

根據(jù)順時(shí)針規(guī)則可知之前user1的請(qǐng)求應(yīng)該被ip1服務(wù)器處理,現(xiàn)在被新增的ip5服務(wù)器處理,其他用戶的請(qǐng)求處理服務(wù)器不變,也就是新增的服務(wù)器順時(shí)針最近的服務(wù)器的一部分請(qǐng)求會(huì)被新增的服務(wù)器所替代。

三、一致性hash的特性

  • 單調(diào)性(Monotonicity),單調(diào)性是指如果已經(jīng)有一些請(qǐng)求通過哈希分派到了相應(yīng)的服務(wù)器進(jìn)行處理,又有新的服務(wù)器加入到系統(tǒng)中時(shí)候,應(yīng)保證原有的請(qǐng)求可以被映射到原有的或者新的服務(wù)器中去,而不會(huì)被映射到原來的其它服務(wù)器上去。 這個(gè)通過上面新增服務(wù)器ip5可以證明,新增ip5后,原來被ip1處理的user6現(xiàn)在還是被ip1處理,原來被ip1處理的user5現(xiàn)在被新增的ip5處理。

  • 分散性(Spread):分布式環(huán)境中,客戶端請(qǐng)求時(shí)候可能不知道所有服務(wù)器的存在,可能只知道其中一部分服務(wù)器,在客戶端看來他看到的部分服務(wù)器會(huì)形成一個(gè)完整的hash環(huán)。如果多個(gè)客戶端都把部分服務(wù)器作為一個(gè)完整hash環(huán),那么可能會(huì)導(dǎo)致,同一個(gè)用戶的請(qǐng)求被路由到不同的服務(wù)器進(jìn)行處理。這種情況顯然是應(yīng)該避免的,因?yàn)樗荒鼙WC同一個(gè)用戶的請(qǐng)求落到同一個(gè)服務(wù)器。所謂分散性是指上述情況發(fā)生的嚴(yán)重程度。好的哈希算法應(yīng)盡量避免盡量降低分散性。 一致性hash具有很低的分散性

  • 平衡性(Balance):平衡性也就是說負(fù)載均衡,是指客戶端hash后的請(qǐng)求應(yīng)該能夠分散到不同的服務(wù)器上去。一致性hash可以做到每個(gè)服務(wù)器都進(jìn)行處理請(qǐng)求,但是不能保證每個(gè)服務(wù)器處理的請(qǐng)求的數(shù)量大致相同,如下圖

服務(wù)器ip1,ip2,ip3經(jīng)過hash后落到了一致性hash環(huán)上,從圖中hash值分布可知ip1會(huì)負(fù)責(zé)處理大概80%的請(qǐng)求,而ip2和ip3則只會(huì)負(fù)責(zé)處理大概20%的請(qǐng)求,雖然三個(gè)機(jī)器都在處理請(qǐng)求,但是明顯每個(gè)機(jī)器的負(fù)載不均衡,這樣稱為一致性hash的傾斜,虛擬節(jié)點(diǎn)的出現(xiàn)就是為了解決這個(gè)問題。如果想學(xué)習(xí)Java工程化、高性能及分布式、深入淺出。微服務(wù)、Spring,MyBatis,Netty源碼分析的朋友可以加Java進(jìn)階群:582505643,群里有阿里大牛直播講解技術(shù),以及Java大型互聯(lián)網(wǎng)技術(shù)的視頻免費(fèi)分享給大家。

五、虛擬節(jié)點(diǎn)

當(dāng)服務(wù)器節(jié)點(diǎn)比較少的時(shí)候會(huì)出現(xiàn)上節(jié)所說的一致性hash傾斜的問題,一個(gè)解決方法是多加機(jī)器,但是加機(jī)器是有成本的,那么就加虛擬節(jié)點(diǎn),比如上面三個(gè)機(jī)器,每個(gè)機(jī)器引入1個(gè)虛擬節(jié)點(diǎn)后的一致性hash環(huán)的圖如下:

其中ip1-1是ip1的虛擬節(jié)點(diǎn),ip2-1是ip2的虛擬節(jié)點(diǎn),ip3-1是ip3的虛擬節(jié)點(diǎn)。

可知當(dāng)物理機(jī)器數(shù)目為M,虛擬節(jié)點(diǎn)為N的時(shí)候,實(shí)際hash環(huán)上節(jié)點(diǎn)個(gè)數(shù)為M*N。比如當(dāng)客戶端計(jì)算的hash值處于ip2和ip3或者處于ip2-1和ip3-1之間時(shí)候使用ip3服務(wù)器進(jìn)行處理。

六、均勻一致性hash

上節(jié)我們使用虛擬節(jié)點(diǎn)后的圖看起來比較均衡,但是如果生成虛擬節(jié)點(diǎn)的算法不夠好很可能會(huì)得到下面的環(huán):

可知每個(gè)服務(wù)節(jié)點(diǎn)引入1個(gè)虛擬節(jié)點(diǎn)后,情況相比沒有引入前均衡性有所改善,但是并不均衡。

均衡的一致性hash應(yīng)該是如下圖:

均勻一致性hash的目標(biāo)是如果服務(wù)器有N臺(tái),客戶端的hash值有M個(gè),那么每個(gè)服務(wù)器應(yīng)該處理大概M/N個(gè)用戶的。也就是每臺(tái)服務(wù)器負(fù)載盡量均衡

七、總結(jié)

在分布式系統(tǒng)中一致性hash起著不可忽略的地位,無論是分布式緩存,還是分布式Rpc框架的負(fù)載均衡策略都有所使用。

  • 1.公司登記注冊(cè)于2003年1月27日,清遠(yuǎn)市桑達(dá)電子網(wǎng)絡(luò)媒體有限公司
    2.公司2006年起成為清遠(yuǎn)市政府定點(diǎn)協(xié)議供貨商,電子采購供貨商
    3.公司2007年被清遠(yuǎn)市相關(guān)政府部門評(píng)為安防行業(yè)狀元
    4.公司2007年起成為長城電腦清遠(yuǎn)如意服務(wù)站(SP368)
    5.公司2007年承建清遠(yuǎn)市橫河路口電子警察工程,開創(chuàng)清遠(yuǎn)電子警察先河。
  • 6.公司2007年起成為IBM合作伙伴、公司2010年底成為金蝶軟件清遠(yuǎn)金牌代理(伙伴編號(hào):30030013)
    7.公司組團(tuán)隊(duì)參加南方都市報(bào)組織的創(chuàng)富評(píng)選,獲廣東80強(qiáng)。公司申請(qǐng)多項(xiàng)軟件著作權(quán)、專利權(quán)
    8.2016年起公司成為粵東西北地區(qū)為數(shù)不多的雙軟企業(yè),確立“讓軟件驅(qū)動(dòng)世界,讓智能改變生活!"企業(yè)理想
    9.2016-01-29更名為廣東互動(dòng)電子網(wǎng)絡(luò)媒體有限公司
    10.2021-01-13更名為廣東互動(dòng)電子有限公司
  • 投資合作咨詢熱線電話:0763-3391888 3323588
  • 做一個(gè)負(fù)責(zé)任的百年企業(yè)! 天行健,君子以自強(qiáng)不息;地勢坤,君子以厚德載物;
    為用戶創(chuàng)造價(jià)值! 讓軟件驅(qū)動(dòng)世界; 讓智能改變生活; 超越顧客期望,幫助顧客成功;
    對(duì)客戶負(fù)責(zé),對(duì)員工負(fù)責(zé),對(duì)企業(yè)命運(yùn)負(fù)責(zé)!幫助支持公司的客戶成功;幫助忠誠于公司的員工成功!
  • 聯(lián)系電話:0763-3391888 3323588 3318977
    服務(wù)熱線:18023314222 QQ:529623964
  • 工作QQ:2501204690 商務(wù)QQ: 602045550
    投資及業(yè)務(wù)投訴QQ: 529623964
    微信:小米哥 微信號(hào):qysed3391888
    騰訊微博:桑達(dá)網(wǎng)絡(luò)-基石與起點(diǎn)
  • E-MAIL:222#QYSED.CN ok3391888#163.com (請(qǐng)用@替換#)
在線客服
  • 系統(tǒng)集成咨詢
    點(diǎn)擊這里給我發(fā)消息
  • 網(wǎng)站\微信\軟件咨詢
    點(diǎn)擊這里給我發(fā)消息
  • 售后服務(wù)
    點(diǎn)擊這里給我發(fā)消息
  • 投資合作
    點(diǎn)擊這里給我發(fā)消息