幾十年前,消息隊列開(kāi)始興起,它用于連接大型機和服務(wù)器應用程序,并逐漸在企業(yè)的服務(wù)總線(xiàn)與事件總線(xiàn)設計模式、應用間的路由和中發(fā)揮至關(guān)重要的作用。
2020年處于移動(dòng)互聯(lián)網(wǎng)的下半場(chǎng),各種技術(shù)層出不窮,雖然數據也在爆發(fā)式增長(cháng),但是高并發(fā)、高吞吐已經(jīng)不再是首要的痛點(diǎn),穩定、可靠才是王道。
本文作為一篇消息隊列入門(mén)級介紹,幫助大家對消息隊列有一個(gè)大致的了解,并對對時(shí)下流行的消息隊列組件進(jìn)行了簡(jiǎn)單的比較。
一、為什么需要消息隊列?
消息隊列中間件是分布式系統中重要的組件,主要解決應用耦合,異步消息,流量削鋒等問(wèn)題。實(shí)現高性能、高可用、可伸縮和最終一致性架構。使用較多的消息隊列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ。
由于在高并發(fā)環(huán)境下,同步請求來(lái)不及處理,請求往往會(huì )發(fā)生阻塞。大量的請求到達訪(fǎng)問(wèn)數據庫,導致行鎖表鎖,最后請求線(xiàn)程會(huì )堆積過(guò)多,從而觸發(fā) too many connection錯誤,引發(fā)雪崩效應。我們使用消息隊列,通過(guò)異步處理請求,從而緩解系統的壓力。
二、消息隊列應用場(chǎng)景
以下介紹消息隊列在實(shí)際應用中常用的使用場(chǎng)景:異步處理,應用解耦,流量削鋒和消息通訊四個(gè)場(chǎng)景。
1、異步處理
場(chǎng)景說(shuō)明:用戶(hù)注冊后,需要發(fā)注冊郵件和注冊短信。傳統的做法有兩種:串行的方式和并行方式。
串行方式:將注冊信息寫(xiě)入數據庫成功后,發(fā)送注冊郵件,再發(fā)送注冊短信。以上三個(gè)任務(wù)全部完成后,返回給客戶(hù)。
并行方式:將注冊信息寫(xiě)入數據庫成功后,發(fā)送注冊郵件的同時(shí),發(fā)送注冊短信。以上三個(gè)任務(wù)完成后,返回給客戶(hù)端。與串行的差別是,并行的方式可以提高處理的時(shí)間。
假設三個(gè)業(yè)務(wù)節點(diǎn)每個(gè)使用50毫秒鐘,不考慮網(wǎng)絡(luò )等其他開(kāi)銷(xiāo),則串行方式的時(shí)間是150毫秒,并行的時(shí)間可能是100毫秒。
因為CPU在單位時(shí)間內處理的請求數是一定的,假設CPU1秒內吞吐量是100次。則串行方式1秒內CPU可處理的請求量是7次(1000/150)。并行方式處理的請求量是10次(1000/100)。
小結:如以上案例描述,傳統的方式系統的性能(并發(fā)量,吞吐量,響應時(shí)間)會(huì )有瓶頸。如何解決這個(gè)問(wèn)題呢?
引入消息隊列,將不是必須的業(yè)務(wù)邏輯,異步處理。
按照以上約定,用戶(hù)的響應時(shí)間相當于是注冊信息寫(xiě)入數據庫的時(shí)間,也就是50毫秒。注冊郵件,發(fā)送短信寫(xiě)入消息隊列后,直接返回,因此寫(xiě)入消息隊列的速度很快,基本可以忽略,因此用戶(hù)的響應時(shí)間可能是50毫秒。因此架構改變后,系統的吞吐量提高到每秒20QPS。比串行提高了3倍,比并行提高了兩倍!
2、應用解耦
場(chǎng)景說(shuō)明:用戶(hù)下單后,訂單系統需要通知庫存系統。傳統的做法是,訂單系統調用庫存系統的接口。
傳統模式的缺點(diǎn):假如庫存系統無(wú)法訪(fǎng)問(wèn),則訂單減庫存將失敗,從而導致訂單失敗,訂單系統與庫存系統耦合。
如何解決以上問(wèn)題呢?引入應用消息隊列后的方案:
訂單系統:用戶(hù)下單后,訂單系統完成持久化處理,將消息寫(xiě)入消息隊列,返回用戶(hù)訂單下單成功
庫存系統:訂閱下單的消息,采用拉/推的方式,獲取下單信息,庫存系統根據下單信息,進(jìn)行庫存操作
假如:在下單時(shí)庫存系統不能正常使用。也不影響正常下單,因為下單后,訂單系統寫(xiě)入消息隊列就不再關(guān)心其他的后續操作了。實(shí)現訂單系統與庫存系統的應用解耦。
3、流量削鋒
流量削鋒也是消息隊列中的常用場(chǎng)景,一般在秒殺或團搶活動(dòng)中使用廣泛!
應用場(chǎng)景:秒殺活動(dòng),一般會(huì )因為流量過(guò)大,導致流量暴增,應用掛掉。為解決這個(gè)問(wèn)題,一般需要在應用前端加入消息隊列。
可以控制活動(dòng)的人數,可以緩解短時(shí)間內高流量壓垮應用。
用戶(hù)的請求,服務(wù)器接收后,首先寫(xiě)入消息隊列。假如消息隊列長(cháng)度超過(guò)最大數量,則直接拋棄用戶(hù)請求或跳轉到錯誤頁(yè)面。
秒殺業(yè)務(wù)根據消息隊列中的請求信息,再做后續處理。
4、消息通訊
消息通訊是指,消息隊列一般都內置了高效的通信機制,因此也可以用在純的消息通訊。比如實(shí)現點(diǎn)對點(diǎn)消息隊列,或者聊天室等。
客戶(hù)端A和客戶(hù)端B使用同一隊列,進(jìn)行消息通訊。
客戶(hù)端A,客戶(hù)端B,客戶(hù)端N訂閱同一主題,進(jìn)行消息發(fā)布和接收。實(shí)現類(lèi)似聊天室效果。
消息隊列RabbitMQ,是一款支持持久化消息隊列的消息中間件。通過(guò)創(chuàng )建集群的方式來(lái)實(shí)現RabbitMQ以及所依賴(lài)的服務(wù)的部署,完全兼容RabbitMQ開(kāi)源生態(tài)以及多語(yǔ)言客戶(hù)端,為用戶(hù)提供快速創(chuàng )建、方便管理的消息中間件。支持多種模式,滿(mǎn)足不同使用場(chǎng)景,包括簡(jiǎn)單隊列模式、work模式、發(fā)布/訂閱模式、路由模式、topic模式等:http://wap.friendlycc.com.cn/
免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng )、來(lái)自本網(wǎng)站內容采集于網(wǎng)絡(luò )互聯(lián)網(wǎng)轉載等其它媒體和分享為主,內容觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng),如侵犯了原作者的版權,請告知一經(jīng)查實(shí),將立刻刪除涉嫌侵權內容,聯(lián)系我們QQ:712375056,同時(shí)歡迎投稿傳遞力量。
Copyright ? 2009-2022 56dr.com. All Rights Reserved. 特網(wǎng)科技 特網(wǎng)云 版權所有 特網(wǎng)科技 粵ICP備16109289號
域名注冊服務(wù)機構:阿里云計算有限公司(萬(wàn)網(wǎng)) 域名服務(wù)機構:煙臺帝思普網(wǎng)絡(luò )科技有限公司(DNSPod) CDN服務(wù):阿里云計算有限公司 百度云 中國互聯(lián)網(wǎng)舉報中心 增值電信業(yè)務(wù)經(jīng)營(yíng)許可證B2
建議您使用Chrome、Firefox、Edge、IE10及以上版本和360等主流瀏覽器瀏覽本網(wǎng)站