二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資快報 » 產品 » 正文

消費者分區分配策略_Stricky_Range

放大字體  縮小字體 發布日期:2023-03-17 19:54:32    作者:葉昊天    瀏覽次數:88
導讀

Range范圍分配策略是Kafka默認的分配策略,它可以確保每個消費者消費的分區數量是均衡的。注意:Rangle范圍分配策略是針對每個Topic的。配置配置消費者的partition.assignment.strategy為org.apache.kafka.clients.c

Range范圍分配策略是Kafka默認的分配策略,它可以確保每個消費者消費的分區數量是均衡的。注意:Rangle范圍分配策略是針對每個Topic的。

配置

配置消費者的partition.assignment.strategy為org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分區數量 / 消費者數量
m = 分區數量 % 消費者數量
前m個消費者消費n+1個
剩余消費者消費n個

RoundRobin輪詢策略

RoundRobinAssignor輪詢策略是將消費組內所有消費者以及消費者所訂閱的所有topic的partition按照字典序排序(topic和分區的hashcode進行排序),然后通過輪詢方式逐個將分區以此分配給每個消費者。

配置

配置消費者的partition.assignment.strategy為org.apache.kafka.clients.consumer.RoundRobinAssignor。

Stricky粘性分配策略

從Kafka 0.11.x開始,引入此類分配策略。主要目的:

1. 分區分配盡可能均勻

2. 在發生rebalance的時候,分區的分配盡可能與上一次分配保持相同
沒有發生rebalance時,Striky粘性分配策略和RoundRobin分配策略類似。

上面如果consumer2崩潰了,此時需要進行rebalance。如果是Range分配和輪詢分配都會重新進行分配,例如:

通過上圖,我們發現,consumer0和consumer1原來消費的分區大多發生了改變。接下來我們再來看下粘性分配策略。

我們發現,Striky粘性分配策略,保留rebalance之前的分配結果。這樣,只是將原先consumer2負責的兩個分區再均勻分配給consumer0、consumer1。這樣可以明顯減少系統資源的浪費,例如:之前consumer0、consumer1之前正在消費某幾個分區,但由于rebalance發生,導致consumer0、consumer1需要重新消費之前正在處理的分區,導致不必要的系統開銷。(例如:某個事務正在進行就必須要取消了)

 
(文/葉昊天)
免責聲明
本文僅代表作發布者:葉昊天個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯系
客服

聯系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 日本无卡码免费一区二区三区| 韩国全部三级伦电影在线播放| 欧美精品亚洲精品日韩专区va| 大香伊蕉国产av| 国语自产偷拍精品视频偷| 免费国产在线视频| yin荡护士揉捏乱p办公室视频| 精品国产呦系列在线看| 成人在线第一页| 动漫乱理伦片在线观看| 一级毛片在播放免费| 精品久久久久久亚洲精品| 最新电影天堂快影eeuss| 国产片91人成在线观看| 久草免费资源站| 69国产成人精品午夜福中文| 欧美日韩精品在线播放| 国产精品亚洲综合天堂夜夜| 亚洲一区欧美日韩| 99福利在线观看| 欧美激情视频一区二区| 国产精品无码专区在线播放 | 精品四虎免费观看国产高清午夜| 最近最新中文字幕2018 | 国产中文字幕视频| 中日韩精品视频在线观看| 精品视频一区二区三区在线观看| 少妇高潮太爽了在线视频| 亚洲资源在线视频| 18禁裸男晨勃露j毛免费观看| 未满小14洗澡无码视频网站| 国产免费小视频在线观看| 中文字幕人成乱码熟女| 福利网站在线观看| 国产高清美女**毛片| 亚欧色一区w666天堂| 豆奶视频高清在线下载| 娇BBB搡BBBB揉BBBB| 亚洲欧美一区二区三区日产| 国产精品你懂得| 撒尿bbwbbw|