Kafka出現數據積壓問題怎樣解決？

Kafka消費者消費數據的速度是非?？斓模绻捎谔幚鞬afka消息時，由于有一些外部IO、或者是產生網絡擁堵，就會造成Kafka中的數據積壓(或稱為數據堆積)。如果數據一直積壓，會導致數據出來的實時性受到較大影響。

使用Kafka-Eagle查看數據積壓情況

按照以下步驟查看分區(qū)消費數據的積壓情況。

解決數據積壓問題

當Kafka出現數據積壓問題時，首先要找到數據積壓的原因。以下是在企業(yè)中出現數據積壓的幾個類場景。

1.數據寫入MySQL失敗

某日運維人員找到開發(fā)人員，說某個topic的一個分區(qū)發(fā)生數據積壓，這個topic非常重要，而且開始有用戶投訴。運維非常緊張，趕緊重啟了這臺機器。重啟之后，還是無濟于事。

消費這個topic的代碼比較簡單，主要就是消費topic數據，然后進行判斷在進行數據庫操作。運維通過kafka-eagle找到積壓的topic，發(fā)現該topic的某個分區(qū)積壓了幾十萬條的消息。

最后，通過查看日志發(fā)現，由于數據寫入到MySQL中報錯，導致消費分區(qū)的offset一自沒有提交，所以數據積壓嚴重。

2.因為網絡延遲消費失敗

基于Kafka開發(fā)的系統(tǒng)平穩(wěn)運行了兩個月，突然某天發(fā)現某個topic中的消息出現數據積壓，大概有幾萬條消息沒有被消費。

通過查看應用程序日志發(fā)現，有大量的消費超時失敗。后查明原因，因為當天網絡抖動，通過查看Kafka的消費者超時配置為50ms，隨后，將消費的時間修改為500ms后問題解決。