confluent kafka 速記

最近在玩Kafka

confluent 整合kafka 的生態系 包含zookeeper ksql connect 


使用套件  confluent  安裝 版本  5.3.1  從 https://www.confluent.io 下載之後 zip 檔案之後 解開

第一次使用時 用的是 5.1 有幾個 connector 的 bug 5.3 就修正了 這邊直接用 5.3.1 的方式 紀錄一下

先幫 confluent/bin 加入   環境變數

vi /etc/profile
export PATH=/root/confluent-5.3.1/bin:$PATH
source /etc/profile

然後 5.3 之後需要 下載 cli 使用

curl -L https://cnfl.io/cli | sh -s -- -b /<path-to-directory>/bin

https://docs.confluent.io/current/cli/installing.html

放到  /bin 後  就可以用了

confluent local start  就可以啟動  kafka  然後進行測試

如果需要 connect 

control-center.properties   

confluent.controlcenter.connect.cluster=http://localhost:8083

confluent.controlcenter.connect.connect-default.cluster=http://localhost:8083

這需要打開  

connect-default 是local 預設的  配置項

基本上就 搞定了  再來就可以去玩 kafka 

http://yourhost:9021

下篇會 寫點 connect 小小的紀錄