Apache Kafka は、分散システム内のさまざまなアプリケーションがメッセージを通じて通信し、データを共有できるようにするメッセージ ストリーミング サービスです。
これは、プロデューサー アプリケーションがメッセージをパブリッシュし、コンシューマー システムがメッセージをサブスクライブするパブ/サブシステムとして機能します。
Apache Kafka を使用すると、データを生成および消費するシステムの部分間に疎結合アーキテクチャを採用できます。これにより、システムの設計と管理が簡単になります。 Kafka は、メタデータ管理とクラスターのさまざまな要素の同期を Zookeeper に依存します。

Apache Kafkaの機能
Apache Kafka の人気が高まったのには、次のような理由があります。
- クラスターとパーティションを通じて拡張可能
- 1 秒あたり 200 万回の書き込みを高速に実行可能
- メッセージが送信される順序を維持します
- レプリカシステムによる信頼性
- ダウンタイムなしでアップグレード可能
ここで、Kafka の一般的な使用例をいくつか見てみましょう。
Apache Kafka の一般的な使用例
Kafka は、ビッグ データの処理、分析のためのボタン クリックなどのイベントの記録と集計、システムのさまざまな部分からのログを 1 つの中央の場所に結合する際によく使用されます。
これは、システム内のさまざまなアプリケーション間の通信と、IoT デバイスからのデータのリアルタイム処理を可能にするのに役立ちます。
次に、Windows と Linux に Kafka をインストールする詳細な手順を確認してみましょう。
Windows への Kafka のインストール
まず、Windows に Apache Kafka をインストールするために、マシンに Java がインストールされているかどうかを確認します。管理者モードでコマンド プロンプトを開き、次のコマンドを入力します。
java --version
Java がインストールされている場合は、現在インストールされている JDK のバージョン番号を取得する必要があります。
コマンドが認識されなかったというエラー メッセージが表示された場合は、Java がインストールされていないため、Java をインストールする必要があります。 Java をインストールするには、Adoptium.net にアクセスし、ダウンロード ボタンをクリックします。

これにより、Java インストーラー ファイルがダウンロードされるはずです。ダウンロードが完了したら、インストーラーを実行します。これにより、インストール プロンプトが開きます。

「次へ」を繰り返し押して、デフォルトのオプションを選択します。インストールが開始されます。コマンド プロンプトを閉じ、管理者モードで別のコマンド プロンプトを再度開き、次のコマンドを入力してインストールを確認します。
java --version
今回は、インストールしたばかりの JDK バージョンを取得する必要があります。インストールが完了したら、Kafka のインストールを開始できます。
Kafka をインストールするには、まず Kafka Web サイト にアクセスします。

リンクをクリックすると、ダウンロード ページが表示されます。利用可能な最新のバイナリをダウンロードします。

これにより、
.tgz
ファイルにパッケージ化された Kafka スクリプトとバイナリがダウンロードされます。ダウンロード後、.tgz アーカイブからファイルを抽出する必要があります。解凍するには、WinZip Web サイトからダウンロードできる WinZip を使用します。
ファイルを抽出した後、ファイル パスが
C:\kafka
になるように C
C:\
に移動します。
次に、管理者モードでコマンド プロンプトを開き、最初に Kafka ディレクトリに移動して Zookeeper を起動します。そして、zookeeper.properties を構成ファイルとして使用して、zookeeper-server-start.bat ファイルを実行します。
cd C:\kafka
bin\windows\zookeeper-server-start.bat config\zookeeper.properties
Zookeeper を実行している状態で、Kafka が使用する
wmic
実行可能ファイルをシステム PATH に追加する必要があります。
set PATH=C:\Windows\System32\wbem\;%PATH%;
この後、管理者モードで別のコマンド プロンプト セッションを開き、
C:\kafka
フォルダーに移動して、Apache Kafka サーバーを起動します。
cd C:\kafka
次に、実行して Kafka を起動します
bin\windows\kafka-server-start.bat config\server.properties
これで、Kafka が実行されるはずです。ログが
server.properties
ファイルに書き込まれる場所など、サーバーのプロパティをカスタマイズできます。
Linux への Kafka のインストール
まず、すべてのパッケージを更新してシステムが最新であることを確認します。
sudo apt update && sudo apt upgrade
次に、次のコマンドを実行して、Java がマシンにインストールされているかどうかを確認します。
java --version
java
がインストールされている場合は、バージョン番号が表示されます。ただし、そうでない場合は、
apt
使用してインストールできます。
sudo apt install default-jdk
この後、 Web サイト からバイナリをダウンロードして Apache Kafka をインストールできます。

ターミナルを開き、ダウンロードが保存されたフォルダーに移動します。私の場合は、「ダウンロード」フォルダーに移動する必要があります。
cd Downloads
ダウンロード フォルダーに移動したら、
tar
を使用してダウンロードしたファイルを抽出します。
tar -xvzf kafka_2.13-3.3.1.tgz
解凍したフォルダーに移動します
cd kafka_2.13-3.3.1.tgz
ディレクトリとファイルをリストします。
フォルダーに入ったら、抽出したフォルダーの
bin
ディレクトリにある
zookeeper-server-start.sh
スクリプトを実行して、Zookeeper サーバーを起動します。
スクリプトには Zookeeper 構成ファイルが必要です。デフォルトのファイルは、
zookeeper.properties
という名前で、
config
サブディレクトリにあります。
したがって、サーバーを起動するには、次のコマンドを使用します。
bin/zookeeper-server-start.sh config/zookeeper.properties
Zookeeper を実行すると、Apache Kafka サーバーを起動できます。
kafka-server-start.sh
スクリプトも
bin
ディレクトリにあります。このコマンドには構成ファイルも必要です。デフォルトのものは、
config
ファイルに保存されている
server.properties
です。
bin/kafka-server-start.sh config/server.properties
これにより、Apache Kafka が実行されるようになります。
bin
ディレクトリ内には、トピックの作成、プロデューサーの管理、コンシューマーの管理などの作業を行うための多くのスクリプトがあります。また、
server.properties
ファイルでサーバーのプロパティをカスタマイズすることもできます。
最後の言葉
このガイドでは、Java と Apache Kafka をインストールする方法を説明しました。 Kafka クラスターは手動でインストールして管理できますが、 Amazon Web Services や Confluent などの管理オプションを使用することもできます。
次に、Kafka と Spark を使用したデータ処理を学習します。