テクノロジー LINUX Apache Kafka をダウンロードしてインストールする方法 [Windows および Linux]

Apache Kafka をダウンロードしてインストールする方法 [Windows および Linux]

Apache Kafka は、分散システム内のさまざまなアプリケーションがメッセージを通じて通信し、データを共有できるようにするメッセージ ストリーミング サービスです。

これは、プロデューサー アプリケーションがメッセージをパブリッシュし、コンシューマー システムがメッセージをサブスクライブするパブ/サブシステムとして機能します。

Apache Kafka を使用すると、データを生成および消費するシステムの部分間に疎結合アーキテクチャを採用できます。これにより、システムの設計と管理が簡単になります。 Kafka は、メタデータ管理とクラスターのさまざまな要素の同期を Zookeeper に依存します。

アパッチカフカ
アパッチカフカ

Apache Kafkaの機能

Apache Kafka の人気が高まったのには、次のような理由があります。

  • クラスターとパーティションを通じて拡張可能
  • 1 秒あたり 200 万回の書き込みを高速に実行可能
  • メッセージが送信される順序を維持します
  • レプリカシステムによる信頼性
  • ダウンタイムなしでアップグレード可能

ここで、Kafka の一般的な使用例をいくつか見てみましょう。

Apache Kafka の一般的な使用例

Kafka は、ビッグ データの処理、分析のためのボタン クリックなどのイベントの記録と集計、システムのさまざまな部分からのログを 1 つの中央の場所に結合する際によく使用されます。

これは、システム内のさまざまなアプリケーション間の通信と、IoT デバイスからのデータのリアルタイム処理を可能にするのに役立ちます。

次に、Windows と Linux に Kafka をインストールする詳細な手順を確認してみましょう。

Windows への Kafka のインストール

まず、Windows に Apache Kafka をインストールするために、マシンに Java がインストールされているかどうかを確認します。管理者モードでコマンド プロンプトを開き、次のコマンドを入力します。

 java --version

Java がインストールされている場合は、現在インストールされている JDK のバージョン番号を取得する必要があります。

コマンドが認識されなかったというエラー メッセージが表示された場合は、Java がインストールされていないため、Java をインストールする必要があります。 Java をインストールするには、Adoptium.net にアクセスし、ダウンロード ボタンをクリックします。

Adoptium.net_
Adoptium.net_

これにより、Java インストーラー ファイルがダウンロードされるはずです。ダウンロードが完了したら、インストーラーを実行します。これにより、インストール プロンプトが開きます。

Javaインストーラー
Javaインストーラー

「次へ」を繰り返し押して、デフォルトのオプションを選択します。インストールが開始されます。コマンド プロンプトを閉じ、管理者モードで別のコマンド プロンプトを再度開き、次のコマンドを入力してインストールを確認します。

 java --version

今回は、インストールしたばかりの JDK バージョンを取得する必要があります。インストールが完了したら、Kafka のインストールを開始できます。

Kafka をインストールするには、まず Kafka Web サイト にアクセスします。

カフカダウンロード
カフカダウンロード

リンクをクリックすると、ダウンロード ページが表示されます。利用可能な最新のバイナリをダウンロードします。

カフカのダウンロード
カフカのダウンロード

これにより、 .tgz ファイルにパッケージ化された Kafka スクリプトとバイナリがダウンロードされます。ダウンロード後、.tgz アーカイブからファイルを抽出する必要があります。解凍するには、WinZip Web サイトからダウンロードできる WinZip を使用します。

ファイルを抽出した後、ファイル パスが C:\kafka になるように C C:\ に移動します。

次に、管理者モードでコマンド プロンプトを開き、最初に Kafka ディレクトリに移動して Zookeeper を起動します。そして、zookeeper.properties を構成ファイルとして使用して、zookeeper-server-start.bat ファイルを実行します。

 cd C:\kafka
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

Zookeeper を実行している状態で、Kafka が使用する wmic 実行可能ファイルをシステム PATH に追加する必要があります。

 set PATH=C:\Windows\System32\wbem\;%PATH%;

この後、管理者モードで別のコマンド プロンプト セッションを開き、 C:\kafka フォルダーに移動して、Apache Kafka サーバーを起動します。

 cd C:\kafka

次に、実行して Kafka を起動します

bin\windows\kafka-server-start.bat config\server.properties

これで、Kafka が実行されるはずです。ログが server.properties ファイルに書き込まれる場所など、サーバーのプロパティをカスタマイズできます。

Linux への Kafka のインストール

まず、すべてのパッケージを更新してシステムが最新であることを確認します。

 sudo apt update && sudo apt upgrade

次に、次のコマンドを実行して、Java がマシンにインストールされているかどうかを確認します。

 java --version

java がインストールされている場合は、バージョン番号が表示されます。ただし、そうでない場合は、 apt 使用してインストールできます。

 sudo apt install default-jdk

この後、 Web サイト からバイナリをダウンロードして Apache Kafka をインストールできます。

カフカのダウンロード
カフカのダウンロード

ターミナルを開き、ダウンロードが保存されたフォルダーに移動します。私の場合は、「ダウンロード」フォルダーに移動する必要があります。

 cd Downloads

ダウンロード フォルダーに移動したら、 tar を使用してダウンロードしたファイルを抽出します。

 tar -xvzf kafka_2.13-3.3.1.tgz

解凍したフォルダーに移動します

cd kafka_2.13-3.3.1.tgz

ディレクトリとファイルをリストします。

フォルダーに入ったら、抽出したフォルダーの bin ディレクトリにある zookeeper-server-start.sh スクリプトを実行して、Zookeeper サーバーを起動します。

スクリプトには Zookeeper 構成ファイルが必要です。デフォルトのファイルは、 zookeeper.properties という名前で、 config サブディレクトリにあります。

したがって、サーバーを起動するには、次のコマンドを使用します。

 bin/zookeeper-server-start.sh config/zookeeper.properties

Zookeeper を実行すると、Apache Kafka サーバーを起動できます。 kafka-server-start.sh スクリプトも bin ディレクトリにあります。このコマンドには構成ファイルも必要です。デフォルトのものは、 config ファイルに保存されている server.properties です。

 bin/kafka-server-start.sh config/server.properties

これにより、Apache Kafka が実行されるようになります。 bin ディレクトリ内には、トピックの作成、プロデューサーの管理、コンシューマーの管理などの作業を行うための多くのスクリプトがあります。また、 server.properties ファイルでサーバーのプロパティをカスタマイズすることもできます。

最後の言葉

このガイドでは、Java と Apache Kafka をインストールする方法を説明しました。 Kafka クラスターは手動でインストールして管理できますが、 Amazon Web Services や Confluent などの管理オプションを使用することもできます。

次に、Kafka と Spark を使用したデータ処理を学習します。

「 Apache Kafka をダウンロードしてインストールする方法 [Windows および Linux]」についてわかりやすく解説!絶対に観るべきベスト2動画

Kafka 04 – Kafka Setup on Window, Linux, MacOS. – JMaster.io
Install Apache Kafka on Windows PC | Kafka Installation Step-By-Step Guide #kafka #apachekafka

Apache Kafka は、分散システム内のさまざまなアプリケーションがメッセージを通じて通信し、データを共有できるようにするメッセージ ストリーミング サービスです。

これは、プロデューサー アプリケーションがメッセージをパブリッシュし、コンシューマー システムがメッセージをサブスクライブするパブ/サブシステムとして機能します。

Apache Kafka を使用すると、データを生成および消費するシステムの部分間に疎結合アーキテクチャを採用できます。これにより、システムの設計と管理が簡単になります。 Kafka は、メタデータ管理とクラスターのさまざまな要素の同期を Zookeeper に依存します。

アパッチカフカ
アパッチカフカ

Apache Kafkaの機能

Apache Kafka の人気が高まったのには、次のような理由があります。

  • クラスターとパーティションを通じて拡張可能
  • 1 秒あたり 200 万回の書き込みを高速に実行可能
  • メッセージが送信される順序を維持します
  • レプリカシステムによる信頼性
  • ダウンタイムなしでアップグレード可能

ここで、Kafka の一般的な使用例をいくつか見てみましょう。

Apache Kafka の一般的な使用例

Kafka は、ビッグ データの処理、分析のためのボタン クリックなどのイベントの記録と集計、システムのさまざまな部分からのログを 1 つの中央の場所に結合する際によく使用されます。

これは、システム内のさまざまなアプリケーション間の通信と、IoT デバイスからのデータのリアルタイム処理を可能にするのに役立ちます。

次に、Windows と Linux に Kafka をインストールする詳細な手順を確認してみましょう。

Windows への Kafka のインストール

まず、Windows に Apache Kafka をインストールするために、マシンに Java がインストールされているかどうかを確認します。管理者モードでコマンド プロンプトを開き、次のコマンドを入力します。

 java --version

Java がインストールされている場合は、現在インストールされている JDK のバージョン番号を取得する必要があります。

コマンドが認識されなかったというエラー メッセージが表示された場合は、Java がインストールされていないため、Java をインストールする必要があります。 Java をインストールするには、Adoptium.net にアクセスし、ダウンロード ボタンをクリックします。

Adoptium.net_
Adoptium.net_

これにより、Java インストーラー ファイルがダウンロードされるはずです。ダウンロードが完了したら、インストーラーを実行します。これにより、インストール プロンプトが開きます。

Javaインストーラー
Javaインストーラー

「次へ」を繰り返し押して、デフォルトのオプションを選択します。インストールが開始されます。コマンド プロンプトを閉じ、管理者モードで別のコマンド プロンプトを再度開き、次のコマンドを入力してインストールを確認します。

 java --version

今回は、インストールしたばかりの JDK バージョンを取得する必要があります。インストールが完了したら、Kafka のインストールを開始できます。

Kafka をインストールするには、まず Kafka Web サイト にアクセスします。

カフカダウンロード
カフカダウンロード

リンクをクリックすると、ダウンロード ページが表示されます。利用可能な最新のバイナリをダウンロードします。

カフカのダウンロード
カフカのダウンロード

これにより、 .tgz ファイルにパッケージ化された Kafka スクリプトとバイナリがダウンロードされます。ダウンロード後、.tgz アーカイブからファイルを抽出する必要があります。解凍するには、WinZip Web サイトからダウンロードできる WinZip を使用します。

ファイルを抽出した後、ファイル パスが C:\kafka になるように C C:\ に移動します。

次に、管理者モードでコマンド プロンプトを開き、最初に Kafka ディレクトリに移動して Zookeeper を起動します。そして、zookeeper.properties を構成ファイルとして使用して、zookeeper-server-start.bat ファイルを実行します。

 cd C:\kafka
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

Zookeeper を実行している状態で、Kafka が使用する wmic 実行可能ファイルをシステム PATH に追加する必要があります。

 set PATH=C:\Windows\System32\wbem\;%PATH%;

この後、管理者モードで別のコマンド プロンプト セッションを開き、 C:\kafka フォルダーに移動して、Apache Kafka サーバーを起動します。

 cd C:\kafka

次に、実行して Kafka を起動します

bin\windows\kafka-server-start.bat config\server.properties

これで、Kafka が実行されるはずです。ログが server.properties ファイルに書き込まれる場所など、サーバーのプロパティをカスタマイズできます。

Linux への Kafka のインストール

まず、すべてのパッケージを更新してシステムが最新であることを確認します。

 sudo apt update && sudo apt upgrade

次に、次のコマンドを実行して、Java がマシンにインストールされているかどうかを確認します。

 java --version

java がインストールされている場合は、バージョン番号が表示されます。ただし、そうでない場合は、 apt 使用してインストールできます。

 sudo apt install default-jdk

この後、 Web サイト からバイナリをダウンロードして Apache Kafka をインストールできます。

カフカのダウンロード
カフカのダウンロード

ターミナルを開き、ダウンロードが保存されたフォルダーに移動します。私の場合は、「ダウンロード」フォルダーに移動する必要があります。

 cd Downloads

ダウンロード フォルダーに移動したら、 tar を使用してダウンロードしたファイルを抽出します。

 tar -xvzf kafka_2.13-3.3.1.tgz

解凍したフォルダーに移動します

cd kafka_2.13-3.3.1.tgz

ディレクトリとファイルをリストします。

フォルダーに入ったら、抽出したフォルダーの bin ディレクトリにある zookeeper-server-start.sh スクリプトを実行して、Zookeeper サーバーを起動します。

スクリプトには Zookeeper 構成ファイルが必要です。デフォルトのファイルは、 zookeeper.properties という名前で、 config サブディレクトリにあります。

したがって、サーバーを起動するには、次のコマンドを使用します。

 bin/zookeeper-server-start.sh config/zookeeper.properties

Zookeeper を実行すると、Apache Kafka サーバーを起動できます。 kafka-server-start.sh スクリプトも bin ディレクトリにあります。このコマンドには構成ファイルも必要です。デフォルトのものは、 config ファイルに保存されている server.properties です。

 bin/kafka-server-start.sh config/server.properties

これにより、Apache Kafka が実行されるようになります。 bin ディレクトリ内には、トピックの作成、プロデューサーの管理、コンシューマーの管理などの作業を行うための多くのスクリプトがあります。また、 server.properties ファイルでサーバーのプロパティをカスタマイズすることもできます。

最後の言葉

このガイドでは、Java と Apache Kafka をインストールする方法を説明しました。 Kafka クラスターは手動でインストールして管理できますが、 Amazon Web Services や Confluent などの管理オプションを使用することもできます。

次に、Kafka と Spark を使用したデータ処理を学習します。

「 Apache Kafka をダウンロードしてインストールする方法 [Windows および Linux]」についてわかりやすく解説!絶対に観るべきベスト2動画

Kafka 04 – Kafka Setup on Window, Linux, MacOS. – JMaster.io
Install Apache Kafka on Windows PC | Kafka Installation Step-By-Step Guide #kafka #apachekafka