如何下载和安装 Apache Kafka [Windows 和 Linux]

Apache Kafka 是一种消息流服务，允许分布式系统中的不同应用程序通过消息进行通信和共享数据。

它充当生产者应用程序发布消息和消费者系统订阅消息的发布/子系统。

Apache Kafka 允许您在系统中生成和使用数据的部分之间采用松散耦合的架构。这简化了系统设计和管理。 Kafka 依靠 Zookeeper 进行元数据管理和集群各个元素的同步。

阿帕奇卡夫卡特点

Apache Kafka 变得流行有以下几个原因：

• 可通过集群和分区进行扩展
• 每秒快速写入 200 万次
• 维护消息发送的顺序
• 副本系统的可靠性
• 可升级，无需停机

现在让我们看一下 Kafka 的一些常见用例。

Apache Kafka 的常见用例

Kafka 通常用于处理大数据，记录和聚合事件（例如用于分析的按钮单击），并将来自系统不同部分的日志合并到一个中心位置。

这有助于实现系统中不同应用程序之间的通信以及来自物联网设备的数据的实时处理。

现在我们来看看在Windows和Linux上安装Kafka的详细步骤。

在 Windows 上安装 Kafka

首先，要在 Windows 上安装 Apache Kafka，请检查您的计算机上是否安装了 Java。在管理员模式下打开命令提示符并输入以下命令：

 java --version

如果安装了Java，则需要获取当前安装的JDK的版本号。

如果您收到一条错误消息，指出该命令无法识别，则表明尚未安装 Java，您必须安装它。要安装 Java，请访问 Adoptium.net 并单击下载按钮。

这应该下载 Java 安装程序文件。下载完成后，运行安装程序。这将打开安装提示。

重复按“下一步”选择默认选项。安装将开始。关闭命令提示符，在管理员模式下重新打开另一个命令提示符，然后通过键入以下命令确认安装：

 java --version

这次我们需要检索我们刚刚安装的JDK版本。安装完成后，就可以开始安装Kafka了。

要安装 Kafka，首先访问Kafka 网站。

单击该链接将带您进入下载页面。下载最新的可用二进制文件。

这将下载打包成.tgz文件的 Kafka 脚本和二进制文件。下载后，您需要从 .tgz 存档中提取文件。要解压缩，请使用 WinZip，可以从 WinZip 网站下载该软件。

解压文件后，将它们移动到C:\ ，使文件路径为C:\kafka 。

接下来，在管理员模式下打开命令提示符，然后首先导航到 Kafka 目录来启动 Zookeeper。然后使用zookeeper.properties作为配置文件运行zookeeper-server-start.bat文件。

 cd C:\kafka
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

当 Zookeeper 运行时，您需要将 Kafka 使用的wmic可执行文件添加到系统路径中。

 set PATH=C:\Windows\System32\wbem\;%PATH%;

之后，以管理员模式打开另一个命令提示符会话，导航到C:\kafka文件夹，然后启动 Apache Kafka 服务器。

 cd C:\kafka

然后通过运行启动 Kafka

 bin\windows\kafka-server-start.bat config\server.properties

卡夫卡现在应该正在运行。您可以自定义服务器属性，例如日志写入server.properties文件的位置。

在 Linux 上安装 Kafka

首先，通过更新所有软件包来确保您的系统是最新的。

 sudo apt update && sudo apt upgrade

接下来，通过运行以下命令检查您的计算机上是否安装了 Java：

 java --version

如果安装了java ，则会显示版本号。但是，如果没有，您可以使用apt安装它。

 sudo apt install default-jdk

之后，您可以通过从网站下载二进制文件来安装 Apache Kafka。

打开终端并导航到保存下载的文件夹。就我而言，我必须转到“下载”文件夹。

 cd Downloads

进入下载文件夹后，使用tar提取下载的文件。

 tar -xvzf kafka_2.13-3.3.1.tgz

进入解压后的文件夹

cd kafka_2.13-3.3.1.tgz

列出目录和文件。

进入该文件夹后，通过运行位于解压文件夹的bin目录中的zookeeper-server-start.sh脚本来启动 Zookeeper 服务器。

该脚本需要 Zookeeper 配置文件。默认文件名为zookeeper.properties ，位于config子目录中。

因此，要启动服务器，请使用以下命令：

 bin/zookeeper-server-start.sh config/zookeeper.properties

运行 Zookeeper 允许您启动 Apache Kafka 服务器。 kafka-server-start.sh脚本也位于bin目录中。该命令还需要一个配置文件。默认值是存储在config文件中的server.properties 。

 bin/kafka-server-start.sh config/server.properties

这将使 Apache Kafka 能够运行。 bin目录中有很多脚本可以完成创建主题、管理生产者和管理消费者等任务。您还可以在server.properties文件中自定义服务器属性。

最后一句话

本指南向您展示了如何安装 Java 和 Apache Kafka。您可以手动安装和管理 Kafka 集群，也可以使用Amazon Web Services 或 Confluence 等管理选项。

接下来，学习使用 Kafka 和 Spark 进行数据处理。