如何用kafka-storm-starter构建Kafka到Storm的数据管道

【免费下载链接】kafka-storm-starter[PROJECT IS NO LONGER MAINTAINED] Code examples that show to integrate Apache Kafka 0.8+ with Apache Storm 0.9+ and Apache Spark Streaming 1.1+, while using Apache Avro as the data serialization format.项目地址: https://gitcode.com/gh_mirrors/ka/kafka-storm-starter

kafka-storm-starter是一个展示如何将Apache Kafka 0.8+与Apache Storm 0.9+和Apache Spark Streaming 1.1+集成的项目，同时使用Apache Avro作为数据序列化格式。本文将为新手和普通用户提供一个简单易懂的指南，帮助你快速搭建从Kafka到Storm的数据管道。

准备工作：环境搭建

在开始构建数据管道之前，你需要先准备好开发环境。首先，确保你的开发机器上安装了Oracle JDK或OpenJDK for Java 7（推荐Oracle JDK）。然后，你需要克隆项目仓库：

git clone https://gitcode.com/gh_mirrors/ka/kafka-storm-starter

项目使用Scala 2.10.4和sbt 0.13.2，这些将在构建过程中自动下载和配置，无需手动安装。

快速入门：运行示例

运行测试套件

项目提供了丰富的测试套件，可以帮助你快速了解Kafka和Storm的集成方式。在项目根目录下运行以下命令：

./sbt test

这个命令将启动Kafka、Storm以及Kafka/Storm和Kafka/Spark Streaming集成的端到端测试。测试输出将展示如何使用Avro格式在Kafka中发送和接收数据，以及如何构建基本的Storm拓扑。

运行演示程序

除了测试套件，项目还提供了一个演示程序KafkaStormDemo。运行以下命令启动演示：

./sbt run

这个演示将启动内存中的ZooKeeper、Kafka和Storm实例，并运行一个简单的Storm拓扑，连接并读取Kafka中的数据。你可以在输出中看到Storm如何连接到Kafka，并处理数据流。

核心组件：构建数据管道的关键

Avro序列化与反序列化

项目使用Apache Avro作为数据序列化格式，提供了以下关键组件：

• AvroDecoderBolt[T]：一个可参数化的Bolt，用于将Avro编码的数据反序列化为指定类型的Avro记录。源代码位于src/main/scala/com/miguno/kafkastorm/storm/bolts/AvroDecoderBolt.scala。

• AvroScheme[T]：一个自定义的Scheme，用于在Kafka Spout中直接进行Avro解码。源代码位于src/main/scala/com/miguno/kafkastorm/storm/serialization/AvroScheme.scala。

Kafka与Storm集成

项目提供了以下组件来实现Kafka和Storm的集成：

• AvroKafkaSinkBolt[T]：一个可参数化的Bolt，用于将数据序列化为Avro格式并发送到Kafka。源代码位于src/main/scala/com/miguno/kafkastorm/storm/bolts/AvroKafkaSinkBolt.scala。

• KafkaStormDemo：一个完整的Storm拓扑示例，展示如何从Kafka读取Avro编码的数据。源代码位于src/main/scala/com/miguno/kafkastorm/storm/topologies/KafkaStormDemo.scala。

开发指南：构建自定义数据管道

设置开发环境

项目支持IntelliJ IDEA和Eclipse等IDE。以IntelliJ IDEA为例，运行以下命令生成IDEA项目文件：

./sbt gen-idea

然后在IntelliJ IDEA中通过"File > Open..."打开项目。需要注意的是，在使用Avro和IntelliJ IDEA时可能会遇到一个bug，需要手动移除错误的源文件夹配置。

上图展示了在IntelliJ IDEA中修复Avro配置的步骤。在项目结构设置中，选择"Modules" > "Sources"选项卡，移除"target/scala-2.10/src_managed/main/compiled_avro/com"条目，以解决Avro生成的Java类无法找到的问题。

构建和打包

项目提供了多种构建和打包选项：

• 构建普通JAR：./sbt clean package
• 构建包含依赖的胖JAR：./sbt assembly
• 生成API文档：./sbt doc

这些命令将在target目录下生成相应的JAR文件和文档。

常见问题与解决方案

ZooKeeper异常

在运行测试时，你可能会看到ZooKeeper的"NoNode"异常，这些通常可以安全忽略，因为它们被记录为INFO级别，而不是ERROR级别。Kafka在创建新的ZK路径时会处理这些异常。

Storm LocalCluster与ZooKeeper

Storm的LocalCluster会启动一个嵌入式ZooKeeper实例，默认监听2000端口。如果该端口被占用，Storm会自动递增端口号直到找到可用端口。在Storm 0.9.3及更高版本中，可以配置LocalCluster使用自定义的ZooKeeper实例。

总结

kafka-storm-starter提供了一个简单而强大的框架，帮助你快速构建Kafka到Storm的数据管道。通过使用Avro进行数据序列化，你可以确保数据在不同系统之间的高效传输和解析。项目中的示例代码和测试套件为你提供了一个良好的起点，你可以在此基础上构建自己的流处理应用。

虽然该项目已不再维护，但它仍然是学习Kafka和Storm集成的宝贵资源。如果你正在寻找更现代的替代方案，可以考虑使用Kafka的Streams API，它允许你构建弹性、分布式、容错的流处理应用，而无需额外的集群。

【免费下载链接】kafka-storm-starter[PROJECT IS NO LONGER MAINTAINED] Code examples that show to integrate Apache Kafka 0.8+ with Apache Storm 0.9+ and Apache Spark Streaming 1.1+, while using Apache Avro as the data serialization format.项目地址: https://gitcode.com/gh_mirrors/ka/kafka-storm-starter