虹科干货 | 如何使用nProbe Cento构建100 Gbit NetFlow 传感器

本文是一份全面的指南，解释了如何使用nProbe Cento构建一个高效的100 Gbit NetFlow传感器。旨在帮助大家充分利用NetFlow技术，以监控和分析高速网络流量。

当需要监控分布式网络，了解流经上行链路或关键网段的网络流量时，NetFlow等技术通常是最佳选择。

nProbe Pro/Enterprise和nProbe Cento是软件探针，可用于构建多功能传感器，以多种不同格式输出流量信息，包括NetFlow v5/v9/IPFIX、Kafka、Elasticsearch、ClickHouse、MySQL、CSV文件等。nProbe Pro/Enterprise专为低/中速率（1/10 Gbps）而设计，而 nProbe Cento则专为高速运行而设计（如今我们认为 100 Gbit 已是高速链路）。

通过将nProbe Cento与 ntopng相结合，可以为100 Gbit分布式网络构建一个完全成熟的网络监控解决方案，提供全面的可视性。

想要高速使用nProbe Cento的用户经常向我们提出的一个问题是："我需要什么样的硬件才能处理100 Gbps的全速率？我们希望通过这篇文章提供一些硬件选择指南。

一、网络适配器

在高速运行n2disk时，必须使用像Napatech或Silicom/Fiberblaze这样能在分段模式下运行的FPGA适配器才能获得最佳转储性能，而nProbe Cento则不需要昂贵的适配器。

100 Gbit探头可以使用低于1千美元的ASIC适配器。这里必须支持的是对称RSS。RSS用于通过多个数据流将流量负载分散到多个CPU内核上，将物理接口分割成多个逻辑接口，根据数据包头计算的哈希函数分配流量。使用RSS进行扩展，并结合PF_RING ZC（零拷贝）驱动程序提供最大捕获性能，可确保在处理流量时在100 Gbit全速下不丢失数据包。

因此，建议在100 Gbit时与nProbe Cento结合使用的适配器包括

NVIDIA/Mellanox ConnectX 5/6
Intel E810

二、CPU

各种CPU有不同的频率、内核数量、缓存大小、缓存级别、指令集等。不过，根据我们的经验来讲，现代CPU（例如Xeon Gold 6346 3 Ghz或AMD EPYC 9124）的每个CPU内核通常能够处理超过10 Mpps（每秒百万数据包）。考虑到互联网数据包的平均大小，10 Gbit链路通常有13 Mpps。最坏的情况下，10 Gbit链路的数据包速度也可达14.88 Mpps。

这意味着，在最坏的情况下，要处理100 Gbps的速度，我们需要一个至少有16个内核、主频为3 Ghz的CPU。对于频率较高且高速缓存较大的CPU来说，较少的内核也足够了。

例如，如果我们要构建基于英特尔的系统，我们可以使用Xeon Gold 6326或6346或更高版本。如果要构建基于AMD的系统，我们可以使用AMD EPYC 9124或更高版本。

三、内存

实现最佳性能的内存配置主要取决于CPU本身：

模块数量：应与CPU支持的内存通道数量相匹配（请查看CPU的规格说明）
- Intel Xeon Gold目前支持8个内存通道
- AMD EPYC的大多数型号支持12个内存通道
速度：选择CPU支持的较高速度（请查看CPU规格说明）
容量：考虑到每个模块的最小容量（816GB），通常选择较小的可用容量即可（8x 8GB = 64GB）。

四、存储

许多朋友担心存储问题，但是其实在运行nProbe Cento时，存储空间其实并不重要，因为当使用NetFlow、ZMQ、Kafka或CSV以外的其他导出格式（实际上是写入本地磁盘）将数据导出到外部收集器时，并不会占用磁盘空间。这意味着一个小型磁盘，或一个RAID1双磁盘阵列（如果需要对系统磁盘进行数据恢复）就已足够。