大数据技术10：Flink从入门到精通

导语：前期入门Flink时，可以直接编写通过idea编写Flink程序，然后直接运行main方法，无需搭建环境。我碰到许多初次接触Flink的同学，被各种环境搭建、提交作业、复杂概念给劝退了。前期最好的入门方式就是直接上手写代码，main方法跑demo，快速了解概念，等入门之后再去实践集群环境、各种作业提交、各种复杂概念。

Flink官网：Apache Flink Documentation | Apache Flink

一、Flink实时计算

1.1、Flink定义

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。截止目前2023年12月Flink最新版本为v1.18.0。

说白了，Flink就是个实时处理数据任务的框架，这个框架帮助开发者执行数据处理的任务，让开发者无需关心高可用、性能等问题。如果你有一些数据任务需要执行，比如数据监控、数据分析、数据同步，那就可以考虑使用Flink。所谓流计算就是对源源不断的数据进行计算，中间的计算结果存放在内存或者外部存储，这就是有状态的流计算。

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink 已经可以扩展到数千核心，其状态可以达到 TB 级别，且仍能保持高吞吐、低延迟的特性。世界各地有很多要求严苛的流处理应用都运行在 Flink 之上。

1.2、Flink分层API

Flink 根据抽象程度分层，提供了三种不同的 API。每一种 API 在简洁性和表达力上有着不同的侧重，并且针对不同的应用场景。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sD2aHoNE-1612775779487)(/Users/bytedance/Desktop/nJou61.jpg)]

Flink分层API

  • ProcessFunction：可以处理一或两条输入数据流中的单个事件或者归入一个特定窗口内的多个事件。它提供了对于时间和状态的细粒度控制。开发者可以在其中任意地修改状态，也能够注册定时器用以在未来的某一时刻触发回调函数。因此，你可以利用ProcessFunction实现许多有状态的事件驱动应用所需要的基于单个事件的复杂业务逻辑。

  • DataStream API：为许多通用的流处理操作提供了处理原语。这些操作包括窗口、逐条记录的转换操作，在处理事件时进行外部数据库查询等。DataStream API 支持 Java 和 Scala 语言，预先定义了例如map()、reduce()、aggregate() 等函数。你可以通过扩展实现预定义接口或使用 Java、Scala 的 lambda 表达式实现自定义的函数。

  • SQL & Table API：Flink 支持两种关系型的 API，Table API 和 SQL。这两个 API 都是批处理和流处理统一的 API，这意味着在无边界的实时数据流和有边界的历史记录数据流上，关系型 API 会以相同的语义执行查询，并产生相同的结果。Table API和SQL借助了 Apache Calcite来进行查询的解析，校验以及优化。它们可以与DataStream和DataSet API无缝集成，并支持用户自定义的标量函数，聚合函数以及表值函数。Flink 的关系型 API 旨在简化数据分析、数据流水线和 ETL 应用的定义。

1.3、Flink主要组件

存储层：Flink本身并没有提供分布式文件系统，因此Flink的分析大多依赖外部存储。

调度层：Flink自带一个简易的资源调度器，称为独立调度器（Standalone）。若集群中没有任何资源管理器，则可以使用自带的独立调度器。当然，Flink也支持在其他的集群管理器上运行，包括Hadoop YARN、Apache Mesos等。

计算层：Flink的核心是一个对由很多计算任务组成的、运行在多个工作机器或者一个计算集群上的应用进行调度、分发以及监控的计算引擎，为API工具层提供基础服务。

工具层：在Flink Runtime的基础上，Flink提供了面向流处理（DataStream API）和批处理（DataSetAPI）的不同计算接口，并在此接口上抽象出了不同的应用类型组件库，例如基于流处理的CEP（复杂事件处理库）、Table&SQL（结构化表处理库）和基于批处理的Gelly（图计算库）、FlinkML（机器学习库）、Table&SQL（结构化表处理库）。

1.4、Flink特点

Apache Flink是一个集合众多具有竞争力特性于一身的第三代流处理引擎，它的以下特点使得它能够在同类系统中脱颖而出。

  1. 同时支持高吞吐、低延迟、高性能。

    • Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式处理框架。像Apache Spark也只能兼顾高吞吐和高性能特性，主要因为在Spark Streaming流式计算中无法做到低延迟保障；而流式计算框架Apache Storm只能支持低延迟和高性能特性，但是无法满足高吞吐的要求。

  2. 同时支持事件时间和处理时间语义。

    • 在流式计算领域中，窗口计算的地位举足轻重，但目前大多数框架窗口计算采用的都是处理时间，也就是事件传输到计算框架处理时系统主机的当前时间。Flink能够支持基于事件时间语义进行窗口计算，也就是使用事件产生的时间，这种基于事件驱动的机制使得事件即使乱序到达，流系统也能够计算出精确的结果，保证了事件原本的时序性。

  3. 支持有状态计算，并提供精确一次的状态一致性保障。

    • 所谓状态就是在流式计算过程中将算子的中间结果数据保存着内存或者文件系统中，等下一个事件进入算子后可以从之前的状态中获取中间结果中计算当前的结果，从而不须每次都基于全部的原始数据来统计结果，这种方式极大地提升了系统的性能，并降低了数据计算过程的资源消耗。

  4. 基于轻量级分布式快照实现的容错机制。

    • Flink能够分布式运行在上千个节点上，将一个大型计算任务的流程拆解成小的计算过程，然后将Task分布到并行节点上进行处理。在任务执行过程中，能够自动发现事件处理过程中的错误而导致的数据不一致问题，在这种情况下，通过基于分布式快照技术的Checkpoints，将执行过程中的状态信息进行持久化存储，一旦任务出现异常终止，Flink就能够从Checkpoints中进行任务的自动恢复，以确保数据中处理过程中的一致性。

  5. 保证了高可用，动态扩展，实现7 * 24小时全天候运行。

    • 支持高可用性配置（无单点失效），和Kubernetes、YARN、Apache Mesos紧密集成，快速故障恢复，动态扩缩容作业等。基于上述特点，它可以7 X 24小时运行流式应用，几乎无须停机。当需要动态更新或者快速恢复时，Flink通过Savepoints技术将任务执行的快照保存在存储介质上，当任务重启的时候可以直接从事先保存的Savepoints恢复原有的计算状态，使得任务继续按照停机之前的状态运行。

  6. 支持高度灵活的窗口操作。

    • Flink将窗口划分为基于Time、Count、Session，以及Data-driven等类型的窗口操作，窗口可以用灵活的触发条件定制化来达到对复杂流传输模式的支持，用户可以定义不同的窗口触发机制来满足不同的需求。

1.5、Flink应用场景

在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生​的日志数据​，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。

针对这些数据类型主要包括以下场景，Flink对这些场景都有非常好的支持。

  • 实时智能推荐

    利用Flink流计算帮助用户构建更加实时的智能推荐系统，对用户行为指标进行实时计算，对模型进行实时更新，对用户指标进行实时预测，并将预测的信息推送给Web/App端，帮助用户获取想要的商品信息，另一方面也帮助企业提高销售额，创造更大的商业价值。

  • 复杂事件处理

    例如工业领域的复杂事件处理，这些业务类型的数据量非常大，且对数据的时效性要求较高。我们可以使用Flink提供的CEP（复杂事件处理）进行事件模式的抽取，同时应用Flink的SQL进行事件数据的转换，在流式系统中构建实时规则引擎。

  • 实时欺诈检测

    在金融领域的业务中，常常出现各种类型的欺诈行为。运用Flink流式计算技术能够在毫秒内就完成对欺诈判断行为指标的计算，然后实时对交易流水进行规则判断或者模型预测，这样一旦检测出交易中存在欺诈嫌疑，则直接对交易进行实时拦截，避免因为处理不及时而导致的经济损失

  • 实时数仓与ETL

    结合离线数仓，通过利用流计算等诸多优势和SQL灵活的加工能力，对流式数据进行实时清洗、归并、结构化处理，为离线数仓进行补充和优化。另一方面结合实时数据ETL处理能力，利用有状态流式计算技术，可以尽可能降低企业由于在离线数据计算过程中调度逻辑的复杂度，高效快速地处理企业需要的统计结果，帮助企业更好的应用实时数据所分析出来的结果。

  • 流数据分析

    实时计算各类数据指标，并利用实时结果及时调整在线系统相关策略，在各类投放、无线智能推送领域有大量的应用。流式计算技术将数据分析场景实时化，帮助企业做到实时化分析Web应用或者App应用的各种指标。

  • 实时报表分析

    实时报表分析说近年来很多公司采用的报表统计方案之一，其中最主要的应用便是实时大屏展示。利用流式计算实时得出的结果直接被推送到前段应用，实时显示出重要的指标变换，最典型的案例就是淘宝的双十一实时战报。

二、Flink架构

我们可以建立一个Flink大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

接下来，我们来介绍一下 Flink 架构中的重要方面。

2.1、批与流

  • 批处理的特点是有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。

  • 流处理的特点是无界、实时, 无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。

在Spark的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的。而在Flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。

2.2、处理无界和有界数据 

任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。

数据可以被作为 无界 流  或者 有界 流来处理。

  • 无界流 有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因为输入是无限的，在任何时候输入都不会完成。处理无界数据通常要求以特定顺序摄取事件，例如事件发生的顺序，以便能够推断结果的完整性。

  • 有界流 有定义流的开始，也有定义流的结束。有界流可以在摄取所有数据后再进行计算。有界流所有数据可以被排序，所以并不需要有序摄取。有界流处理通常被称为批处理。

Apache Flink 擅长处理无界和有界数据集 精确的时间控制和状态化使得 Flink 的运行时(runtime)能够运行任何处理无界流的应用。有界流则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理，产生了出色的性能。

通过探索 Flink 之上构建的用例来加深理解。

2.3、部署应用到任意地方 

Apache Flink 是一个分布式系统，它需要计算资源来执行应用程序。Flink 集成了所有常见的集群资源管理器，​ 例如 Hadoop YARN、 Apache Mesos 和 Kubernetes， ​但同时也可以作为独立集群运行。

Flink 被设计为能够很好地工作在上述每个资源管理器中，这是通过资源管理器特定(resource-manager-specific)的部署模式实现的。Flink 可以采用与当前资源管理器相适应的方式进行交互。

部署 Flink 应用程序时，Flink 会根据应用程序配置的并行性自动标识所需的资源，并从资源管理器请求这些资源。在发生故障的情况下，Flink 通过请求新资源来替换发生故障的容器。提交或控制应用程序的所有通信都是通过 REST 调用进行的，这可以简化 Flink 与各种环境中的集成。

2.3、运行任意规模应用 

Flink 旨在任意规模上运行有状态流式应用。因此，应用程序被并行化为可能数千个任务，这些任务分布在集群中并发执行。所以应用程序能够充分利用无尽的 CPU、内存、磁盘和网络 IO。而且 Flink 很容易维护非常大的应用程序状态。其异步和增量的检查点算法对处理延迟产生最小的影响，同时保证精确一次状态的一致性。

  • 处理每天处理数万亿的事件,

  • 应用维护几TB大小的状态,

  • 应用在数千个内核上运行。

2.4、利用内存性能 

有状态的 Flink 程序针对本地状态访问进行了优化。任务的状态始终保留在内存中，如果状态大小超过可用内存，则会保存在能高效访问的磁盘数据结构中。任务通过访问本地（通常在内存中）状态来进行所有的计算，从而产生非常低的处理延迟。Flink 通过定期和异步地对本地状态进行持久化存储来保证故障场景下精确一次的状态一致性。

三、Flink VS Spark

3.1、Spark和Flink中的功能集在很多方面都不同，如下表所示：

3.2、Flink VS Spark Streaming

  • 数据模型

    • Flink基本数据模型是数据流，以及事件序列。

    • Spark采用RDD模型，Spark Streaming的DStream实际上也就是一组组小批 数据RDD的集合。

  • 运行时架构

    • Flink是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节 点进行处理。

    • Spark是批计算，将DAG划分为不同的Stage，一个完成后才可以计算下一个。

参考链接：

10分钟入门Flink--了解Flink - 知乎

什么是Flink？Flink能用来做什么？[通俗易懂]-腾讯云开发者社区-腾讯云

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/237296.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Java SPI机制学习

Java SPI机制学习

最近阅读源码时看到了SPI加载类的方式 这里学习一下 SPI Service Provider Interface 服务提供接口 API和SPI区别 API是接口和实现类均有服务提供方负责 服务调用方更多是一种主动调用 只是调用SDK来实现某个功能；接口的归属权在于服务提供方 SPI是接口在调用方…
阅读更多...
N体问题-MATLAB 中的数值模拟

N体问题-MATLAB 中的数值模拟

一、说明 万有引力是宇宙普适真理，当计算两个物体的引力、质量、距离的关系是经典万有引力物理定律，然而面向复杂问题，比如出现三个以上物体的相互作用，随时间的运动力学，这种数学模型将是更高级的思维方法。本文将阐述…
阅读更多...
jsp文件引用的css修改后刷新不生效问题

jsp文件引用的css修改后刷新不生效问题

问题 在对 JavaWeb 项目修改的过程中，发现修改了 jsp 文件引入的 css 文件的代码后页面的样式没有更新的问题。 原因 导致这个问题的原因可能是因为浏览器缓存的问题。 解决方法 下面介绍两种解决方法，供大家参考： 1、给 link 标签的 c…
阅读更多...
软件测试（接口测试业务场景测试）

软件测试（接口测试业务场景测试）

软件测试 手动测试 测试用例8大要素 编号用例名称（标题）模块优先级预制条件测试数据操作步骤预期结果 接口测试（模拟http请求） 接口用例设计 防止漏测方便分配工具，评估工作量和时间接口测试测试点 功能 单接口业…
阅读更多...
css的Grid布局

css的Grid布局

1.简单布局 .grid { display: grid; grid-template-columns: 1fr 2fr 1fr; 布局样式 column-gap: 24px; 列间距 row-gap: 24px; 行间距 } 2.排列布局 center垂直方向居中对其 end靠下对齐 3.水平方向对齐 center居中 end靠右对齐 space-between两段对齐 4.对…
阅读更多...
使用BeautifulSoup 4和Pillow合并网页图片到一个PDF：一种高效的方式来处理网页图像

使用BeautifulSoup 4和Pillow合并网页图片到一个PDF：一种高效的方式来处理网页图像

背景 ​ 网页上的培训材料，内容全是PPT页面图片。直接通过浏览器打印，会存在只打印第一页，并且把浏览器上无效信息也打印出来情况。但目标是希望将页面图片全部打印为pdf形式。 实现方案 利用网页“另存为”，将页面内所有图片资…
阅读更多...
Windows安全基础——Windows WMI详解

Windows安全基础——Windows WMI详解

Windows安全基础——WMI篇 1. WMI简介 WMI（Windows Management Instrumentation, Windows管理规范）是Windows 2000/XP管理系统的核心，属于管理数据和操作的基础模块。设计WMI的初衷是达到一种通用性，通过WMI操作系统、应用程序等…
阅读更多...
构建智能外卖跑腿小程序：技术实践与代码示例

构建智能外卖跑腿小程序：技术实践与代码示例

在快节奏的现代生活中，外卖跑腿服务已成为人们日常生活中不可或缺的一部分。为了提供更智能、高效的外卖跑腿体验，本文将深入探讨构建一款智能外卖跑腿小程序所需的关键技术，并提供相应的代码示例。 1. 地理位置服务的整合 外卖跑腿小程序…
阅读更多...
nodejs微信小程序＋python＋PHP个性化服装搭配系统APP-计算机毕业设计推荐 android

nodejs微信小程序＋python＋PHP个性化服装搭配系统APP-计算机毕业设计推荐 android

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性：…
阅读更多...
Ubuntu22.04安装和卸载软件的命令行

Ubuntu22.04安装和卸载软件的命令行

一、安装 sudo apt install xxx 二、卸载 sudo apt remove xxx 三、卸载依赖包(可选) 第二步软件卸载之后，有一些依赖包没有被卸载。可以使用sudo apt autoremove xxx来卸载。如果不卸载应该也没什么影响
阅读更多...
【开源】基于Vue和SpringBoot的高校学院网站

【开源】基于Vue和SpringBoot的高校学院网站

项目编号： S 020 ，文末获取源码。 \color{red}{项目编号：S020，文末获取源码。} 项目编号：S020，文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 学院院系模块2.2 竞赛报名模块2.3 教…
阅读更多...
Python爬取酷我音乐

Python爬取酷我音乐

🎈 博主：一只程序猿子 🎈 博客主页：一只程序猿子 博客主页 🎈 个人介绍：爱好(bushi)编程！ 🎈 创作不易：喜欢的话麻烦您点个👍和⭐！ 🎈…
阅读更多...
Python-docx 深入word源码 自定义字符间距

Python-docx 深入word源码 自定义字符间距

代码和实现效果 from docx import Document from docx.oxml import OxmlElement from docx.oxml.ns import qn from docx.shared import Pt# 调整pt设置字间距 def SetParagraphCharSpaceByPt(run, pt1):通过修改word源码方式, 添加w:spacing标签直接通过调整pt来设置字符间距…
阅读更多...
【Maven教程】（十二）：版本管理 ——版本号定义约定及相关概念，自动化版本发布与创建分支，GPG签名 ~

【Maven教程】（十二）：版本管理 ——版本号定义约定及相关概念，自动化版本发布与创建分支，GPG签名 ~

Maven 版本管理 1️⃣ 版本管理的概念2️⃣ Maven 的版本号定义约定3️⃣ 主干、标签与分支4️⃣ 自动化版本发布5️⃣ 自动化创建分支6️⃣ GPG签名6.1 GPG 及其基本使用6.2 Maven GPG Plugin 🌾 总结 一个健康的项目通常有一个长期、合理的版本演变过程。例如JUn…
阅读更多...
Nginx访问FTP服务器文件的时效性/安全校验

Nginx访问FTP服务器文件的时效性/安全校验

背景 FTP文件服务器在我们日常开发中经常使用，在项目中我们经常把FTP文件下载到内存中，然后转为base64给前端进行展示。如果excel中也需要导出图片，数据量大的情况下会直接返回一个后端的开放接口地址，然后在项目中对接口的参数进…
阅读更多...
Golang 使用 Template 引擎构建漂亮的邮件内容并且完成邮件发送

Golang 使用 Template 引擎构建漂亮的邮件内容并且完成邮件发送

背景 邮件是常见的触达用户的途径，本文详细介绍基于 golang 的模版引擎构建漂亮的邮件内容，并且发送给模板用户。 思路 go 内置了 html/template 模块，类似 ejs 模块引擎。利用 template 能力可以将变量动态的注入到HTML字符串中&#xff…
阅读更多...
迅为RK3568开发板使用OpenCV处理图像（颜色转换）

迅为RK3568开发板使用OpenCV处理图像（颜色转换）

1 颜色转换 本小节代码在配套资料“iTOP-3568 开发板\03_【iTOP-RK3568 开发板】指南教程 \04_OpenCV 开发配套资料\05”目录下，如下图所示： cv2.cvtColor()函数功能： 将一幅图像从一个色彩空间转换到另一个色彩空间。 函数原型&#xff…
阅读更多...
5G CPE可代替宽带，解决断网问题

5G CPE可代替宽带，解决断网问题

最近某运营商就玩起了套餐，断用户的网。 老百姓对宽带半知不解，网络断了没法上网，很着急。因为相信运营商，维修人员怎么说，老百姓就怎么办呗，直到最后才发现自己上当，但钱都给了。 截至2023年9月…
阅读更多...
Django讲课笔记02：Django环境搭建

Django讲课笔记02：Django环境搭建

文章目录 一、学习目标二、相关概念（一）Python（二）Django 三、环境搭建（一）安装Python1. 从官方网站下载最新版本的Python2. 运行安装程序并按照安装向导进行操作3. 勾选添加到路径复选框4. 完成安装过程5.…
阅读更多...
公共模块无法实例化Elasticsearch的interface类

公共模块无法实例化Elasticsearch的interface类

public interface EsLogDao extends ElasticsearchRepository<EsLog, String> {}Data NoArgsConstructor Document(indexName "my_log") public class EsLog implements Serializable {Idprivate String id; } 出现的错误 解决方案&#xff0c;在公共模块增加…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站