Apache Doris 详细教程（三）

7、监控和报警

Doris 可以使用 Prometheus 和 Grafana 进行监控和采集，官网下载最新版即可。

Prometheus 官网下载：https://prometheus.io/download/

Grafana 官网下载：https://grafana.com/grafana/download

Doris 的监控数据通过 FE 和 BE 的 http 接口向外暴露。监控数据以 key-value 的文本形式对外展现。每个 key 还可能有不同的 Label 加以区分。当用户搭建好 Doris 后，可以在浏览器，通过以下接口访问监控数据.

Frontend: fe_host:fe_http_port/metrics，如 http://zuomm01:8030/metrics

Backend: be_host:be_web_server_port/metrics，如 http://zuomm01:8040/metrics

整个监控架构如下图

在这里插入图片描述

7.1、prometheus

1、上传 prometheus-2.26.0.linux-amd64.tar.gz，并进行解压

 tar -zxvf prometheus-2.26.0.linux-amd64.tar.gz

2、配置 promethues.yml

配置两个 targets 分别配置 FE 和 BE,并且定义 labels 和 groups 指定组。如果有多个集群则再加 -job_name 标签,进行相同配置

vi prometheus.yml 
scrape_configs: 
  - job_name: 'prometheus_doris'
    static_configs:
    - targets: ['zuomm01:8030','zuomm02:8030','zuomm03:8030']
      labels:
           group: fe
    - targets: ['zuomm01:8040','zuomm02:8040','zuomm03:8040']
      labels:
           group: be

3、启动 prometheus

nohup /opt/app/prometheus-2.26.0.linux-amd64/prometheus --web.listen-address="0.0.0.0:8181" &

该命令将后台运行 Prometheus，并指定其 web 端口为 8181。启动后，即开始采集数据，并将数据存放在 data 目录中。

4、访问

http://zuomm01:8181

点击导航栏中，Status -> Targets，可以看到所有分组 Job 的监控主机节点。正常情况下，所有节点都应为 UP，表示数据采集正常。点击某一个 Endpoint，即可看到当前的监控数值。

7.2、grafana

1、上传 grafana-7.5.2.linux-amd64.tar.gz，并进行解压

tar -zxvf grafana-7.5.2.linux-amd64.tar.gz

2、配置 conf/defaults.ini

vi defaults.ini
http_addr = zuomm01
http_port = 8182

3、启动

nohup /opt/app/grafana-7.5.2/bin/grafana-server &

通过浏览器访问http://zuomm01:8182，配置数据源 Prometheus 账号密码都是 admin

在这里插入图片描述
在这里插入图片描述
添加数据源：在齿轮那边

在这里插入图片描述
添加普罗米修斯：

在这里插入图片描述
添加 dashboard

模板下载地址：https://grafana.com/grafana/dashboards/9734/revisions

上传准备好的 doris-overview_rev4.json

找到manager

在这里插入图片描述
导入下载得doris模板

在这里插入图片描述
在这里插入图片描述

8、备份（Backup）和恢复（Restore）

Doris 支持将当前数据以文件的形式，通过 broker 备份到远端存储系统中。之后可以通过恢复命令，从远端存储系统中将数据恢复到任意 Doris 集群。通过这个功能，Doris支持将数据定期的进行快照备份。也可以通过这个功能，在不同集群间进行数据迁移

8.1、备份原理

备份操作是将指定表或分区的数据，直接以 Doris 存储的文件的形式，上传到远端仓库中进行存储。当用户提交 Backup 请求后，系统内部会做如下操作：

在这里插入图片描述
1、快照及快照上传

快照阶段会对指定的表或分区数据文件进行快照。之后，备份都是对快照进行操作。在快照之后，对表进行的更改、导入等操作都不再影响备份的结果。快照只是对当前数据文件产生一个硬链，耗时很少。快照完成后，会开始对这些快照文件进行逐一上传。快照上传由各个 Backend 并发完成。

2、元数据准备及上传
数据文件快照上传完成后，Frontend 会首先将对应元数据写成本地文件，然后通过broker 将本地元数据文件上传到远端仓库。完成最终备份作业。

8.2、恢复（Restore）原理

恢复操作需要指定一个远端仓库中已存在的备份数据，然后将这个备份的内容恢复到本地集群中。当用户提交 Restore 请求后，系统内部会做如下操作：
在这里插入图片描述
1、在本地创建对应的元数据
这一步首先会在本地集群中，创建恢复对应的表分区等结构。创建完成后，该表可见，但是不可访问。

2、本地 snapshot
这一步是将上一步创建的表做一个快照。这其实是一个空快照（因为刚创建的表是没有数据的），其目的主要是在 Backend 上产生对应的快照目录，用于之后接收从远端仓库下载的快照文件。

3、下载快照
远端仓库中的快照文件，会被下载到对应的上一步生成的快照目录中。这一步由各个Backend 并发完成。

4、生效快照
快照下载完成后，我们要将各个快照映射为当前本地表的元数据。然后重新加载这些快照，使之生效，完成最终的恢复作业。

重点说明

1、备份恢复相关的操作目前只允许拥有 ADMIN 权限的用户执行。
2、一个 Database 内，只允许有一个正在执行的备份或恢复作业。
3、备份和恢复都支持最小分区（Partition）级别的操作，当表的数据量很大时，建议按分区分别执行，以降低失败重试的代价。

8.3、备份示例

1、创建一个远端仓库路径

-- 1.启动hdfs
-- 2.启动broker

CREATE REPOSITORY `hdfs_test_backup`  -- 远端仓库的名字
WITH BROKER `broker_name` 
ON LOCATION "hdfs://linux01:8020/tmp/doris_backup"  -- 存储的路径
PROPERTIES ( 
 "username" = "root", 
 "password" = "" 
) ;

2、执行备份

BACKUP SNAPSHOT [db_name].{snapshot_name} 
TO `repository_name` 
ON ( -- 表里面的哪些数据 
 `table_name` [PARTITION (`p1`, ...)], 
 ... 
) 
PROPERTIES ("key"="value", ...);

3、查看备份任务

SHOW BACKUP from test \G;

mysql> SHOW BACKUP from test \G;
*************************** 1. row ***************************
               JobId: 13300
        SnapshotName: event_info_log_snapshot
              DbName: test
               State: FINISHED
          BackupObjs: [default_cluster:test.event_info_log]
          CreateTime: 2022-11-27 21:29:56
SnapshotFinishedTime: 2022-11-27 21:30:00
  UploadFinishedTime: 2022-11-27 21:30:06
        FinishedTime: 2022-11-27 21:30:13
     UnfinishedTasks: 
            Progress: 
          TaskErrMsg: 
              Status: [OK]
             Timeout: 86400
1 row in set (0.02 sec)

4、查看远端仓库镜像

SHOW SNAPSHOT ON `repo_name` 
 [WHERE SNAPSHOT = "snapshot" [AND TIMESTAMP =  
"backup_timestamp"]]; 


mysql> SHOW SNAPSHOT ON hdfs_test_backup;
+-------------------------+---------------------+--------+
| Snapshot                | Timestamp           | Status |
+-------------------------+---------------------+--------+
| event_info_log_snapshot | 2022-11-27-21-29-56 | OK     |
+-------------------------+---------------------+--------+

5、取消备份

CANCEL BACKUP FROM test;

8.4、恢复示例

将之前通过 BACKUP 命令备份的数据，恢复到指定数据库下。该命令为异步操作。提交成功后，需通过 SHOW RESTORE 命令查看进度。

  • 仅支持恢复 OLAP 类型的表
  • 支持一次恢复多张表，这个需要和你对应的备份里的表一致

说明：

1、同一数据库下只能有一个正在执行的 BACKUP 或 RESTORE 任务。

2、ON 子句中标识需要恢复的表和分区。如果不指定分区，则默认恢复该表的所有分区。所指定的表和分区必须已存在于仓库备份中

3、可以通过 AS 语句将仓库中备份的表名恢复为新的表。但新表名不能已存在于数据库中。分区名称不能修改。

4、可以将仓库中备份的表恢复替换数据库中已有的同名表，但须保证两张表的表结构完全一致。表结构包括：表名、列、分区、Rollup 等等。

5、可以指定恢复表的部分分区，系统会检查分区 Range 或者 List 是否能够匹配。

6、PROPERTIES 目前支持以下属性：

  • “backup_timestamp” = “2018-05-04-16-45-08”：指定了恢复对应备份的哪个时间版本,必填。该信息可以通过 SHOW SNAPSHOT ON 仓库名称; 语句获得。
  • “replication_num” = “3”：指定恢复的表或分区的副本数。默认为 3。若恢复已存在的表或分区，则副本数必须和已存在表或分区的副本数相同。同时，必须有足够的host 容纳多个副本。
  • “timeout” = “3600”：任务超时时间，默认为一天。单位秒。

从 example_repo 中恢复备份 snapshot_1 中的表 backup_tbl 到数据库 example_db1，时间版本为 “2021-05-04-16-45-08”。恢复为 1 个副本：

-- 创建表：
create table event_info
(
user_id varchar(20),
event_id varchar(20),
event_action varchar(20),
event_time datetime
)
DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 1;


-- 指定哪个数据库里面的哪一个快招表的名字
RESTORE SNAPSHOT test.event_info_log_snapshot
-- 从哪个仓库中的哪一个快照中
FROM `hdfs_test_backup` -- 仓库名字
ON ( `event_info_log` )  -- 对应需要的那一张表
PROPERTIES 
( 
-- 指定时间版本
 "backup_timestamp"='2022-11-27-21-29-56'
);

查看恢复任务

mysql> SHOW RESTORE from test \G;
*************************** 1. row ***************************
                        JobId: 13316
                        Label: event_info_log_snapshot
                    Timestamp: 2022-11-27-21-29-56
                       DbName: default_cluster:test
                        State: FINISHED
                    AllowLoad: false
               ReplicationNum: 3
            ReplicaAllocation: tag.location.default: 3
               ReserveReplica: false
ReserveDynamicPartitionEnable: false
                  RestoreObjs: {
  "name": "event_info_log_snapshot",
  "database": "test",
  "backup_time": 1669555796781,
  "content": "ALL",
  "olap_table_list": [
    {
      "name": "event_info_log",
      "partition_names": [
        "event_info_log"
      ]
    }
  ],
  "view_list": [],
  "odbc_table_list": [],
  "odbc_resource_list": []
}
                   CreateTime: 2022-11-27 21:55:27
             MetaPreparedTime: 2022-11-27 21:55:28
         SnapshotFinishedTime: 2022-11-27 21:55:31
         DownloadFinishedTime: 2022-11-27 21:55:37
                 FinishedTime: 2022-11-27 21:55:43
              UnfinishedTasks: 
                     Progress: 
                   TaskErrMsg: 
                       Status: [OK]
                      Timeout: 86400
1 row in set (0.01 sec)

取消恢复

CANCEL RESTORE FROM db_name;

8.5、删除远端仓库

DROP REPOSITORY `repo_name`;

删除仓库，仅仅是删除该仓库在 Doris 中的映射，不会删除实际的仓库数据。删除后，可以再次通过指定相同的 broker 和 LOCATION 映射到该仓库。

原文：https://mp.weixin.qq.com/s/C9P8Zoyw6MdTt9BNEcL0MA

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/214549.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

外卖平台推荐算法的优化与实践

外卖平台推荐算法的优化与实践

目录 引言 一、推荐算法的原理 二、推荐算法的挑战 三、实际案例分析 四、优化推荐算法的策略 五、结论 引言 在当今数字化社会，外卖平台成为了人们生活中不可或缺的一部分。为了提供更加个性化、高效的服务，外卖平台使用推荐算法成为了一项关键技…
阅读更多...
使用Pytoch实现Opencv warpAffine方法

使用Pytoch实现Opencv warpAffine方法

随着深度学习的不断发展，GPU/NPU的算力也越来越强，对于一些传统CV计算也希望能够直接在GPU/NPU上进行，例如Opencv的warpAffine方法。Opencv的warpAffine的功能主要是做仿射变换，如果不了解仿射变换的请自行了解。由于Pytorch的图像…
阅读更多...
web自动化 -- pyppeteer

web自动化 -- pyppeteer

由于Selenium流行已久，现在稍微有点反爬的网站都会对selenium和webdriver进行识别，网站只需要在前端js添加一下判断脚本，很容易就可以判断出是真人访问还是webdriver。虽然也可以通过中间代理的方式进行js注入屏蔽webdriver检测，但…
阅读更多...
【算法套路】（数组中）等价转换

【算法套路】（数组中）等价转换

文章目录 例题——2488. 统计中位数为 K 的子数组⭐【套路】子数组统计问题常用技巧：等价转换 相似题目列表面试题 17.05. 字母与数字525. 连续数组1124. 表现良好的最长时间段解法1解法2——利用单调栈 例题——2488. 统计中位数为 K 的子数组⭐ https://leetcode…
阅读更多...
了解大模型 RAG （Retrieval-Augmented Generation）：大模型外挂知识库 （检索增强技术）

了解大模型 RAG （Retrieval-Augmented Generation）：大模型外挂知识库 （检索增强技术）

本心、输入输出、结果 文章目录 了解大模型 RAG （Retrieval-Augmented Generation）：大模型外挂知识库 （检索增强技术）前言什么是检索增强技术 RAG （Retrieval-Augmented Generation）检索增强技术…
阅读更多...
分享几个电视颜色测试图形卡

分享几个电视颜色测试图形卡

介绍 本文分享几个常见的电视颜色测试图形卡和一段matlab程序，完成JPG转FPGA烧写文件，便于把彩色图片预装载到FPGA内。 电视颜色测试图形卡 一种专业检测电视显示效果的工具。它通常由一张卡片和一些色块组成，可以根据标准色彩空间和颜色渐…
阅读更多...
数据结构 | 查漏补缺之ASL、

数据结构 | 查漏补缺之ASL、

目录 ASL 情形之一：二分查找 线索二叉树 哈夫曼树 大根堆 邻接表&邻接矩阵 ASL 参考博文 关于ASL(平均查找长度)的简单总结_平均查找长度asl-CSDN博客 情形之一：二分查找 线索二叉树 参考博文 线索二叉树(线索链表遍历，二叉树…
阅读更多...
『亚马逊云科技产品测评』活动征文｜基于亚马逊云EC2搭建私有网盘 Nextcloud系统

『亚马逊云科技产品测评』活动征文｜基于亚马逊云EC2搭建私有网盘 Nextcloud系统

授权声明：本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在 Developer Centre, 知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官方渠道 亚马逊EC2云服务器（Elastic Compute Cloud）是亚马…
阅读更多...
[架构之路-256]：目标系统 - 设计方法 - 软件工程 - 软件设计 - 架构设计 - 软件系统不同层次的复用与软件系统向越来越复杂的方向聚合

[架构之路-256]：目标系统 - 设计方法 - 软件工程 - 软件设计 - 架构设计 - 软件系统不同层次的复用与软件系统向越来越复杂的方向聚合

目录 前言： 一、CPU寄存器级的复用：CPU寄存器 二、指令级复用：二进制指令 三、过程级复用：汇编语言 四、函数级复用：C语言 五、对象级复用：C, Java, Python 六、组件级复用 七、服务级复用 八、微…
阅读更多...
leetcode 202 快乐数

leetcode 202 快乐数

leetcode 202 快乐数 题目题解代码 题目 编写一个算法来判断一个数 n 是不是快乐数。 「快乐数」 定义为： 对于一个正整数，每一次将该数替换为它每个位置上的数字的平方和。 然后重复这个过程直到这个数变为 1，也可能是 无限循环 但始终变…
阅读更多...
【尾递归】

【尾递归】

尾递归 如果函数在返回前才进行递归调用，则该函数可以被编译器或解释器优化，使其在空间效率上与迭代相当。这种情况被称为「尾递归 tail recursion」。 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此…
阅读更多...
Android Init系统：引领设备启动的先锋

Android Init系统：引领设备启动的先锋

Android Init系统：引领设备启动的先锋 引言 Init系统是一个操作系统启动的必要组件，负责在启动时初始化所有系统资源、服务和应用程序。在Android设备中，Init系统起到了至关重要的作用，它是启动过程中的第一个进程，负…
阅读更多...
C++分数计算器

C++分数计算器

C分数计算器各种分数计算类型都能计算 代码：https://mbd.pub/o/bread/ZZeZk5hx 一 目的 （1）定义一个整数类。 定义一个分数类，由整数类派生。能对分数进行各种计算和输入/输出。可进行分数的加、减、乘和除法等四则运算。 流程…
阅读更多...
YOLOv8 区域计数 | 入侵检测 | 人员闯入

YOLOv8 区域计数 | 入侵检测 | 人员闯入

大家好，昨天的 YOLOv8 新增加了一个功能，区域计数，用这个功能我们能实现很多的任务， 比如入侵检测，流量统计，人员闯入等，使用方式也非常的方便，但是一定要使用最新版的 YOLOv8 代码（2023/12/03更新的代码）。 低版本是不具备这个功能的，上面是演示效果。 使用非常的方…
阅读更多...
Leetcode2661. 找出叠涂元素

Leetcode2661. 找出叠涂元素

Every day a Leetcode 题目来源：2661. 找出叠涂元素 解法1：哈希 题目很绕，理解题意后就很简单。 由于矩阵 mat 中每一个元素都不同，并且都在数组 arr 中，所以首先我们用一个哈希表 hash 来存储 mat 中每一个元素的…
阅读更多...
C语言中的动态内存管理

C语言中的动态内存管理

在C语言中，动态内存管理是通过一系列的标准库函数来实现的，这些函数包括malloc, free, calloc 和 realloc。它们允许程序在运行时动态地分配和释放内存，这是管理复杂数据结构（如链表、树等）时非常有用的功能。 为什么…
阅读更多...
软件生命周期四个阶段SDLC

软件生命周期四个阶段SDLC

软件产品生命周期：指软件产品研发全部过程、活动和任务的结构框架。 产品的生命周期一般包括四个阶段：引入期、成长期、成熟期和衰退期，在不同的阶段中，市场对产品的反应不同，其销售特点不同，因而产品管理的…
阅读更多...
【强化学习算法】Q-learning原理及实现

【强化学习算法】Q-learning原理及实现

实现代码github仓库：RL-BaselineCode 代码库将持续更新，希望得到您的支持⭐，让我们一起进步！ 文章目录 1. 原理讲解1.1 Q值更新公式1.2 ε-greedy随机方法 2. 算法实现2.1 算法简要流程2.2 游戏场景2.3 算法实现 3. 参考文章 1. 原…
阅读更多...
数据挖掘实战-基于word2vec的短文本情感分析

数据挖掘实战-基于word2vec的短文本情感分析

🤵‍♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞&#x1f4…
阅读更多...
专业爬虫框架 -- scrapy初识及基本应用

专业爬虫框架 -- scrapy初识及基本应用

scrapy基本介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。 但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站