【数据架构】Data Fabric 架构是实现数据管理和集成现代化的关键

D&A 领导者应该了解数据编织架构的关键支柱,以实现机器支持的数据集成。

在日益多样化、分布式和复杂的环境中,数据管理敏捷性已成为组织的任务关键优先事项。为了减少人为错误和总体成本,数据和分析 (D&A) 领导者需要超越传统的数据管理实践,转向现代解决方案,例如支持人工智能的数据集成

“被称为“数据编织”的新兴设计概念可以成为应对一直存在的数据管理挑战的强大解决方案,例如高成本和低价值的数据集成周期、早期集成的频繁维护、对实时性不断增长的需求和事件驱动的数据共享等等,”Gartner 杰出副总裁分析师 Mark Beyer 说。

什么是数据编织?


Gartner 将数据编织定义为一种设计概念,它充当数据和连接过程的集成层(结构)。数据编织利用对现有、可发现和推断的元数据资产的持续分析,以支持跨所有环境(包括混合云和多云平台)设计、部署和利用集成和可重用数据。

Data Fabric 利用人和机器的能力来访问数据或在适当的情况下支持其整合。它不断地识别和连接来自不同应用程序的数据,以发现可用数据点之间独特的、与业务相关的关系。该洞察支持重新设计的决策制定,通过快速访问和理解提供比传统数据管理实践更多的价值。

例如,使用数据编织的供应链领导者可以更快地将新遇到的数据资产添加到供应商延迟和生产延迟之间的已知关系中,并使用新数据(或为新供应商或新客户)改进决策。

将数据编织视为自动驾驶汽车


考虑两种情况。首先,驾驶员积极主动并全神贯注于路线,汽车的自主元素干预最少或没有干预。第二,司机稍显懒惰,注意力不集中,汽车立即切换到半自动模式并进行必要的路线修正。

这两种情况都总结了 Data Fabric 的工作原理。它首先以被动观察者的身份监控数据管道,并开始提出更有成效的替代方案。当数据“驱动程序”和机器学习都对重复的场景感到满意时,它们会通过自动化即兴任务(耗费太多人工时间)来相互补充,同时让领导层可以自由地专注于创新。

D&A 领导者需要了解的有关数据编织的知识

  • Data Fabric 不仅仅是传统和现代技术的结合,而是一种改变人类和机器工作负载重点的设计理念。

  • 实现数据编织设计需要新的和即将到来的技术,例如语义知识图、主动元数据管理和嵌入式机器学习 (ML)。

  • 该设计通过自动执行重复性任务(例如分析数据集、发现模式并将其与新数据源对齐)以及最先进的修复失败的数据集成作业来优化数据管理。

  • 没有现有的独立解决方案可以促进成熟的数据编织架构。D&A 领导者可以通过混合构建和购买的解决方案来确保强大的数据编织架构。例如,他们可以选择一个有前景的数据管理平台,该平台具有将数据编织拼接在一起所需的 65-70% 的功能。缺少的功能可以通过本土解决方案来实现。


D&A 领导者如何确保数据编织架构能够提供业务价值?


为了通过数据编织设计提供业务价值,D&A 领导者应确保坚实的技术基础,确定所需的核心能力,并评估现有的数据管理工具。

以下是 D&A 领导者必须了解的数据编织架构的关键支柱。

No 1. Data Fabric 必须收集和分析所有形式的元数据


上下文信息为动态数据编织设计奠定了基础。应该有一种机制(如连接良好的元数据池),使 Data Fabric 能够识别、连接和分析各种元数据,例如技术、业务、运营和社交。

5a728de3ba149882dc5d595d97c93dd9.png

No 2. Data Fabric 必须将被动元数据转换为主动元数据


对于数据的无摩擦共享,企业激活元数据非常重要。为此,Data Fabric 应该:

持续分析关键指标和统计数据的可用元数据,然后构建图形模型。
基于元数据的独特和业务相关关系,以易于理解的方式以图形方式描述元数据。
利用关键元数据指标启用 AI/ML 算法,随着时间的推移学习并产生有关数据管理和集成的高级预测。
下载电子书:决策的未来

No 3. Data Fabric 必须创建和管理知识图谱


知识图谱使数据和分析领导者能够通过语义丰富数据来获得业务价值。

知识图谱的语义层使其更加直观和易于解释,使 D&A 领导者的分析变得容易。它为数据使用和内容图增加了深度和意义,允许 AI/ML 算法将信息用于分析和其他操作用例。

数据集成专家和数据工程师经常使用的集成标准和工具可以确保轻松访问和交付知识图。D&A 领导者应该利用这一点;否则,Data Fabric 的采用可能会面临许多中断。

No 4. Data Fabric 必须具有强大的数据集成主干


Data Fabric 应兼容各种数据交付方式(包括但不限于 ETL、流式传输、复制、消息传递和数据虚拟化或数据微服务)。它应该支持所有类型的数据用户——包括 IT 用户(用于复杂的集成需求)和业务用户(用于自助数据准备)。

本文 :https://architect.pub/data-fabric-architecture-key-modernizing-data-management-and-integration
讨论:知识星球【首席架构师圈】或者加微信小号【ca_cto】或者加QQ群【792862318】
公众号
 
【jiagoushipro】
【超级架构师】
精彩图文详解架构方法论,架构实践,技术原理,技术趋势。
我们在等你,赶快扫描关注吧。
微信小号
 
【ca_cea】
50000人社区,讨论:企业架构,云计算,大数据,数据科学,物联网,人工智能,安全,全栈开发,DevOps,数字化.
 

QQ群
 
【285069459】深度交流企业架构,业务架构,应用架构,数据架构,技术架构,集成架构,安全架构。以及大数据,云计算,物联网,人工智能等各种新兴技术。
加QQ群,有珍贵的报告和干货资料分享。

视频号【超级架构师】
1分钟快速了解架构相关的基本概念,模型,方法,经验。
每天1分钟,架构心中熟。

知识星球【首席架构师圈】向大咖提问,近距离接触,或者获得私密资料分享。 

喜马拉雅【超级架构师】路上或者车上了解最新黑科技资讯,架构心得。【智能时刻,架构君和你聊黑科技】
知识星球认识更多朋友,职场和技术闲聊。知识星球【职场和技术】
领英Harryhttps://www.linkedin.com/in/architect-harry/
领英群组领英架构群组https://www.linkedin.com/groups/14209750/
微博‍‍【超级架构师】智能时刻‍
哔哩哔哩【超级架构师】

抖音【cea_cio】超级架构师

快手【cea_cio_cto】超级架构师

小红书【cea_csa_cto】超级架构师 

网站CIO(首席信息官)https://cio.ceo
网站CIO,CTO和CDOhttps://cioctocdo.com
网站架构师实战分享https://architect.pub   
网站程序员云开发分享https://pgmr.cloud
网站首席架构师社区https://jiagoushi.pro
网站应用开发和开发平台https://apaas.dev
网站开发信息网https://xinxi.dev
网站超级架构师https://jiagou.dev
网站企业技术培训https://peixun.dev
网站程序员宝典https://pgmr.pub    
网站开发者闲谈https://blog.developer.chat
网站CPO宝典https://cpo.work
网站首席安全官https://cso.pub    ‍
网站CIO酷https://cio.cool
网站CDO信息https://cdo.fyi
网站CXO信息https://cxo.pub

谢谢大家关注,转发,点赞和点在看。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/43291.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

(三)springboot实战——web新特性之函数式实现

前言 本节内容我们主要介绍一下web访问的另一种形式,通过函数式web实现一个restful风格的http请求案例。函数式web是spring5.2之后的一个新特性,可以通过函数去定义web请求的处理流程,使得代码更为简洁,耦合性也降低了。 正文 …

数据结构day7(2023.7.23)

一、Xmind整理: 二、课上练习: 练习1:结点之间的关系 练习2:二叉树的特殊形态 练习3:满二叉树的形态 练习4:完全二叉树的形态 满二叉树一定是完全二叉树,完全二叉树不一定是满二叉树 练习5&am…

Window下编译ffmpeg

Window下编译ffmpeg 下载MSYS2编译ffmpeg运行 下载MSYS2 MSYS2是一个是工具和库的集合,它能够方便的在windows上编译、安装和运行程序。ffmpeg可以通过这个软件来编译。 从MSYS2官网下载MSYS2并安装。 运行MSYS2终端,在终端中输入命令,安装…

07统计模型练习

使用SPSS进行分析求解 第一题 下表1.1是中国1994-2016年国内旅游总花费Y、国内生产总值X1、铁路里程X2和公路里程X3的数据,请据此分析如下问题: (1)就建立简单线性回归模型,分别分析中国国内旅游总花费与国内生产总值、铁路里程和公路里程数据的数量关系。 (2)对建立的回归模型…

JVS开源基础框架:用户管理介绍(支持同步钉钉、企微、微信等)

在企业内部系统中,用户管理是指对系统内的用户进行管理、授权和权限管理的过程,这里主要介绍用户的创建与基本信息的管理,权限、登录等详细介绍请参考相关章节。 用户管理界面 点击平台管理-用户管理,界面上展示了组织管理与组织…

potplayer放大画面,画面拖拽。备份

放大画面: 按住alt和鼠标左键,就可以拖动放大后的画面了 窗口化示图 倍数调整 默认只能0.1往上加,但是有的视频0.08倍数才正好,需要精确到2位小数。

基于Vue+Element Plus实现表格组件

目录 前言分析实现例子效果图前言 表格对于管理类项目是很重要的,可以只管的展示和比比较数据。使用Element Plus能解决一部分问题,但是还存在一些缺点和不足。 分析 浏览器上表格数据展示空间不足。列显示太多不够直观。完全依赖官方表格组件代码过于臃肿不利于管理和优化…

【Docker】Docker基本管理命令

目录 一、Docker概述1.1容器化受欢迎的原因1.2Docker核心概念 二、安装 Docker2.1环境准备 三、Doker镜像操作镜像操作选项 四 、Docker 容器操作容器操作选项 一、Docker概述 Docker是一个开源的应用容器引擎,基于go语言开发并遵循了apache2.0协议开源。 Docker是…

vue项目之《 搭建路由系统 》

author:德玛玩前端 date:2023-07-22 今天,在工作中拿到了架构师的前端框架,是一个vue2elementui搭建的单页面架构,没有路由系统,需要自己搭建,因为以往拿到的框架都是路由系统已经搭建好&#x…

【Linux】Tcp服务器的三种与客户端通信方法及守护进程化

全是干货~ 文章目录 前言一、多进程版二、多线程版三、线程池版四、Tcp服务器日志的改进五、将Tcp服务器守护进程化总结 前言 在上一篇文章中,我们实现了Tcp服务器,但是为了演示多进程和多线程的效果,我们将服务器与客户通通信写成了一下死循…

iphone新机官网验机流程

苹果官网验机流程 进入苹果官网,找到技术支持,进入“查看保障服务和支持期限“页面,输入要查询的机器的序列号,就可以查询了。 苹果官网验机入口:https://checkcoverage.apple.com/ 输入iphone序列号进行验机&#xff…

【高阶数据结构】B树

文章目录 一、B-树1. 常见的搜索结构2. B树概念3. B-树的查找4. B-树的插入分析 二、B树和B*树1. B树2. B*树 三、B-树的应用1. 索引2. MySQL索引简介2.1 MyISAM2.2 InnoDB 一、B-树 1. 常见的搜索结构 种类数据格式时间复杂度顺序查找无要求O(N)二分查找有序O(log2N)二叉搜索…

【LeetCode热题100】打卡第42天:滑动窗口最大值搜索二维矩阵II

文章目录 【LeetCode热题100】打卡第42天:滑动窗口最大值&搜索二维矩阵II⛅前言 滑动窗口最大值🔒题目🔑题解 搜索二维矩阵II🔒题目🔑题解 【LeetCode热题100】打卡第42天:滑动窗口最大值&搜索二维…

帖子列表和SerializerMixin注意事项

帖子序列化 继承SerializerMixin 即可调用to_dict()序列化 后端 class PostModel(db.Model, SerializerMixin):serialize_only ("id", "title", "content", "create_time", "board", "author")__tablename__ …

rabbitmq访问异常

看到这个问题,第一时间想到rabbitmq的问题,应该权限导致的 先创建virtual hosts 接着创建用户并赋予权限,将eayc的virtual hosts权限赋予acc用户即可 15:34:24.250 WARN com.rabbitmq.client.impl.ForgivingExceptionHandler - An unexpected connec…

线程的基本概念

线程的基本概念 1. 概念1.1 什么是线程1.2 为什么要有线程1.3 进程和线程的区别 2. 线程创建的基本方法3. Thread 类3.1. Thread 的常见构造方法3.2 Thread 类常见的几种方法 4. 线程的状态 1. 概念 1.1 什么是线程 一个线程就是一个 “执行流”. 每个线程之间都可以按照顺讯…

Vue中TodoList案例_添加

与上一篇Vue中TodoList案例_初始化列表有四个文件变化了 安装nanoid库&#xff1a; npm i nanoid App.vue <template><div id"root"><div class"todo-container"><div class"todo-wrap"><MyHeader :addTodo"…

IDEA快速创建SpringBoot

文件具有错误的版本 61.0, 应为 52.0报错可以看看是不是Springboot的版本比较高 和jdk版本不匹配 package com.qf.controller;import org.springframework.stereotype.Controller; import org.springframework.web.bind.annotation.RequestMapping; import org.springframewor…

【Java】 服务器cpu过高如何排查和解决?

文章目录 前言一、常见能够引起CPU100%异常的情况都有哪些&#xff1f;二、服务器CPU使用率飙升异常&#xff0c;黄金4步排查法三、排查 CPU 故障的常用命令四、什么场景会造成 CPU 低而负载确很高呢&#xff1f;五、监控发现线上机器内存占用率居高不下&#xff0c;如何分析进…

第一天基础名词

文章目录 一、域名1、域名的概念2、域名注册3、域名的分类 二、DNS1、DNS的概念2、DNS解析3、本地hosts文件与DNS的关系4、如何查看本地Hosts文件 三、CDN1、CDN的概念2、CDN原理&#xff08;1&#xff09;回顾域名解析&#xff08;2&#xff09;CDN原理 3、常见DNS攻击 四、脚…