【2023年11月第四版教材】《第5章-信息系统工程之数据工程(第三部分)》

《第5章-信息系统工程之数据工程(第三部分)》

  • 2 数据工程
    • 2.1 数据建模
    • 2.2 数据标准化
    • 2.3 数据运维
    • 2.4 数据开发利用
    • 2.5 数据库安全

2 数据工程

2.1 数据建模

1、根据模型应用目的不同,可以将数据模型划分为三类:概念模型逻辑模型物理模型

模型解释说明
概念模型也称信息模型,它是按用户的观点来对数据和信息建模,也就是说,把现实世界中的客观对象抽象为某一种信息结构,这种信息结构不依赖于具体的计算机系统,也不对应某个具体的DBMS.它是概念级别的模型
逻辑模型1.目前主要的数据结构有层次模型、网状模型、关系模型、面向对象模型和对象关系模型。其中,关系模型成为目前好要的一种逻辑数据模型。
2.关系数据模型的数据操作主要包括查询、插入、删除更新数据,这些操作必须满足关系的完整性约束条件。
3.关系的完整性约束包括三大类型:实体完整性、参照完整性用户定义的完整性
物理模型物理数据模型是在逻辑数据模型的基础上,考虑各种具体的技术实现因素进行数据库体系结构设,真正实现数据在数据库中的存放。物理数据模型的内容包括确定所有的表和列,定义外键用于确定表之间的关系,基于性能的需求可能进行反规范化处理等内容。物理模型的基本元素包括表、字段、视图、索引、存储过程、触发器等,其中表、 字段和视图等元素与逻辑模型中基本元素有一定的对应关系

2、数据建 模过程包括数据需求分析、概念模型设计、逻辑模型设计物理模型设计等过程。

数据建模过程具体内容
数据需求分析用户需求一数据流图
概念模型设计将需求分析得到结果抽象为概念模型的过程就是概念模型设计,其任务是确定实体和数据及其关联,建名逻辑模型,关系模式
逻辑模型设计建立概念模型,其任务是确定实体和数据及其关联即E-R图
物理模型设计将数据模型转换为真正的数据库结构,还需要针对具体的DBMS进行物理模型设计,使数据模型走向数据存储应用环节,主要问题包括命名、确定字段类型和编写必要的存储过程与触发器

2.2 数据标准化

1、数据标准化是实现数据共享的基础。使得数据简单化、结构化和标准化。

2、数据标准化的主要内容包括元数据标准化、数据元标准化、数据模式标准化、数据分类与编码标准化数据标准化管理

过程解释说明
元数据标准化元数据是关于数据的数据。元数据被定义为提供关于信息资源或数据的一种结构化数据,是对信息资源的结构化描述。其实质是用于描述信息资源或数据的内容、 覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等有关的信息。
数据元标准化开放系统互连环境(OSIE)四个基本要素(硬件、软件、通信和数据)中的三个要素(硬件、软件和通信
1.数据元:是数据库、文件和数据交换的基本数据单元。数据库或文件由记录或元组等组成,而记录或元组则由数据元组成.由对象、特性和表示组成。
2.数据元提取:方法有两种:自上而下(Top-Down)和自下而上(Down-Top)提取法。对于新建系统的数据元提取,一般适用“自上而下”的提取法。
3.数据元标准
数据模式标准化1.本质:规范化处理,减少冗余2.数据模式的描述方式主要有图描述方法数据字典方法。图描述方法常用的有IDEFIX方法UML图,主要用来描述数据集中的实体和实体之间的相互关系;数据字典形式用来描述模型中的数据集、单个实体、属性的摘要信息。
数据分类和编码标准化就是把数据分类与编码工作纳入标准化工作的领域,按标准化的要求和工作程序, 将各种数据按照科学的原则进行分类以编码,经有关方面协商一致,由主管机构批准、注册,以标准的形式发Q作为共同遵守的准则和依据,并在其相应的级别范围内宣贯和推行。
数据标准化管理包括确定数据需求、制定数据标准、批准数据标准实施数据标准四个阶段
1.确定数据需求:将产生数据需求及相关的元数据、域值等文件。
2.制定数据标准:要处理“确定数据需求”阶段提出的数据需求。如果现有的数据标准不能满足该数据需求,可以建议制定新的数据标准,也可建议修改或者封存已有数据标准。
3.批准数据标准:数据管理机构对提交的数据标准建议、现行数据标准的修改或封存建加行审查一经批准,该数据标准将扩充或修改数据模型。
4.实施数据标准:涉及在各信息系统中实施和改进已批准的数据标准。

2.3 数据运维

过程解释说明
数据存储就是根据不同的应用环境,通过采取合理、安全、有效的方式将数据保存到物理介质上,并能保证对数据实施有效的访问
数据备份1.数据备份是为了防止由于用户操作失误、系统故障等意外原因导致的数据丢失, 而将整个应用系统的数据或一部分关键数据复制到其他存储介质上的过程。
2.数据备份结构可以分为四:DAS备份结构、基于LAN的备份结构、LANFREE备份结构SERVER-FREE备份结构
3.常见的备份策略主要有三种:完全备份、差分备份增量备份
数据容灾1.根据容灾系统保护对象的不同,容灾系统分为应用容灾数据容灾两类。
👉应用容灾用于克服灾难对系统的影响,保证应用服务的完整、可靠和安全等一系列要求,使得用户在任何情况下都能得到正常的服务;
👉 数据容灾关注于保证用户数据的高可用性,在灾难发生时能够保证应用系统中数据尽量少丢失或不丢失,使得应用系统能不间断地运行或尽快地恢复正常运行。
2.衡量容灾系统有两个主要指标:RPORTO,其中RPO代表了当灾难发生时允许丢失的数据量;而RTO则代表了系统恢复的时间
数据质量与评价控制1.数据质量描述:数据质量可以通过数据质量元素来描述,数据质量元素分为数据质量定量元素数据质量非定量元素
2.数据质量评价过程
3.数据质量评价方法:直接评价法间接评价法
👉 直接评价法:通过将数据与内部或外部的参照信息,如理论值等进行对比。确定数据质量。
👉 间接评价法利用数据相关信息,如数据只对数据源、采集方法等的描述推断或评估数据质量。
4.数据质量控制:分成前期控制后期控制两个大部分。
👉前期控制包括数据录入前的质量控制、数据录入过程中的实时质量控制;
👉 后期控制为数据录入完成后的后处理质量控制与评价。
依据建库流程可分为:前期控制、过程控制、系统检测、精度评价
5,数据清理:三个步骤:数据分析一数据检测一数据修正
👉 数据分析:是指从数据中发现控制数据的一般规则,比如字段域、业务规则等, 通过对数据的分析,定义出数据清理的规则,并选择合适的清理算法。
👉 数据检测:是指根据预定义的清理规则及相关数据清理算法,检测数据是否正确,比如是否满足字段域业务规则等,或检测记录是否重复。
👉 数据修正:是指手工或自动地修正检测到的错误数据或重复的记录

2.4 数据开发利用

1、数据开发利用包括数据集成、数据挖掘和数据服务(目录服务、查询服务、浏览和下 载服务、数据分发服务)、数据可视化、信息检索等。

过程解释说明
数据集成1.将驻留在不同数据源中的数据进行整合,向用户提供统一的数据视图,使得用户能以透明的方式访问数据2.数据集成的目标就是充分利用已有数据,在尽量保持其自治性的前提下,维护数据源整体上的一致性,提高数据共享利用效率。实现数据集成的系统称为数据集成系统,它为用户提供了统一的数据源访问接口,用于执行用户对数据源的访问请求。
数据挖掘1.从大量数据中提取或“挖掘”知识,即从大量的、不完全的、有噪声的、模糊的、 随机的实际数据中,提取隐含在其中的、人们不知道的、却是潜在有用的知识。
2.数据挖掘主要任务:数据总结、关联分析、分类和预测、聚类分析和孤立点分析
3.数据挖掘流程:确定分析对象、数据准备、数据挖掘、结果评估与结果应用五阶段
数据服务数据服务主要包括数据且受服务、数据查询与浏览及下载服务、数据分发服务。

1 .数据目录服务:建立目录方便检索服务。
2.数据查询与浏览及下载服务:是网上数据共享服务的重要方式,用户使用数据的方式有查询数据和下载数据两种。
3.数据分发服务:是指数据的生产者通过各种方式将数据传送到用户的过程。
数据可视化1.指将抽象的事物或过程变成图形图像的表示方法
2.可视化的表现方式分为七类:一维数据可视化、二维数据可视化、三维数据可视化、 多维数据可视化、时态数据可视化、层次数据可视化和网络数据可视化。
信息检索1.信息检索的方法:全文检索、字段检索、基于内容的多媒体检索、数据挖掘
2.信息检索的常用技术包括布尔逻辑检索技术、截词检索技术、临近检索技术、限定字段检索技术、限制检索技术等。

2.5 数据库安全

1、数据库安全对策

安全对策要点
防止非法的数据访问数据库管理系统必须根据用户或应用的授权来检查访问请求,以保证仅允许授权的用户访问数据库
防止推导指的是用户通过授权访问的数据,经过推导得出机密信息,而按照安全策略, 该用户是无权访问此机密信息的
保证数据库的完整性是保护数据库不受非授权修改,以及不会因为病毒、系统中的错误等导致的存储数据破坏。这种保护通过访问控制、备份/恢复以及一些专用的安全机制共同实现
保证数据的操作完整性定位于在并发事务中保证数据库中数据的逻辑一致性。由并发管理器子系统负责
保证数据的语义完整性在修改数据时,保证新值在一定范围内符合逻辑上的完整性。对数据值的约束通过完整性约束来描述。
审计和日志审计和日志是有效的威慑和事后追查、分析工具
标识和认证标识和认证是授权、审计等的前提条件是第一道安全防线
机密数据管理对于同时保存机密和公开数据的数据库而言,访问控制主要保证机密数据的保密性,仅允许授权用户的访问。这些用户被赋予对机密数据进行一系列操作的权限,并且禁止传播这些权限。
多级保护将数据划分不同保密级别,户只能访问拥有的权限所对应级别的数据
限界限界的意义在于防止程序之间出现非授权的信息传递

2、数据库安全机制包括用户的身份认证、存取控制、数据库加密、数据审计、推理控制等内容。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/78387.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Error = [Microsoft][SQL Server Native Client 10.0]无法打开 BCP 主数据文件(已解决)

需求:分页方式查出表中数据存入excel中,并给excel标记不同的编号 前提: #all_4表中数据已准备好 版本: sql server 2008 declare n int set n 1 while n 100 begin print n:print nEXEC master.dbo.sp_configure show adva…

什么是flexbox布局?它有什么特点和优势?

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 什么是 Flexbox 布局?⭐ 特点和优势⭐ 写在最后 ⭐ 专栏简介 前端入门之旅:探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅!这个专栏是为那…

(三)行为模式:1、责任链模式(Chain of Responsibility Pattern)(C++示例)

目录 1、责任链模式(Chain of Responsibility Pattern)含义 2、责任链模式的UML图学习 3、责任链模式的应用场景 4、责任链模式的优缺点 5、C实现责任链模式的实例 1、责任链模式(Chain of Responsibility Pattern)含义 责任…

2682. 找出转圈游戏输家

题目描述&#xff1a; n 个朋友在玩游戏。这些朋友坐成一个圈&#xff0c;按 顺时针方向 从 1 到 n 编号。从第 i 个朋友的位置开始顺时针移动 1 步会到达第 (i 1) 个朋友的位置&#xff08;1 < i < n&#xff09;&#xff0c;而从第 n 个朋友的位置开始顺时针移动 1 步…

vue之动态表单(优化)

代码资源在这儿 ↑ vue之动态表单优化 vue2js动态表单优化vue3ts动态表单优化 vue2js动态表单优化 效果图 目录结构 五个文件的完整代码: 以下是App.vue <template><div><router-view></router-view><Formpage /></div> </templa…

jenkins 安装nodejs 14

参考&#xff1a; jenkins容器安装nodejs-前端问答-PHP中文网

在ubuntu+cpolar+rabbitMQ环境下,实现mq服务端远程访问

文章目录 前言1.安装erlang 语言2.安装rabbitMQ3. 内网穿透3.1 安装cpolar内网穿透(支持一键自动安装脚本)3.2 创建HTTP隧道 4. 公网远程连接5.固定公网TCP地址5.1 保留一个固定的公网TCP端口地址5.2 配置固定公网TCP端口地址 前言 RabbitMQ是一个在 AMQP(高级消息队列协议)基…

LangChain手记 Agent 智能体

整理并翻译自DeepLearning.AILangChain的官方课程&#xff1a;Agent&#xff08;源代码可见&#xff09; “人们有时会将LLM看作是知识库&#xff0c;因为它被训练所以记住了来自互联网或其他地方的海量信息&#xff0c;因而当你向它提问时&#xff0c;它可以回答你的问题。有一…

网络

mcq Java 传输层&#xff1a;拆分和组装&#xff0c;完成端到端的消息传递&#xff0c;流量控制&#xff0c;差错控制等 网络层&#xff1a; 寻址、路由&#xff0c;复用&#xff0c;拥塞控制&#xff0c;完成源到宿的传递。 显然A选项是错误的&#xff0c;有流量控制的是传输层…

JavaWeb框架:Spring MVC介绍

Spring MVC 概述 概述 MVC&#xff08;Model View Controller&#xff0c;模型-视图-控制器&#xff09;&#xff0c;作为一种设计模式&#xff0c;用于应用程序的分层开发。 Spring MVC&#xff0c;由 Spring 框架提供的基于 MVC 设计模式的一个轻量级 Web 开发框架。Spring…

基于CentOS 7 部署社区版Haproxy

HAProxy是法国开发者 威利塔罗(Willy Tarreau) 在2000年使用C语言开发的一个开源软件&#xff0c;是一款具 备高并发(一万以上)、高性能的TCP和HTTP负载均衡器&#xff0c;支持基于cookie的持久性&#xff0c;自动故障切换&#xff0c;支 持正则表达式及web状态统计。 目录 1…

微服务-Fegin

在之前我们两服务之间调用的时候用的是restTemplate,但是这个方式调用存在很多的问题 String url "http://userservice/user/" order.getUserId(); 代码可读性差&#xff0c;编码体验不统一参数复杂的url难以维护 所以我们大力推出我们今天的主角--Fegin Feign是…

解决“warning: #223-D: function “xPortSysTickHandler“ declared implicitly“告警提示

继上篇文章发布已有时隔两个月之久&#xff0c;今天就把这两个月遇到的一些问题解决分享一下&#xff0c;首先&#xff0c;我们来看今天分享的这个关于我在学习freertos遇到的一个告警。如图所示&#xff1a; 告警提示原句为&#xff1a; warning: #223-D: function "xP…

Offset Explorer

Offset Explorer 简介下载安装 简介 Offset Explorer&#xff08;以前称为Kafka Tool&#xff09;是一个用于管理和使Apache Kafka 集群的GUI应用程序。它提供了一个直观的UI&#xff0c;允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管…

【自用】云服务器 docker 环境下 HomeAssistant 安装 HACS 教程

一、进入 docker 中的 HomeAssistant 1.查找 HomeAssistant 的 CONTAINER ID 连接上云服务器&#xff08;宿主机&#xff09;后&#xff0c;终端内进入 root &#xff0c;输入&#xff1a; docker ps找到了 docker 的 container ID 2.config HomeAssistant 输入下面的命令&…

PLUS操作流程、应用与实践,多源不同分辨率数据的处理、ArcGIS的应用、PLUS模型的应用、InVEST模型的应用

PLUS模型是由中国地质大学&#xff08;武汉&#xff09;地理与信息工程学院高性能空间计算智能实验室开发&#xff0c;是一个基于栅格数据的可用于斑块尺度土地利用/土地覆盖(LULC)变化模拟的元胞自动机(CA)模型。PLUS模型集成了基于土地扩张分析的规则挖掘方法和基于多类型随机…

ARM02汇编指令

文章目录 一、keil软件介绍1.1 创建工程1.2 解析start.s文件(重点)1.3 乱码解决1.4 更换背景颜色1.5 C语言内存分布1.6 解析map.lds文件(重点)1.7 常见错误信息1.8 仿真 二、汇编三种符号2.1 汇编指令2.2 伪指令2.3 伪操作 三、汇编指令格式3.1 格式3.2 注意事项 四、数据操作指…

SpringBoot复习:(34)@EnableWebMvc注解为什么让@WebMvcAutoconfiguration失效?

它导入了DelegatingWebMvcConfiguration 它会把容器中的类型为WebMvcConfigurer的bean注入到类型为WebMvcConfigurerComposite的成员变量configurers中。 可以看到它继承了WebMvcConfigurerSupport类 而WebMvcConfigureAutoConfiguration类定义如下 可以看到一个Conditional…

Tesseract用OpenCV进行文本检测

我没有混日子&#xff0c;只是辛苦的时候没人看到罢了 一、什么是Tesseract Tesseract是一个开源的OCR&#xff08;Optical Character Recognition&#xff09;引擎&#xff0c;OCR是一种技术&#xff0c;它可以识别和解析图像中的文本内容&#xff0c;使计算机能够理解并处理…

求解方程sympy.solve

【小白从小学Python、C、Java】 【计算机等考500强证书考研】 【Python-数据分析】 求解方程 sympy.solve [太阳]选择题 下列代码最后一次输出的结果是&#xff1f; import sympy x sympy.symbols(x) y x**2 2*x - 3 print("【执行】sympy.solve(y, x)") print(s…
最新文章