元数据驱动nosql,元数据驱动开发

元数据驱动 什么是元数据驱动

这个应该是说

通过使用元数据，不断的完善现有的技术元数据与业务元数据。

通过完善的过程来指导整个数据仓库的建立。

元数据驱动的数据仓库开发过程可以细分为以下阶段：

1) 建立元数据

a. 定义元数据的数据源；

b. 定义元数据的内容和属性；

c. 定义元数据使用规则；

d. 声明元数据联合使用的规则；

元数据驱动，螺旋上升的数据仓库开发方式优点包括：

1. 建立中央数据仓库系统数据的统一视图；

2. 统一的元数据管理；

3. 灵活的体系结构；

4. 可扩展的架构；

与之相对的是“模型驱动构架”（MDA），它是OMG定义的一个软件开发框架。MDA的关键之处是，模型在软件开发过程中扮演了非常重要的角色。在MDA中，软件开发过程是由对软件系统的建模行为驱动的。

什么是Vibe？什么是虚拟数据机

什么是虚拟数据机？数据虚拟机(VDM)就是一种可访问、集合和管理数据的嵌入式数据管理引擎。

既然你知道了什么是VDM，那Vibe又是什么呢？简单地说，Vibe就是数据虚拟机 (VDM) 的品牌名称。

问题解决了，为了使阅读起来更有趣，在此会更详细地介绍有关Vibe 虚拟数据机发展历程的背景情况。

虚拟数据机的发展历程

自20年前 Informatica公司成立以来，我们就秉持着一种理念，即把数据集成的发展从实际的运行期中剥离开来。这就是当我们说Informatica PowerCenter数据集成产品是元数据驱动的时候，Informatica所具有的含义。术语“元数据驱动”的意思就是说开发人员不必知道是 C、C++还是Java语言来执行数据集成。开发人员在图形化的开发环境中使用拖放工具可显示数据是如何从A系统中移走，然后如何与B系统中的数据结合，最后在数据到达C系统时最终被清除和变换。在开发过程的最精细层面，你可能会看到代表数据集的图标，以及表示从哪些数据集出来并进入到其他数据集的关系，并同时说明了数据如何进行相应变换的线条。

Informatica Developer的拖放图形化开发环境

当然，你是看不到代码的，整个过程中只有描述数据将如何被修改的元数据。这就是说，一个了解数据集成概念的人，不一定就得是软件开发人员，他可以开发数据整合作业，将原始数据转换为高质量的信息，这样，相关机构就能把他们的数据潜能用到工作中去。也就意味着有更多的人能够开发数据整合作业，因为通过使用图形化工具，我们已经“大众化了”数据集成开发。

然而，随着时间的推移，数据集成也变得更加复杂。从数据提取、转换和加载(ETL)批量数据移动，数据集成发展到了包括数据质量、实时数据、数据虚拟化和现在Hadoop分布系统在内的程度。此外，在此前提下或者在云计算中，都可以部署数据集成进程。由于数据集成已变得更加复杂，它不得不采用一种混合式的方法，即一种在混合及匹配不断扩展的底层技术的同时，需要经常使用刚才提到的部分或大多数功能与方式的方法。

一直以来，Informatica没有停止过将开发环境从底层数据移动和变换技术中剥离开来。但为何这种剥离如此重要呢？因为新的数据集成方法带来新的部署模型，如软件即服务（SaaS），新技术如Hadoop，以及新语言，如Pig和Hive，甚至牵涉到未来的语言。所以现有的数据集成开发人员，无需因为要使用新技术而去了解新技术如何工作的细节。此外，底层技术在数据集成和管理市场中变化的速度也在加快。所以，当这种速度加快时，通过把开发与部署分开，终端用户可以使用相同的界面继续设计和开发，并且在内部，他们可以利用新的数据移动和转换引擎，做虚拟化数据，以及整批移动数据、实时移动数据，或集成大数据，而无需了解任可有关底层语言、系统或框架的详细信息。

本系列博文将清晰地为您介绍VDM的发展历程。在我们的下一期博文中，我们会特别介绍有关Vibe VDM 的基础理论以及其工作原理方面的内容。别换台哦，同一Vibe时间，同一Vibe频道。

NoSQL如何实现数据的增删改查？

package basic;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

public class JDBC {

public void findAll() {

try {

// 获得数据库驱动

//由于长时间不写，驱动名和URL都忘记了，不知道对不对，你应该知道的，自己改一下的哈

String url = "jdbc:oracle:thin:@localhost:1521:XE";

String userName = "system";

String password = "system";

Class.forName("oracle.jdbc.driver.OracleDriver");

// 创建连接

Connection conn = DriverManager.getConnection(url, userName,

password);

// 新建发送sql语句的对象

Statement st = conn.createStatement();

// 执行sql

String sql = "select * from users";

ResultSet rs = st.executeQuery(sql);

// 处理结果

while(rs.next()){

//这个地方就是给你的封装类属性赋值

System.out.println("UserName："+rs.getString(0));

}

// 关闭连接

rs.close();

st.close();

conn.close();

} catch (ClassNotFoundException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

public void delete(){

try {

//步骤还是那六个步骤，前边的两步是一样的

String url = "jdbc:oracle:thin:@localhost:1521:XE";

String userName = "system";

String password = "system";

Class.forName("oracle.jdbc.driver.OracleDriver");

Connection conn = DriverManager.getConnection(url,userName,password);

//这里的发送sql语句的对象是PreparedStatement,成为预处理sql对象，因为按条件删除是需要不定值的

String sql = "delete from users where id = ?";

PreparedStatement ps = conn.prepareStatement(sql);

ps.setInt(0, 1);

int row = ps.executeUpdate();

if(row!=0){

System.out.println("删除成功！");

}

// 关闭连接

rs.close();

st.close();

conn.close();

} catch (ClassNotFoundException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

}

如何选择NoSQL数据库

NoSQL，指的是非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的

SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。

NoSQL(NoSQL

= Not Only SQL

)，意即“不仅仅是SQL”，是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数

据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。

从这一新兴技术中选择一款正确的NoSQL数据库是非常具有挑战性的。比一下网建议在选择时考虑以下因素：

并发控制

并

发控制指的是当多个用户同时更新运行时，用于保护数据库完整性的各种技术。并发机制不正确可能导致脏读、幻读和不可重复读等此类问题。并发控制的目的是保

证一个用户的工作不会对另一个用户的工作产生不合理的影响。在某些情况下，这些措施保证了当用户和其他用户一起操作时，所得的结果和她单独操作时的结果是

一样的。在另一些情况下，这表示用户的工作按预定的方式受其他用户的影响。

封锁

就是事务T在对某个数据对象（例如表、记录等）操作之前，先向系统发出请求，对其加锁。加锁后事务T就对该数据对象有了一定的控制，在事务T释放它的锁之前，其它的事务不能更新此数据对象。

封锁是一次只允许一个用户读取或修改的一种机制，是实现并发控制的一个非常重要的技术。

MVCC

Multi-Version Concurrency Control多版本并发控制，维持一个数据的多个版本使读写操作没有冲突。MVCC优化了数据库并发系统，使系统在有大量并发用户时得到最高的性能，并且可以不用关闭服务器就直接进行热备份。

ACID

指

数据库事务正确执行的四个基本要素的缩写。包含：原子性(Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久

性（Durability）。一个支持事务（Transaction）的数据库系统，必需要具有这四种特性，否则在事务过程（Transaction

processing）当中无法保证数据的正确性，交易过程极可能达不到交易方的要求。

None

一些系统不提供原子性。

镜像

数据库镜像是DBMS根据DBA的要求，自动把整个数据库或其中的关键数据复制到另一个磁盘上，每当主数据库更新时，DBMS会自动把更新后的数据复制过去，即DBMS自动保证镜像数据与主数据的一致性。

镜像分为同步和异步。

数据存储

指的是数据的物理特性怎样被存储在数据库中。

磁盘 数据被存储在硬盘驱动器里；

GFS或谷歌文件系统是一个由谷歌开发的专有的分布式文件系统；

Hadoop是Apache软件框架，免费许可下支持数据密集型分布式应用程序；

RAM随机存储器；

插件 可以添加外部插件；

Amazon S3通过Web服务接口提供存储；

BDB：BDB

全称是 “Berkeley DB”，它是MySQL具有事务能力的表类型，由Sleepycat

Software开发。BDB表类型提供了MySQL用户长久期盼的功能，即事务控制能力。在任何RDBMS中，事务控制能力都是一种极其重要和宝贵的功

能。事务控制能力使得我们能够确保一组命令确实已经全部执行成功，或者确保当任何一个命令出现错误时所有命令的执行结果均被退回。

实现语言

实现语言会影响数据库的发展速度。典型的NoSQL数据库是用低级语言如C / C + +编写的。另一方面，那些更高层次的语言如Java，使自定义更容易。

实现语言有：C, C++, Erlang, Java, Python

特性

考虑下列哪一个特点对你的数据库是最重要的：

持久性

可用性

一致性

分区容忍性

证书类型

下面这些许可证是一个不同的开放源码许可的形式：

GPL：通用公共许可证

BSD：伯克利软件分发

MPL：Mozilla公共许可证

EPL：Eclipse公共许可证

IDPL：最初的开发者的公共许可证

LGPL：较宽松通用公共许可证

存储类型

存储类型是NoSQL数据库最大的不同，是决定使用哪款数据库的一个首要指标。

关键字：支持get、put和删除操作

按列存储：相对于传统的按行存储，数据集成容易多了

面向文件系统：存储像是JSON或XML这样的结构化文件，很容易就能从面向对象软件中获取数据。

壮实学数据技术07：元数据

hi，米娜桑，我是大家的怪力少女赵壮实！

又是一个美好的周六的早上，今天我们来聊聊——元数据！

元数据也是近两年才火热起来的产品岗位和概念，因为偏向于后侧，相比于数据分析、数据BI、用户分层、归因等酷炫的名词下，元数据就像一朵白莲花。

01   什么是元数据？

好吧，元数据为什么可以睥睨一切呢？因为它是“元”数据。

啥是“元数据”——metadata？

壮实见到这个词语，第一次流下了久别重逢的泪水，甚至有点想笑，莫非，元数据，是一位熟悉现代主义思潮的大佬起的名字？

好的，壮实先从人文视角解释一下什么叫做“元”。

元，依旧指的是原始、原初的意思。我们那元叙事、元数据、元小说给大家讲讲什么是“元”。

1.“元”+“叙事”=元叙事

对于叙事的完整解释，即对历史的意义、经历和知识的叙述

2.“元”+“数据”=元数据

有关于数据的数据

3.“元”+“小说”=元小说

元小说，作家自觉地暴露小说的虚构过程，产生间离效果，进而让接受者明白，小说就是虚构，不能把小说当作现实。这样，虚构在小说中也就获得了本体的意义。

好吧，简单来说，元就是这个东西原始的框架、元素。在现代主义大工业的背景下，人类一切进入了“秩序模式”，所以需要“元”。所以就有了万物“元”化。

是的，大家是不是最近还会听到一个词，叫做“元认知”。没什么神奇的，套用概念，元认识就是关于认知的认知，也许善友老师“第一性原理”和叫兽“时间的朋友”或许是“元认知”？

那元数据，我们就好理解了，就是“关于数据的数据”，有了元数据，它可以让我们的数据生产、使用更加秩序化。

数据生产，有的人会叫做“后台元数据”：指导数据清洗装载工作。

数据使用，有的人会分为“前端元数据” ：描述性、帮助我们更加流畅的使用报表和查询工具。

对于元数据的分类，我们可以分为以下三类:

业务元数据  从业务层面描述元数据。

技术元数据  数据技术层面上的各种统计信息，包含数据类型、长度、血缘沿袭、数据剖析结果等。

处理过程元数据  ETL自身执行结果统计信息，如多少行被加载、多少行数据被丢弃以及数据加载时间等。

02    元数据核心理念和关键要素

话不多说，我们来上阿里云官方ppt：

好的，如果你们看不懂，壮实还画了一个图：

原来的数据生产-使用流程

涉及的相关的元数据

03    元数据产品

目前国内的元数据管理工具大概有三类。

一是像IBM、CA等公司都提供的专门工具，比如IBM收购Ascential得到的MetaStage，CA的DecisionBase；

二是像DAG的MetaCenter，开源产品Pentaho Metadata，它们不依托于某项BI产品，是一种第三方的元数据管理工具；

开源产品Pentaho Metadata示意图

三是像普元、石竹这样的集成商也有自己的元数据管理工具：普元MetaCube、新炬网络元数据管理系统、石竹MetaOne等。

普元元数据驱动的微服务架构：

新炬网络元数据管理系统：

;c=indexa=listscatid=188

石竹MetaOne产品图：

专门的元数据管理工具，对自家产品兼容较好，一旦涉及跨系统管理，就不尽如人意了。

04    元数据的功能和价值

如果你问我，元数据的功能和价值在哪里？目前，业界开展了一些实践：

      1、血缘分析：向上、向下表级、字段级别的追溯数据。血缘分析可以让您轻松知道：“我正在查看的报告数据来源是什么？”、“数据经过哪些转换处理？”、“销售额”从包含税费更改为不包括税费，哪些下游字段受到了影响。血缘分析可以满足许多行业(包括医疗、金融、银行和制造业等)对所呈现数据的特殊监管及合规性要求。

     2、指标一致性分析：定期分析指标定义是否和实际情况一致。大佬会上对不齐数据是何等的尴尬。。。。

     3、实体关联查询：事实表与维度表的代理键自动关联。

05    后记

打破一切：从人文后现代主义到数据后现代主义。

20世纪60年代，德国、法国、美国等出现了反西方近现代体系哲学倾向的思潮，学术上称之为“后现代主义”。你也许不知道啥是后现代主义，来一张图感受一下：

对！就是达利的《记忆的永恒》。

后现代主义就是一种用无序反对有序，用个人呓语反对宏大叙事、用解构反对结构的一种精神。

当代美国活跃的后现代主义者之一格里芬就说：“如果说后现代主义这一词汇在使用时可以从不同方面找到共同之处的话， 那就是，它指的是一种广泛的情绪，而不是一种共同的教条———即一种认为人类可以而且必须超越现代的情绪。”

所有理论的背后，都是这个时代的主流认知+情绪。数据也不例外。我们来看看《壮实学数据技术01》中的数据仓库两位大佬之争，就知道人们在反复横跳在秩序和速度中。

所以，我们今天要考虑，元数据在今天的合理性是什么？

在杂乱数据被管理起来之后，是不是在复杂、程式化上需要做做减法？

数据多≠信息多。如何把数据变为信息，是每一个数据人需要持续思考的事情。