nosql框架图,nosql数据库设计

【软件架构篇】互联网架构模板

架构图如下图所示。这张图基本涵盖了互联网技术公司的大部分技术点，不同公司只是在具体的技术实现上稍有差异，但不会跳出这个框架的范畴。

SQL： 常用的有mysql，用于存储业务数据。互联网发展初期，各个业务一般都会独立运营mysql集群，但随着业务越来越多，mysql集群规模越来越大，那就有必要做成SQL平台。

NoSQL: 翻译为Not Only SQL，作为mysql的一种补充。Nosql一般本身就提供集群，且使用起来很方便，公司业务发展初期没有必要。一般Nosql集群的数量越来越多，那就有必要做成Nosql平台。

小文件： 互联网中有很多小文件，比如商品图片，Facebook的图片。这类小文件具有数据小、数量巨大、访问大的特点。如果每个业务都去考虑小文件存储的话，就会出现重复造轮子现象，那就有必要做成小文件平台了。

大文件： 互联网的大文件主要分为两类：一类是业务上的大数据，例如Youtube的视频、电影网站的电影；另一类是海量的日志数据，例如各种访问日志。实力雄厚的一些大公司会基于开源方案做成大数据平台。

开发框架： 比如常见的Spring框架。

Web服务器： 常见的有tomcat、jetty等。

容器： Docker可以极大降低运维成本，以及在实现动态扩容上非常方便。

配置中心： 故名思义，配置中心就是集中管理各个系统的配置。

服务中心： 解决跨系统依赖的配置和调度问题。比如有10个系统依赖A系统的x接口，此时A系统实现了一个y接口可以更好地支持x接口，那么如果直接更新10个系统依赖的配置将会很麻烦。

消息队列： 支持系统解耦。

负载均衡： 充当任务分配器的职责。

CDN： 可以对一些常用文件进行就近缓存，来提高访问速度。

多机房： 多机房的主要目的是备灾，当机房故障时可以快速地将业务切换到另外一个机房，这种切换操作允许一定时间的中断，比如10分钟，1个小时。

多中心： 多中心的要求就更高了，要求同时对外提供服务，且业务能够自动在多中心之间切换，故障后不需人工干预或者很少的人工干预就能自动恢复。

用户管理： 对各个系统的用户进行统一管理。

消息推送： 根据不同途径分为短信、邮件、站内信、App推送。

存储云： 实现是CDN+小文件存储。

图片云： 实现也是CDN+小文件存储。为何不与存储云统一一套系统呢？这是因为图片业务的复杂性导致的。图片涉及的业务会更多，包括裁剪、压缩、美化、审核、水印等。

业务千差万别，各个互联网业务面对的主要问题是复杂度越来越高。此时就要用到拆和合的技术。拆即将一个大系统拆分为多个子系统，降低复杂度。当子系统越来越多，有可能就需要采用合的技术。

测试平台的核心目的是提升测试效率。

运维平台的核心职责分为四大块：配置、部署、监控、应急。

数据平台的核心职责主要包含三部分：数据管理、数据分析和数据应用。

管理平台的核心职责就是权限管理。

nosql数据库的四种类型

nosql数据库的四种类型如下：

1.key-value键值存储数据库:

相关产品: Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached.

主要应用: 内容缓存,处理大量数据的高负载访问,也用于系统日志。

优点:查找速度快,大量操作时性能高。

2.列存储数据库:

相关产品: BigTable、HBase、Cassandra、HadoopDB、GreenPlum、PNUTS.

主要应用: 分布式数据的储存与管理。

优点:查找速度快,可扩展性强,容易进行分布式扩展。

缺点:功能相对局限。

3.文档型数据库

相关产品:MongoDB、CouchDB、ThruDB、CloudKit、Perservere、Jackrabbit.

主要应用: web应用,管理面向文档的数据或者类似的半结构化数据。

优点:数据结构灵活,表结构可变,复杂性低。

缺点:查询效率低,且缺乏统一的查询语言。

4.Graph图形数据库

相关产品: Neo4J、OrientDB、InfoGrid、GraphDB.

主要应用: 复杂,互连接,低结构化的图结构场合, 专注构建关系图谱。

优点: 利用图结构相关算法, 可用于构建复杂的关系图谱。

缺点: 复杂度高。

nosql数据库的几大类型

1. 键值数据库

相关产品：Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached

应用：内容缓存

优点：扩展性好、灵活性好、大量写操作时性能高

缺点：无法存储结构化信息、条件查询效率较低

使用者：百度云（Redis）、GitHub（Riak）、BestBuy（Riak）、Twitter（Ridis和Memcached）

2. 列族数据库

相关产品：BigTable、HBase、Cassandra、HadoopDB、GreenPlum、PNUTS

应用：分布式数据存储与管理

优点：查找速度快、可扩展性强、容易进行分布式扩展、复杂性低

使用者：Ebay（Cassandra）、Instagram（Cassandra）、NASA（Cassandra）、Facebook（HBase）

3. 文档数据库

相关产品：MongoDB、CouchDB、ThruDB、CloudKit、Perservere、Jackrabbit

应用：存储、索引并管理面向文档的数据或者类似的半结构化数据

优点：性能好、灵活性高、复杂性低、数据结构灵活

缺点：缺乏统一的查询语言

使用者：百度云数据库（MongoDB）、SAP（MongoDB）

4. 图形数据库

图形数据库-使用图作为数据模型来存储数据。

相关产品：Neo4J、OrientDB、InfoGrid、GraphDB

应用：大量复杂、互连接、低结构化的图结构场合，如社交网络、推荐系统等

优点：灵活性高、支持复杂的图形算法、可用于构建复杂的关系图谱

缺点：复杂性高、只能支持一定的数据规模

使用者：Adobe（Neo4J）、Cisco（Neo4J）、T-Mobile（Neo4J）

什么是NoSQL数据库？

2. 什么是NoSQL？

2.1 NoSQL 概述

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，

泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。

（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

2.2 NoSQL代表

MongDB、 Redis、Memcache

3. 关系型数据库与NoSQL的区别？

3.1 RDBMS

高度组织化结构化数据

结构化查询语言（SQL）

数据和关系都存储在单独的表中。

数据操纵语言，数据定义语言

严格的一致性

基础事务

ACID

关系型数据库遵循ACID规则

事务在英文中是transaction，和现实世界中的交易很类似，它有如下四个特性：

A (Atomicity) 原子性

原子性很容易理解，也就是说事务里的所有操作要么全部做完，要么都不做，事务成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事务就失败，需要回滚。比如银行转账，从A账户转100元至B账户，分为两个步骤：1）从A账户取100元；2）存入100元至B账户。这两步要么一起完成，要么一起不完成，如果只完成第一步，第二步失败，钱会莫名其妙少了100元。

C (Consistency) 一致性

一致性也比较容易理解，也就是说数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。

I (Isolation) 独立性

所谓的独立性是指并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另外一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户，在这个交易还未完成的情况下，如果此时B查询自己的账户，是看不到新增加的100元的

D (Durability) 持久性

持久性是指一旦事务提交后，它所做的修改将会永久的保存在数据库上，即使出现宕机也不会丢失。

3.2 NoSQL

代表着不仅仅是SQL

没有声明性查询语言

没有预定义的模式

键 - 值对存储，列存储，文档存储，图形数据库

最终一致性，而非ACID属性

非结构化和不可预知的数据

CAP定理

高性能，高可用性和可伸缩性

分布式数据库中的CAP原理(了解)

CAP定理：

Consistency(一致性), 数据一致更新，所有数据变动都是同步的

Availability(可用性), 好的响应性能

Partition tolerance(分区容错性) 可靠性

P: 系统中任意信息的丢失或失败不会影响系统的继续运作。

定理：任何分布式系统只可同时满足二点，没法三者兼顾。

CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，

因此，根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类：

CA - 单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大。

CP - 满足一致性，分区容忍性的系统，通常性能不是特别高。

AP - 满足可用性，分区容忍性的系统，通常可能对一致性要求低一些。

CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。

而由于当前的网络硬件肯定会出现延迟丢包等问题，所以分区容忍性是我们必须需要实现的。

所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。

说明：C：强一致性 A：高可用性 P：分布式容忍性

举例：

CA：传统Oracle数据库

AP：大多数网站架构的选择

CP：Redis、Mongodb

注意：分布式架构的时候必须做出取舍。

一致性和可用性之间取一个平衡。多余大多数web应用，其实并不需要强一致性。

因此牺牲C换取P，这是目前分布式数据库产品的方向。

4. 当下NoSQL的经典应用

当下的应用是 SQL 与 NoSQL 一起使用的。

代表项目：阿里巴巴商品信息的存放。

去 IOE 化。

ps：I 是指 IBM 的小型机，很贵的，好像好几万一台；O 是指 Oracle 数据库，也很贵的，好几万呢；M 是指 EMC 的存储设备，也很贵的。

难点：

数据类型多样性。

数据源多样性和变化重构。

数据源改造而服务平台不需要大面积重构。

什么是NoSQL数据库

什么是NoSQL数据库？从名称“非SQL”或“非关系型”衍生而来，这些数据库不使用类似SQL的查询语言，通常称为结构化存储。这些数据库自1960年就已经存在，但是直到现在一些大公司（例如Google和Facebook）开始使用它们时，这些数据库才流行起来。该数据库最明显的优势是摆脱了一组固定的列、连接和类似SQL的查询语言的限制。有时，NoSQL这个名称也可能表示“不仅仅SQL”，来确保它们可能支持SQL。 NoSQL数据库使用诸如键值、宽列、图形或文档之类的数据结构，并且可以如JSON之类的不同格式存储。