nosql研究报告,nosql数据模型

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

NoSQL数据库是否意味着缺乏安全性？

NoSQL薄弱的安全性会给企业带来负面影响。Imperva公司创始人兼CTO Amichai Shulman如是说。在新的一年中，无疑会有更多企业开始或筹划部署NoSQL。方案落实后就会逐渐发现种种安全问题，因此早做准备才是正确的选择。作为传统关系型数据库的替代方案，NoSQL在查询中并不使用SQL语言，而且允许用户随时变更数据属性。此类数据库以扩展性良好著称，并能够在需要大量应用程序与数据库本身进行实时交互的交易处理任务中发挥性能优势，Couchbase创始人兼产品部门高级副总裁James Phillips解释称：NoSQL以交易业务为核心。它更注重实时处理能力并且擅长直接对数据进行操作，大幅度促进了交互型软件系统的发展。Phillips指出。其中最大的优势之一是能够随时改变(在属性方面)，由于结构性的弱化，修改过程非常便捷。 NoSQL最大优势影响其安全性 NoSQL的关键性特色之一是其动态的数据模型，Shulman解释道。我可以在其运作过程中加入新的属性记录。因此与这种结构相匹配的安全模型必须具备一定的前瞻性规划。也就是说，它必须能够了解数据库引入的新属性将引发哪些改变，以及新加入的属性拥有哪些权限。然而这个层面上的安全概念目前尚不存在，根本没有这样的解决方案。根据Phillips的说法，某些NoSQL开发商已经开始着手研发安全机制，至少在尝试保护数据的完整性。在关系型数据库领域，如果我们的数据组成不正确，那么它将无法与结构并行运作，换言之数据插入操作整体将宣告失败。目前各种验证规则与完整性检查已经比较完善，而事实证明这些验证机制都能在NoSQL中发挥作用。我们与其他人所推出的解决方案类似，都会在插入一条新记录或是文档型规则时触发，并在执行过程中确保插入数据的正确性。 Shulman预计新用户很快将在配置方面捅出大娄子，这并非因为IT工作人员的玩忽职守，实际上主要原因是NoSQL作为一项新技术导致大多数人对其缺乏足够的知识基础。Application Security研发部门TeamSHATTER的经理Alex Rothacker对上述观点表示赞同。他指出，培训的一大问题在于，大多数NoSQL的从业者往往属于新生代IT人士，他们对于技术了解较多，但往往缺乏足够的安全管理经验。如果他们从传统关系型数据库入手，那么由于强制性安全机制的完备，他们可以在使用中学习。但NoSQL，只有行家才能通过观察得出正确结论，并在大量研究工作后找到一套完备的安全解决方案。因此可能有90%的从业者由于知识储备、安全经验或是工作时间的局限而无法做到这一点。 NoSQL需在安全性方面进行优化尽管Phillips认同新技术与旧经验之间存在差异，但企业在推广NoSQL时加大对安全性的关注会起到很大程度的积极作用。他认为此类数据存储机制与传统关系类数据库相比，其中包含着的敏感类信息更少，而且与企业网络内部其它应用程序的接触机会也小得多。他们并不把这项新技术完全当成数据库使用，正如我们在收集整理大量来自其它应用程序的业务类数据时，往往也会考虑将其作为企业数据存储机制一样，他补充道。当然，如果我打算研发一套具备某种特定功能的社交网络、社交游戏或是某种特殊web应用程序，也很可能会将其部署于防火墙之下。这样一来它不仅与应用程序紧密结合，也不会被企业中的其它部门所触及。但Rothacker同时表示，这种过度依赖周边安全机制的数据库系统也存在着极其危险的漏洞。一旦系统完全依附于周边安全模型，那么验证机制就必须相对薄弱，而且缺乏多用户管理及数据访问方面的安全保护。只要拥有高权限账户，我们几乎能访问存储机制中的一切数据。举例来说，Brian Sullivan就在去年的黑帽大会上演示了如何在完全不清楚数据具体内容的情况下，将其信息罗列出来甚至导出。而根据nCircle公司CTO Tim ‘TK’ Keanini的观点，即使是与有限的应用程序相关联，NoSQL也很有可能被暴露在互联网上。在缺少严密网络划分的情况下，它可能成为攻击者窥探存储数据的薄弱环节。因为NoSQL在设计上主要用于互联网规模的部署，所以它很可能被直接连接到互联网中，进而面临大量攻击行为。其中发生机率最高的攻击行为就是注入式攻击，这也是一直以来肆虐于关系类数据库领域的头号公敌。尽管NoSQL没有将SQL作为查询语言，也并不代表它能够免受注入式攻击的威胁。虽然不少人宣称SQL注入在NoSQL这边不起作用，但其中的原理是完全一致的。攻击者需要做的只是改变自己注入内容的语法形式，Rothacker解释称。也就是说虽然SQL注入不会出现，但JavaScript注入或者JSON注入同样能威胁安全。此外，攻击者在筹划对这类数据库展开侵袭时，也很可能进一步优化自己的工具。不成熟的安全技术往往带来这样的窘境：需要花费大量时间学习如何保障其安全，但几乎每个IT人士都能迅速掌握攻击活动的组织方法。因此我认为攻击者将会始终走在安全部署的前面，Shulman说道。遗憾的是搞破坏总比防范工作更容易，而我们已经看到不少NoSQL技术方面的公开漏洞，尤其是目前引起热议的、以JSON注入为载体的攻击方式。 NoSQL安全性并非其阻碍然而，这一切都不应该成为企业使用NoSQL的阻碍，他总结道。我认为归根结底，这应该算是企业的一种商业决策。只要这种选择能够带来吸引力巨大的商业机遇，就要承担一定风险，Shulman解释道。但应该采取一定措施以尽量弱化这种风险。举例来说，鉴于数据库对外部安全机制的依赖性，Rothacker建议企业积极考虑引入加密方案。他警告称，企业必须对与NoSQL相对接的应用程序代码仔细检查。换言之，企业必须严格挑选负责此类项目部署的人选，确保将最好的人才用于这方面事务，Shulman表示。当大家以NoSQL为基础编写应用程序时，必须启用有经验的编程人员，因为客户端软件是抵挡安全问题的第一道屏障。切实为额外缓冲区的部署留出时间与预算，这能够让员工有闲暇反思自己的工作内容并尽量多顾及安全考量多想一点就是进步。综上所述，这可能与部署传统的关系类数据库也没什么不同。具有讽刺意味的是，近年来数据库应用程序在安全性方面的提升基本都跟数据库本身没什么关系，nCircle公司安全研究及开发部门总监Oliver Lavery如是说。

大数据:不再仅仅是一个流行词

大数据对很多人来说意味着许多东西，但它的影响到底有多广？想象一下大数据的这些特性，以及将它拼接在一起的大师们。

不再仅仅是一个流行词

大数据，无论你如何定义它，都已经被大肆盛赞过，也被恶意中伤过。它对很多人来说意味着许多东西：对科学家和零售店主来说是一种福利，同时也是应对大量隐私和安全威胁时的一种可用技术。

无论是救世主还是骗局–甚至可能是两者的结合-，大数据仍在权威人士、预言家、营销者和安全爱好者中间成为一个流行话题。它的非官方定义也在逐渐演变。那么，它到底是什么呢？Wikipedia（维基百科）的定义开了个好头：“任何数据的收集，数据的数量如此庞大、形式如此复杂，以至于很难采用手上的数据管理工具或传统的数据处理软件进行处理”。

但是，当数据分享设备呈几何级数增长的时候，管理大批量、各式各样、高速（经典的3V定义）涌来的数据集所面临的挑战内容正在改变。这些设备，我们统称为物联网（IoT），包括机器传感器和面向消费者的设备（例如相互连接的恒温器）、电灯泡、冰箱和可穿戴的健康监测仪。IDC预测IoT（物联网）市场将在未来数年爆发式增长，从2013年底的91亿部安装设备增长到2020年的281亿部。

对大数据的有用洞察可以帮助企业获得很多潜在的好处，不仅是可以销售更多地产品和服务，还能更好地管理健康、阻止假药泛滥、追踪恐怖分子，甚至可能跟踪你的通话记录。因此我们知道，大数据并没有天生的好坏之分，重要的是你怎么用它。

具有讽刺意味的是，无论大数据在增进人类经验方面的潜力有多大，它通常还是很难收集、筛选、分析和解释来获得那些珍贵的思考和见解。这个幻灯片审视了大数据面临的挑战及其应对能力。确凿的事实会让你感到吃惊。我们该有什么样的期待？好吧，看起来Hadoop这个领先的大数据平台的未来一片光明。数据科学家和相关的大数据专家们应该在来年获得收入丰厚的工作。

业内人士已经预计热门词“大数据”将逐渐淡出。Hortonworks总裁Herb Cunitz在2012年12月的一篇博文中写道：“终究全都归于数据。大数据和对这个空间的所有预测都将瓦解，被分析师和所有那些紧随其后的人（包括很多“大”供应商）导向“数据管理””。

Cunitz可能过早地预见了“大数据”的终结，但他准确地指出：终究全都归于数据。只有用于管理的工具将要改变。现在，请深入研究我们的幻灯片，并观看一些展示的统计分析和研究报告。

有多少数据被忽视？

根据Forrester公司最近的一项研究，大多数公司都预计它们分析了大约12%的现有数据。这是好还是坏？好吧，这些公司可能会错过隐藏在它们忽视的88%数据里的洞察和思考。或许它们明智地避开了资源耗竭、试图将海水煮沸的战略。Forrester认为，分析工具的缺乏和“强制性”的数据孤岛是公司忽视自己绝大部分数据的两个原因，原因还包括一个简单的事实：对公司来说，常常很难判断哪些信息有价值，哪些信息最好是置之不理。

大数据暴增

疯狂的大数据对拥有一定技能的技术工人来说是个利好消息。按照Dice的说法，在一个技术和工程师专业人才网站上，对数据专家的需求呈猛增的态势。该网站4月份的报告中提到，NoSQL专家的职位发布数量比上年增长了54%，“大数据人才”的职位则增长了46%。类似的Hadoop和Python人才职位则分别增长了43%和16%。当然，这跟数据安全专家的职位发布比起来是小巫见大巫了，根据一项令人印象深刻的统计，后者在过去的一年里飙升了162%。

大数据到底有多大？

数字世界的体量将在仅6年内从今天的3.2ZB增长到40ZB（1ZB大致相当于10亿TB）。Hortonworks公司CEORob Bearden 在加州圣何塞2014Hadoop峰会的主题演讲中说到：“我们十分兴奋地看到身边的数据数量在爆发，企业数据的数量从现在到2020年将增长50倍。最重要的是，这些数据的85%来自全新的数据来源”。Bearden指出，这些来源包括移动设备、社交媒体和联网机器生成的数据，对全球的企业来说，既是挑战也是机遇。

大数据技术有哪些核心技术是什么

随着大数据分析市场迅速扩展，哪些技术是最有需求和最有增长潜力的呢？在Forrester Research的一份最新研究报告中，评估了22种技术在整个数据生命周期中的成熟度和轨迹。这些技术都对大数据的实时、预测和综合洞察有着巨大的贡献。

1. 预测分析技术

这也是大数据的主要功能之一。预测分析允许公司通过分析大数据源来发现、评估、优化和部署预测模型，从而提高业务性能或降低风险。同时，大数据的预测分析也与我们的生活息息相关。淘宝会预测你每次购物可能还想买什么，爱奇艺正在预测你可能想看什么，百合网和其他约会网站甚至试图预测你会爱上谁……

2. NoSQL数据库

NoSQL，Not Only SQL，意思是“不仅仅是SQL”，泛指非关系型数据库。NoSQL数据库提供了比关系数据库更灵活、可伸缩和更便宜的替代方案，打破了传统数据库市场一统江山的格局。并且，NoSQL数据库能够更好地处理大数据应用的需求。常见的NoSQL数据库有HBase、Redis、MongoDB、Couchbase、LevelDB等。

3. 搜索和知识发现

支持来自于多种数据源(如文件系统、数据库、流、api和其他平台和应用程序)中的大型非结构化和结构化数据存储库中自助提取信息的工具和技术。如，数据挖掘技术和各种大数据平台。

4. 大数据流计算引擎

能够过滤、聚合、丰富和分析来自多个完全不同的活动数据源的数据的高吞吐量的框架，可以采用任何数据格式。现今流行的流式计算引擎有Spark Streaming和Flink。

5. 内存数据结构

通过在分布式计算机系统中动态随机访问内存(DRAM)、闪存或SSD上分布数据，提供低延迟的访问和处理大量数据。

6. 分布式文件存储

为了保证文件的可靠性和存取性能，数据通常以副本的方式存储在多个节点上的计算机网络。常见的分布式文件系统有GFS、HDFS、Lustre 、Ceph等。

7. 数据虚拟化

数据虚拟化是一种数据管理方法，它允许应用程序检索和操作数据，而不需要关心有关数据的技术细节，比如数据在源文件中是何种格式，或者数据存储的物理位置，并且可以提供单个客户用户视图。

8. 数据集成

用于跨解决方案进行数据编排的工具，如Amazon Elastic MapReduce (EMR)、Apache Hive、Apache Pig、Apache Spark、MapReduce、Couchbase、Hadoop和MongoDB等。