HDFS分布式文件系统
|
在大数据环境下使用海量的非结构化数据，所以我们常使用HDFS分布式文件系统和NoSQL数据库进行存储 HDFS分布式文件系统 HDFS特点： 存储数据较大支持流式数据访问支持多硬件平台数据一致性高有效预防硬件失效支持移动计算 HDFS局限性： 不适合低延迟的数据访问无法高效地存储大量小文件不支持多用户写入以及任意修改文件 HDFS的体系结构
NameNode和DataNode HDFS采用主从结构存储数据，NameNode节点负责集群任务调度，DataNode负责执行任务和存储数据块NameNode管理文件系统的命名空间，维护整个系统的文件目录树以及这些文件的索引，目录从NameNode中可以获取每个文件的每个块存储在DataNode节点的位置，NameNode会在每次启动系统时动态的重建这些信息。客户端通过NameNode获取元数据信息，与DataNode进行交互以访问整个文件系统。DataNode是文件系统的工作节点，提供客户端和NameNode调用并执行具体任务，存储文件块。 数据块 数据块是磁盘进行数据经读/写操作的最小单位 HDFS使用抽象的数据块的优势： 通过集群扩展能力可以存储大于网络中的任意一个磁盘容量的任意大小文件使用抽象块而非整个文件作为存储单元，可以简化存储子系统，固定的块大小方便元数据和文件数据块内容分开存储便于数据备份和数据容错，提高系统的安全性（HDFS默认将文件块副本数设置为3份） 机架感知策略 大规模Hadoop集群节点分布在不同的机架上，HDFS采用机架感知技术来提高数据的可靠性，可用性和网络宽带的利用率 NameNode可以确定每个DataNode所属的机架ID，HDFS会把副本放在不同的机架上 （1）Distance（Rack1/D1 Rack1/D1）=0 （2）Distance（Rack1/D1 Rack1/D3）=2 （3）Distance（Rack1/D1 Rack1/D2）=4 Rack1、Rack2表示机柜标识号，D1、D2、D3表示机柜中的DataNode节点主机的编号 同一主机的两个数据块的距离为0 同一机架不同主机的两个数据块距离为2 不同机架的两个数据块的距离为4 安全模式 安全模式是HDFS所处的一种特殊状态，Data只能读取数据，不能修改、删除数据 文件安全性 HDFS文件数据库的描述信息由NameNode节点上集中管理，一旦NameNode出现故障，集群就无法获取文件块的位置，也就无法通过DataNode上的数据块来重建文件。所以为了保证文件的安全性，HDFS提供备份，NameNode元数据和增加Secondary NameNode节点两种基本方案 NoSQL数据库 键值（Key-Value）存储数据库 这一类数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署。但是如果数据库管理员(DBA)只对部分值进行查询或更新的时候，Key/value就显得效率低下了。举例如：Tokyo Cabinet/Tyrant，Redis大数据存储， Voldemort， Oracle BDB。 列存储数据库 这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列家族来安排的。如：Cassandra， HBase， Riak. 文档性数据库 文档型数据库的灵感是来自于Lotus Notes办公软件的，而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档，半结构化的文档以特定的格式存储，比如JSON。文档型数据库可以看作是键值数据库的升级版，允许之间嵌套键值，在处理网页等复杂数据时，文档型数据库比传统键值数据库的查询效率更高。如：CouchDB， MongoDb. 国内也有文档型数据库SequoiaDB，已经开源。 图（Graph）数据库 图形结构的数据库同其他行列以及刚性结构的SQL数据库不同，它是使用灵活的图形模型，并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言(SQL)，因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。如：Neo4J， InfoGrid， Infinite Graph。 分类Examples举例典型应用场景数据模型优点缺点 键值（Key-Value）存储数据库 Tokyo Cabinet/Tyrant， Redis， Voldemort， Oracle BDB 内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。 Key 指向 Value 的键值对，通常用hash table来实现 查找速度快 数据无结构化，通常只被当作字符串或者二进制数据 列存储数据库 Cassandra， HBase， Riak 分布式的文件系统 以列簇式存储，将同一列数据存在一起 查找速度快，可扩展性强，更容易进行分布式扩展 功能相对局限 文档性数据库 CouchDB， MongoDb Web应用（与Key-Value类似，Value是结构化的，不同的是数据库能够了解Value的内容） Key-Value对应的键值对，Value为结构化数据 数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构 查询性能不高，而且缺乏统一的查询语法。 图（Graph）数据库 Neo4J， InfoGrid， Infinite Graph 社交网络，推荐系统等。专注于构建关系图谱 图结构 利用图结构相关算法。比如最短路径寻址，N度关系查找等 很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案。 NoSQL特点： （编辑：温州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
