对象存储 hdfs，hdfs存储和对象存储区别

***：对象存储和HDFS（Hadoop分布式文件系统）存在多方面区别。HDFS主要用于大数据分析场景下的分布式存储，具有高容错性、适合批量处理等特点。而对象存储是一种将数据作为对象来管理的存储方式，更侧重于通过互联网的大规模数据存储与访问。在数据结构方面，HDFS是文件系统结构，对象存储以对象为基本单元。两者在元数据管理、数据访问模式、扩展性等方面也存在不同之处。

《HDFS存储与对象存储：深入剖析二者的差异》

一、存储结构

1、HDFS存储

- HDFS（Hadoop Distributed File System）采用了主从式（Master - Slave）的架构，它有一个NameNode作为主节点，负责管理文件系统的命名空间，包括文件和目录的元数据信息，如文件的权限、拥有者、文件块的位置映射等，多个DataNode作为从节点，负责实际的数据存储。

- 在HDFS中，数据被分割成固定大小的块（默认通常为128MB）进行存储，这种分块存储的方式有利于数据的分布式存储和并行处理，在一个大规模数据处理任务中，如MapReduce作业，可以同时从多个DataNode读取数据块进行处理，提高处理效率。

- 它的存储结构是基于文件和目录的层级关系，类似于传统的文件系统，用户可以像操作本地文件系统一样创建、删除、移动和读取文件，但是在处理大规模数据时，其文件系统的管理和操作更加复杂，需要考虑数据的分布、副本管理等问题。

2、对象存储

- 对象存储将数据视为对象进行存储，一个对象包含数据本身、元数据和一个全局唯一的标识符（Object ID），元数据可以包含关于对象的各种信息，如创建时间、修改时间、对象大小等。

- 它没有传统文件系统那样严格的层级目录结构，对象存储以扁平的命名空间存储对象，通过对象的标识符来访问对象，这种结构使得对象存储在存储海量的、非结构化数据时具有很大的优势，在存储海量的图片、视频或者传感器采集的数据时，不需要构建复杂的文件目录结构，只需要为每个对象分配一个唯一的标识符即可方便地进行管理和访问。

- 对象存储系统通常由多个存储节点组成，数据会根据一定的算法（如哈希算法等）分布在这些存储节点上，并且对象存储系统可以方便地进行横向扩展，通过增加存储节点来提高存储容量和性能。

二、数据一致性

1、HDFS存储

- HDFS采用强一致性模型，在HDFS中，文件的写入操作是原子性的，当一个文件被写入时，HDFS会确保数据被正确地写入到多个副本（默认副本数为3）中，并且在所有副本都写入成功之前，写入操作不会被视为成功。

- 当客户端向HDFS写入一个文件时，NameNode会选择合适的DataNode来存储文件块的副本，如果某个DataNode在写入过程中出现故障，HDFS会尝试在其他可用的DataNode上重新写入副本，以确保数据的一致性，这种强一致性保证了数据的可靠性，但在某些情况下可能会影响写入性能，尤其是在网络不稳定或者存储节点故障频繁的环境中。

2、对象存储

- 对象存储的一致性模型因系统而异，一些对象存储系统提供最终一致性，这意味着在数据写入后，可能不会立即在所有的读取操作中反映出来。

- 当一个对象被更新后，由于对象存储系统的分布式特性，数据可能需要一段时间才能在整个系统中同步，这种最终一致性模型在很多应用场景下是可以接受的，特别是对于一些对实时性要求不是非常高的应用，如备份和归档，一些对象存储系统也可以通过配置等方式提供强一致性的支持，以满足特定应用场景的需求。

三、性能特点

1、HDFS存储

- 读性能：HDFS的读性能在大规模数据并行读取时表现出色，由于数据被分块存储在多个DataNode上，当进行大规模数据分析任务（如使用Hive或Spark进行数据查询）时，可以同时从多个DataNode并行读取数据块，从而提高读取速度，对于小文件的读取，HDFS的性能可能会受到影响，因为每个小文件都需要占用一定的元数据空间，并且在读取时可能无法充分利用并行读取的优势。

- 写性能：HDFS的写性能相对复杂，在写入数据时，需要经过NameNode的元数据操作（如分配数据块的存储位置等），并且要确保数据的多个副本被正确写入，对于大规模的顺序写入，HDFS可以提供较好的性能，因为它可以利用数据的分块和分布式存储的优势，但是对于随机写入，由于涉及到元数据的频繁更新和数据块的重新分布等问题，性能可能会较差。

2、对象存储

- 读性能：对象存储的读性能取决于对象的分布和存储系统的架构，对于单个对象的读取，如果对象存储系统采用了高效的缓存机制，并且对象的存储位置能够被快速定位，那么可以实现较快的读取速度，在处理大量小对象读取时，对象存储的扁平命名空间结构可以避免像HDFS那样因为小文件过多导致的元数据管理问题，从而在一定程度上保持较好的读取性能。

- 写性能：对象存储的写性能在处理大规模的非结构化数据写入时具有优势，由于不需要像HDFS那样维护复杂的文件系统层级结构和元数据关系，对象存储可以更高效地接收和存储数据对象，对象存储系统的横向扩展能力使得它可以轻松应对写入负载的增加，通过增加存储节点来提高写入带宽。

四、应用场景

1、HDFS存储

- HDFS主要适用于大数据分析场景，如数据仓库、日志分析、机器学习训练数据的存储等，在这些场景中，数据通常是大规模的、结构化或半结构化的，并且需要进行并行处理，在构建一个企业级的数据仓库时，HDFS可以作为底层的存储系统，为Hive、Spark等数据处理工具提供数据存储服务，HDFS的分布式存储和数据分块特性能够很好地满足这些大数据处理框架对于数据存储和访问的要求。

- 它也适用于需要高可靠性和数据冗余的场景，由于HDFS默认会对数据进行多副本存储，可以在一定程度上防止数据丢失，在存储重要的业务数据或者科研数据时，即使某个存储节点出现故障，数据仍然可以从其他副本中恢复。

2、对象存储

- 对象存储广泛应用于云存储、内容分发网络（CDN）、备份和归档等场景，在云存储服务中，如亚马逊的S3、阿里云的OSS等，对象存储为用户提供了海量的、可扩展的存储空间，方便用户存储各种类型的数据，包括图片、视频、文档等。

- 在CDN场景中，对象存储可以存储静态的内容，如网页的图片、脚本等，通过在全球多个数据中心部署对象存储，CDN服务可以快速地将内容分发到用户端，提高用户的访问体验，对于备份和归档场景，对象存储的低成本、高可靠性和易于管理的特性使其成为一个理想的选择，企业可以将历史数据、合规性数据等存储到对象存储中，既可以节省成本，又可以保证数据的长期可用性。

五、成本考虑

1、HDFS存储

- HDFS的成本主要包括硬件成本和运维成本，在硬件方面，由于HDFS通常需要构建自己的集群，需要购买服务器、网络设备等硬件设施，而且为了保证数据的可靠性和性能，可能需要采用高性能的服务器和高速网络。

- 在运维成本方面，HDFS需要专业的运维人员来管理集群，运维人员需要负责集群的安装、配置、监控、故障排除等工作，HDFS的能源消耗也是一个成本因素，因为服务器需要持续运行来保证数据的可用性。

2、对象存储

- 对象存储的成本相对较为灵活，对于云对象存储服务，用户可以根据自己的需求选择不同的存储级别（如标准存储、低频访问存储、归档存储等），不同的存储级别对应不同的成本，低频访问存储适合存储那些不经常被访问的数据，其成本比标准存储要低。

- 在自建对象存储系统时，虽然也需要硬件和运维成本，但由于对象存储的架构相对简单，在一定程度上可以降低运维成本，对象存储系统可以根据需求逐步扩展，不需要像HDFS那样一次性投入大量的硬件资源。

HDFS存储和对象存储在存储结构、数据一致性、性能特点、应用场景和成本等方面存在着明显的差异，企业和开发者在选择存储方案时，需要根据自身的业务需求、数据特点和预算等因素进行综合考虑。