hdfs中负责存储数据是，hdfs是对象存储吗

***：主要探讨了HDFS相关问题，一是HDFS中负责存储数据的情况，二是关于HDFS是否为对象存储。HDFS是一个分布式文件系统，它有特定的机制来负责存储数据，例如通过数据块的形式存储在集群中的各个节点上。而HDFS不是对象存储，它与对象存储在数据组织、访问方式等方面存在诸多区别，如HDFS以文件系统的层次结构来组织数据，与对象存储基于对象的存储模式不同。

《HDFS并非对象存储：深入剖析HDFS的数据存储机制》

一、HDFS简介

Hadoop Distributed File System（HDFS）是一个分布式文件系统，旨在在商用硬件集群上可靠地存储海量数据，并提供高吞吐量的数据访问，它是Apache Hadoop项目的核心子项目之一。

二、HDFS的数据存储方式

1、数据块存储

- 在HDFS中，数据被分割成固定大小的数据块（默认大小为128MB），这种分块存储的方式有诸多优势，它便于数据的分布式存储，不同的数据块可以被存储到集群中的不同节点上，当我们有一个大文件，如1GB的日志文件，它会被分成8个128MB的数据块（假设默认块大小），这些数据块会根据集群的存储策略被分发到各个DataNode上。

- 每个数据块在存储时都会有副本，副本数量是可配置的，通常为3个副本，副本的存在提高了数据的可靠性，假设一个DataNode出现故障，其他存储该数据块副本的DataNode仍然可以提供数据服务，这对于大规模数据存储至关重要，因为在海量数据存储场景下，硬件故障是较为常见的情况。

2、NameNode与数据存储的关系

- NameNode是HDFS的核心组件之一，它主要负责管理文件系统的命名空间，包括文件和目录的创建、删除和重命名等操作，它也维护着数据块与DataNode的映射关系，当客户端请求读取一个文件时，它首先会向NameNode查询该文件的数据块分布情况，NameNode会返回包含该文件数据块的DataNode列表，然后客户端再从这些DataNode上读取数据块。

- NameNode并不直接存储数据，而是存储元数据，如文件的权限、所有者、文件大小、数据块的位置等信息，这种元数据的管理方式使得HDFS能够高效地组织和定位数据。

3、DataNode的存储功能

- DataNode是实际存储数据块的节点，每个DataNode会在本地文件系统上创建特定的目录结构来存储数据块，在Linux系统上，DataNode可能会在指定的目录下创建一系列以数据块ID命名的文件来存储数据块内容，DataNode会定期向NameNode发送心跳信号，报告自己的状态，包括存储的数据块信息等，它也会根据NameNode的指令进行数据块的复制、删除等操作。

三、HDFS与对象存储的区别

1、数据模型

- 对象存储采用对象作为基本的存储单元，对象包含数据、元数据和唯一标识符，而HDFS以文件和数据块为存储单元，文件由数据块组成，其元数据管理方式与对象存储不同，在对象存储中，对象的元数据可以包含更多自定义的属性，并且对象存储系统通常会提供丰富的对象级别的操作，如对象的版本控制等。

2、访问接口

- 对象存储通常提供基于RESTful API的访问接口，这种接口使得对象存储可以方便地被各种不同的应用程序和平台使用，包括Web应用、移动应用等，而HDFS主要通过Hadoop的Java API进行访问，虽然也有一些其他的访问方式，如通过命令行工具等，但整体上其接口主要是面向Hadoop生态系统中的大数据处理应用，如MapReduce、Spark等。

3、存储架构和用途

- 对象存储更侧重于大规模的非结构化数据存储，适合存储各种类型的文件，如图片、视频、文档等，并且在云存储场景下应用广泛，它可以提供多租户、高可扩展性等特性，而HDFS主要是为了满足Hadoop生态系统中的大数据处理需求，如海量日志分析、数据挖掘等，其存储架构是围绕着分布式计算框架的需求而设计的，例如数据的本地性原则（在计算时尽量使用本地存储的数据块以提高效率）。

HDFS不是对象存储，它有着自己独特的数据存储机制和在大数据生态系统中的定位。