时间:2025-02-04 07:30:17
在默认情况下,HDFS块的大小为
在默认情况下,HDFS块的大小为128MB。这个大小可以在配置参数中指定,参数名为dfs.blocksize。
块的大小主要取决于磁盘传输速率。如果块设置得太小,会增加寻址时间,程序一直在找块的位置;如果块设置得太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需要的时间,导致程序在处理这块数据时会非常慢。
此外,HDFS中的文件在物理上是分块存储,块的大小可以通过配置参数来规定。在Hadoop2.x版本中,默认大小是128M,而在老版本中是64M。