58问答库 > hadoop设置的hadoop heap size是根据集群中的每一台机子配置而在那台机子上设置适合它的值吗？

hadoop设置的hadoop heap size是根据集群中的每一台机子配置而在那台机子上设置适合它的值吗？

2024-11-16 22:37:40

推荐回答（1个）

回答（1）：

首先这个参数一般来说是整个集群统一设定的，它的定义是“Hadoop为各个守护进程分配的内存大小”，默认为1000MB，当然实际的肯定需要你根据集群实际情况来设定！分配过大的话，可能会影响整个集群对数据处理的效率，分配过小，可能会导致守护进程异常，进而影响到整个集群的正常运行。你可以先采用默认的大小，后期集群运行的过程中根据具体的测试结果以及日志输出来分析，需要调整的话再调整！hadoop和Hbase当中的很多属性的值都不好定，只能在运行过程中，根据数据量的大小以及集群是偏存储还是偏运算等情况来逐步调整参数。