怎么清除Spark的缓存

2025-04-12 23:13:35
推荐回答(1个)
回答(1):

spark缓存清理机制:
MetadataCleaner对象中有一个定时器,用于清理下列的元数据信息:
MAP_OUTPUT_TRACKER:Maptask的输出元信息SPARK_CONTEXT:persistentRdds中的rddHTTP_BROADCAST, http广播的元数据
BLOCK_MANAGER:blockmanager中存储的数据SHUFFLE_BLOCK_MANAGER:shuffle的输出数据BROADCAST_VARS:Torrent方式广播broadcast的元数