搜题
问题   更新时间2023/9/25 13:39:00

简单描述Shuffle过程环形缓冲区的作⽤?

数据从map()输出,经过Partitioner分区操作,在进⼊环形缓冲区。默认情况下,环形缓冲区⼤⼩值为100MB。当map输⼊的数据进⼊环形缓冲区的量达到80MB以上时,那么开始执⾏溢写过程,溢写过程中如果有其他数据进⼊,那么由剩余的百分之20反向写⼊,最终溢写⽂件经过合并、排序后落⼊本地磁盘。
王老师:19139051760(拨打)