main
Oeljeklaus 7 years ago committed by GitHub
parent a4744eac4f
commit 16701b6eba
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23

@ -668,7 +668,7 @@ reduce端聚合内存占比。默认是0.2。如果数据量比较大reduc
在实际生产环境中,我们在什么时候来调节两个参数?
看Spark UI如果你的公司是决定采用standalone模式那么狠简单你的spark跑起来会显示一个Spark UI的地址4040的端口进去看依次点击进去
看Spark UI如果你的公司是决定采用standalone模式那么狠简单你的spark跑起来会显示一个Spark UI的地址8080的端口进去看依次点击进去
可以看到你的每个stage的详情有哪些executor有哪些task每个task的shuffle write和shuffle read的量shuffle的磁盘和内存读写的数据量

Loading…
Cancel
Save