Update README.md

main
Oeljeklaus 7 years ago committed by GitHub
parent d1927228c0
commit 11cfdb35a4
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23

@ -547,3 +547,15 @@ spark作业首先第一要义就是一定要让它跑起来然后再
如果资源特别充分可以尝试增加reduce端缓冲大小这样就可以减少拉取次数减少网络传输。
配置的参数spark.reducer.maxSizeInflight
### troubleshooting之shuffle文件拉取失败
有时候会出现一种情况,非常普遍;shuffle file cannot find在spark的作业中这是非常普遍而且有时候他会偶尔出现但是重现提交task后
这种现象又不会出现可以考虑是某一个executor在执行GC但是下一个stage的executor需要拉去该task中的数据这就导致了还现象的发生。
spark.shuffle.io.maxRetries 3
这个参数表示shuffle文件拉取的时候如果没有拉取到最多或者重试几次默认是3次。
spark.shuffle.io.retryWait 5s
这个参数的意思是每一次拉取文件的时间间隔默认是5s。
针对以上情况我们可以可以增大这两个参数的值达到比较大的一个值尽量保证第二个stage的task一定能够拉取到上一个stage的输出文件。避免出现上述错误。

Loading…
Cancel
Save