|
|
|
@ -571,3 +571,11 @@ spark.shuffle.io.retryWait 5s
|
|
|
|
|
2.如果将自定义的类型,作为算子的元素类型,那么自定义的类型必须是可以序列化的
|
|
|
|
|
|
|
|
|
|
3.不能在上述两种情况下,去使用一些第三方的不支持序列化的类型
|
|
|
|
|
### troubleshooting之解决算子函数返回NULL的问题
|
|
|
|
|
如果碰到对于某些值,不想要有返回值的话,有一个解决的办法:
|
|
|
|
|
|
|
|
|
|
1.在返回的时候,返回或者特殊的值得不要返回null。
|
|
|
|
|
|
|
|
|
|
2.通过算子获取一个RDD后,可以通过一些过滤操作,进行数据过滤。
|
|
|
|
|
|
|
|
|
|
3.可以使用压缩算子提前性能。
|
|
|
|
|