CHEN Xiaoyu's blog
2018年2月2日星期五
pyspark java.lang.OutOfMemoryError: GC overhead limit exceeded
参考
https://stackoverflow.com/questions/32336915/pyspark-java-lang-outofmemoryerror-java-heap-space
在 $SPARK_HOME/conf/spark-defaults.conf 中调大 spark.driver.memory 的值，如果没有配的话，默认是 1g
没有评论:
发表评论
较新的博文
较早的博文
主页
订阅：
博文评论 (Atom)
没有评论:
发表评论