2016年9月12日星期一

解决scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror的问题

运行Spark的时候遇到这样一个问题:
java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror;

首先检查了一下我打包时候的Spark版本是基于scala 2.11的Spark 2.0.0,和spark-submit的版本是一致的,问题还是没有解决。最后发现是我的pom.xml中maven-scala-plugin的jvm版本设置的不对,修改了正确的jvm版本后运行成功。

3 条评论:

  1. 我也遇到这个问题了,spark 2.10 scala 2.11,jvm 1.8不行

    回复删除
    回复
    1. 保证jvm版本和你集群的机器的jvm版本一致,再不行的话spark和scala的版本多换换试下呢?

      删除
  2. 至今被这个BUG困扰,,,哎

    回复删除