2016年1月15日星期五

Spark SQL

关于Spark SQL,参考:link.

如果遇到 java.sql.SQLException: No suitable driver found for jdbc:mysql 问题,增加以下代码Class.forName("com.mysql.jdbc.Driver"),参考链接:link.

运行上一句代码时会出现 spark java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 错误,需要设置jar包的路径指向mysql-connector-java-5.1.38-bin.jar:
./spark-submit --jars <path to jar>
如果在spark-shell或者standalone模式中运行,同样用--jars参数指定mysql-connector-java-5.1.38-bin.jar的路径。

如果不起作用的话,同时加入--driver-class-path <path to jar>设置。
如果再不行,再加上--conf spark.executor.extraClassPath=<path to jar>以及--conf spark.driver.extraClassPath=<path to jar>设置。参考链接:link.

没有评论:

发表评论