获取spark-submit --files的文件

参考https://community.hortonworks.com/questions/9265/how-can-i-add-configuration-files-to-a-spark-job-r.html

If you add your external files using "spark-submit --files" your files will be uploaded to this HDFS folder: hdfs://your-cluster/user/your-user/.sparkStaging/application_1449220589084_0508

application_1449220589084_0508 is an example of yarn application ID!

1. find the spark staging directory by below code: (but you need to have the hdfs uri and your username)

System.getenv("SPARK_YARN_STAGING_DIR"); --> .sparkStaging/application_1449220589084_0508

2. find the complete comma separated file paths by using:

System.getenv("SPARK_YARN_CACHE_FILES"); --> hdfs://yourcluster/user/hdfs/.sparkStaging/application_1449220589084_0508/spark-assembly-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar#__spark__.jar,hdfs://yourcluster/user/hdfs/.sparkStaging/application_1449220589084_0508/your-spark-job.jar#__app__.jar,hdfs://yourcluster/user/hdfs/.sparkStaging/application_1449220589084_0508/test_file.txt#test_file.txt


我的总结（以--files README.md为例）：
方法1：按照上面所说，--files会把文件上传到hdfs的.sparkStagin/applicationId目录下，使用上面说的方法先获取到hdfs对应的这个目录，然后访问hdfs的这个文件。
spark.read().textFile(System.getenv("SPARK_YARN_STAGING_DIR") + "/README.md")解决。textFile不指定hdfs、file或者去其他前缀的话默认是hdfs://yourcluster/user/your_username下的相对路径。不知道是不是我使用的集群是这样设置的。

方法2：
SparkFiles.get(filePath)，我获取的结果是：/hadoop/yarn/local/usercache/research/appcache/application_1504461219213_9796/spark-c39002ee-01a4-435f-8682-2ba5950de230/userFiles-e82a7f84-51b1-441a-a5e3-78bf3f4a8828/README.md，不知道为什么，无论本地还是hdfs都没有找到该文件。看了一下，本地是有/hadoop/yarn/local/usercache/research/...目录下的确有README.md。worker和driver的本地README.md路径不一样。
原因：
https://stackoverflow.com/questions/35865320/apache-spark-filenotfoundexception
https://stackoverflow.com/questions/41677897/how-to-get-path-to-the-uploaded-file
SparkFiles.get()获取的目录是driver node下的本地目录，所以sc.textFile无法在worker节点访问该目录文件。不能这么用。
"""I think that the main issue is that you are trying to read the file via the textFile method. What is inside the brackets of the textFile method is executed in the driver program. In the worker node only the code tobe run against an RDD is performed. When you type textFile what happens is that in your driver program it is created a RDD object with a trivial associated DAG.But nothing happens in the worker node."""


关于--files和addfile，可以看下这个问题：https://stackoverflow.com/questions/38879478/sparkcontext-addfile-vs-spark-submit-files

cluster模式下本地文件使用addFile是找不到文件的，因为只有本地有，所以必须使用--files上传。


结论：不要使用textFile读取--files或者addFile传来的文件。

SparkFiles.get出现NullPointerException错误

错误代码：
val serFile = SparkFiles.get("myobject.ser")

原因：SparkFiles.get只能在spark算子内使用：
sc.parallelize(1 to 100).map { i => SparkFiles.get("my.file") }.collect()

spring boot使用bazel编译运行时无法注入bean

使用到了azure-storage-spring-boot-starter中的bean，所以我增加了@ComponentScan({"com.xxx", "com.microsoft.azure"})，还是无法注入bean。

最后增加了@PropertySource("classpath:application.properties")显示指定application.properties文件（配置文件中有azure storage连接的配置）才解决问题。不知道啥原因，瞎打瞎碰解决了问题。

sampled softmax

出自于On Using Very Large Target Vocabulary for Neural Machine Translation这篇paper，主要是解决词表过大训练时间长的问题。

下面这两篇blog讲的比较清楚：
On word embeddings - Part 2: Approximating the Softmax： http://ruder.io/word-embeddings-softmax/index.html#whichapproachtochoose
中文翻译：http://geek.csdn.net/news/detail/135736

关于sampling softmax中重要性采样的论文阅读笔记：http://blog.csdn.net/wangpeng138375/article/details/75151064

pip镜像源的配置

参考http://www.jianshu.com/p/785bb1f4700d

临时使用：
pip install pythonModuleName -i https://pypi.douban.com/simple

修改~/.pip/pip.conf：
[global]
index-url = https://pypi.douban.com/simple

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

ubuntu删除软件包

参考：https://www.linuxdashen.com/debianubuntu%E6%B8%85%E7%90%86%E7%A1%AC%E7%9B%98%E7%A9%BA%E9%97%B4%E7%9A%848%E4%B8%AA%E6%8A%80%E5%B7%A7

删除软件包：
sudo apt-get remove <package-name>
sudo apt-get purge <package-name>
remove是删除软件包，purge是删除配置文件。

查看系统上哪些软件包留下了残余的配置文件：
dpkg -l | grep "^rc"
删除这些软件包：
dpkg --list | grep "^rc" | cut -d " " -f 3 | xargs sudo dpkg --purge

删除孤儿软件包：
sudo apt-get autoremove

LD_LIBRARY_PATH

LD_LIBRARY_PATH可以指定so动态库的搜索路径。

今天在服务器上安装luarocks install lzmq时因为没有root权限，我先在另一台和服务器的gcc版本一样的机器上安装了lzmq，把zmq的include和lib文件拷贝到了我自己的zmq目录下，增加了LD_LIBRARY_PATH。安装成功：
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/aifs/users/xyc43/tools/zmq
luarocks install lzmq ZMQ_DIR=/aifs/users/xyc43/tools/zmq