from pyspark.sql.functions import *
from pyspark.sql.types import *
df = spark.createDataFrame([{'a': None, 'b': 2}, {'a': [2,3], 'b': 4}])
empty_array = udf(lambda :[], ArrayType(LongType()))
# solution 1
df.withColumn('a', coalesce(col('a'), empty_array())).show()
# solution 2
df.withColumn('a', when(isnull('a'), empty_array()).otherwise(df.a)).show()
2018年1月18日星期四
2018年1月17日星期三
git checkout old git commit including all submodules recursively
参考https://stackoverflow.com/questions/15124430/how-to-checkout-old-git-commit-including-all-submodules-recursively
git checkout 之后,git submodule update --recursive 即可。
git checkout 之后,git submodule update --recursive 即可。
2018年1月12日星期五
查找python包transitive dependencies
参考https://stackoverflow.com/questions/9232568/identifying-the-dependency-relationship-for-python-packages-installed-with-pip
pip install pipdeptree
使用pipdeptree命令即可。
pip install pipdeptree
使用pipdeptree命令即可。
2018年1月11日星期四
关于L1和L2正则
L1 正则可以产生稀疏性,即让模型部分特征的系数为 0。这样做有几个好处:首先可以让模型简单,防止过拟合;还能选择有效特征,提高性能。
L2 正则通过构造一个所有参数都比较小的模型,防止过拟合。但 L2 正则不具有稀疏性。

图片来源:https://ask.julyedu.com/question/6996
2017年12月28日星期四
nginx反向代理之后flask无法获取真实访问ip
flask.request.remote_addr一直都是127.0.0.1
解决:https://www.jianshu.com/p/98bc849ef01a
proxy_set_header Host $host:8080;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header REMOTE-HOST $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
以上的nginx配置我已经配置了的,将获取对端地址的代码修改为flask.request.headers['X-Real-Ip']即可。
所以代码如下所示:
try:
url_param['ip'] = flask.request.headers['X-Real-Ip']
except KeyError:
url_param['ip'] = flask.request.remote_addr
解决:https://www.jianshu.com/p/98bc849ef01a
proxy_set_header Host $host:8080;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header REMOTE-HOST $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
以上的nginx配置我已经配置了的,将获取对端地址的代码修改为flask.request.headers['X-Real-Ip']即可。
所以代码如下所示:
try:
url_param['ip'] = flask.request.headers['X-Real-Ip']
except KeyError:
url_param['ip'] = flask.request.remote_addr
2017年12月19日星期二
mac使用bazel编译报错
TypeError: add() got an unexpected keyword argument 'replace'
原因:setuptools版本过低导致。
pip install --upgrade setuptools --user python
但pip list查看setuptools还是旧版本。然后顺便升级了一下mac系统,再发现setuptools版本正常了,可能是旧版本的mac系统的问题。
原因:setuptools版本过低导致。
pip install --upgrade setuptools --user python
但pip list查看setuptools还是旧版本。然后顺便升级了一下mac系统,再发现setuptools版本正常了,可能是旧版本的mac系统的问题。
更新homebrew
brew update --verbose
如果遇到权限问题:sudo chown -R $(whoami) /usr/local
如果卡死不动,是github的下载速度或者连不上的问题。
更新完成后根据提示还原/usr/local的默认权限:sudo chown root:wheel /usr/local
brew upgrade xxx
其他命令参考:https://segmentfault.com/a/1190000004353419
如果遇到权限问题:sudo chown -R $(whoami) /usr/local
如果卡死不动,是github的下载速度或者连不上的问题。
更新完成后根据提示还原/usr/local的默认权限:sudo chown root:wheel /usr/local
brew upgrade xxx
其他命令参考:https://segmentfault.com/a/1190000004353419
订阅:
博文 (Atom)