2018年1月18日星期四

pyspark将dataframe中的none转为空数组

from pyspark.sql.functions import *
from pyspark.sql.types import *

df = spark.createDataFrame([{'a': None, 'b': 2}, {'a': [2,3], 'b': 4}])
empty_array = udf(lambda :[], ArrayType(LongType()))

# solution 1
df.withColumn('a', coalesce(col('a'), empty_array())).show()

# solution 2
df.withColumn('a', when(isnull('a'), empty_array()).otherwise(df.a)).show()

2018年1月11日星期四

关于L1和L2正则


L1 正则可以产生稀疏性,即让模型部分特征的系数为 0。这样做有几个好处:首先可以让模型简单,防止过拟合;还能选择有效特征,提高性能。

L2 正则通过构造一个所有参数都比较小的模型,防止过拟合。但 L2 正则不具有稀疏性。



图片来源:https://ask.julyedu.com/question/6996

2017年12月28日星期四

nginx反向代理之后flask无法获取真实访问ip

flask.request.remote_addr一直都是127.0.0.1

解决:https://www.jianshu.com/p/98bc849ef01a

proxy_set_header Host $host:8080;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header REMOTE-HOST $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

以上的nginx配置我已经配置了的,将获取对端地址的代码修改为flask.request.headers['X-Real-Ip']即可。

所以代码如下所示:
try:
    url_param['ip'] = flask.request.headers['X-Real-Ip']
except KeyError:
    url_param['ip'] = flask.request.remote_addr

2017年12月19日星期二

mac使用bazel编译报错

TypeError: add() got an unexpected keyword argument 'replace'

原因:setuptools版本过低导致。

pip install --upgrade setuptools --user python

但pip list查看setuptools还是旧版本。然后顺便升级了一下mac系统,再发现setuptools版本正常了,可能是旧版本的mac系统的问题。

更新homebrew

brew update --verbose
如果遇到权限问题:sudo chown -R $(whoami) /usr/local
如果卡死不动,是github的下载速度或者连不上的问题。
更新完成后根据提示还原/usr/local的默认权限:sudo chown root:wheel /usr/local

brew upgrade xxx

其他命令参考:https://segmentfault.com/a/1190000004353419