CHEN Xiaoyu's blog
2017年10月30日星期一
spark读写mongodb的一个问题
从mongodb的某个collection中读取了df,做了一些操作后又overwrite写回该collection会有问题。因为在写的时候才action,猜测可能因为分布式的同时读写造成的问题。
问题确认:
将df cache,在回写之前先做一次action,让结果缓存到内存,然后再写mongo没有问题。
解决:
从一个collection读,写到另一个 collection
没有评论:
发表评论
较新的博文
较早的博文
主页
订阅:
博文评论 (Atom)
没有评论:
发表评论