2017年10月30日星期一

spark读写mongodb的一个问题

从mongodb的某个collection中读取了df,做了一些操作后又overwrite写回该collection会有问题。因为在写的时候才action,猜测可能因为分布式的同时读写造成的问题。

问题确认:
将df cache,在回写之前先做一次action,让结果缓存到内存,然后再写mongo没有问题。

解决:
从一个collection读,写到另一个 collection

没有评论:

发表评论