大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。喜欢通过博客创作的方式对所学的知识进行总结与归纳,不仅形成深入且独到的理解,而且能够帮助新手快速入门。
本文主要介绍了python写hdfs文件的实用解决方案,希望能对新手有所帮助。
文章目录
- 1. 背景介绍
- 2. 解决方案
-
- 2.1 方案一
-
- 2.1.1 安装库
- 2.1.2 代码
- 2.2 方案二
1. 背景介绍
由于近期涉及到读写hdfs文件,尤其是写入hdfs文件,一般的做法是先写入服务器,再使用put命令或者脚本代码将其放入到hdfs中。但是如此一来,单步的写入操作就需要分成两步来做,甚至还要再将写入服务器的文件进行删除,就显得非常笨拙。所以需要研究能否直接写入hdfs文件。