Hadoop HDFS命令

Reads: 1220 Edit

基本形式: hadoop fs -cmd

hadoop fs -ls 
hadoop fs -lsr #相当于linux 的ls -r 
hadoop fs -put example.txt . #将example.txt从本地文件系统copy到HDFS上。 
hadoop fs -get example.txt . #从HDFS将example get到本地 
hadoop fs -cat example.txt  #相当于linux的cat 
hadoop fs -tail example.txt #linux tail 

可以结合Unix管道:

hadoop fs -cat example.txt | head -n 10 
hadoop fs -rm example.txt #linux rm 

查看帮助,比如ls的帮助:

hadoop fs -help ls 

可以使用URI来制定精确的文件和目录位置:

hadoop fs -cat hdfs://localhost:9000/user/chunk/example.txt 

自带的WordCount例子 org.apache.hadoop.examples.WordCount

关于作者

王硕,十年软件开发经验,业余产品经理,精通Java/Python/Go等,喜欢研究技术,著有《PyQt快速开发与实战》《Python 3.* 全栈开发》,多个业余开源项目托管在GitHub上,欢迎微博交流:


Comments

Make a comment

www.ultrapower.com ,王硕的博客,专注于研究互联网产品和技术,提供中文精品教程。 本网站与其它任何公司及/或商标无任何形式关联或合作。