今天在诺基亚第一天开始培训大数据,因为之前没接触过Linux,所以这次一起学了,任务量还是蛮大的。
首先下载安装了Xshell软件,然后公司给了账号密码连接上了河南郑州那边的服务器,接下来开始按照给的资料学习,全英文的,头也不讲解,说锻炼我们的学习能力,然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧.
在hdfs下,运行hadoop fs -mkdir /user/hadoop/dir32 //在集群里创建文件夹dir32
在root或者hdfs下,运行hadoop fs -ls /user/hadoop/dir //查看集群下文件夹dir32的文件
在root下,运行touch /home/gos/zhh/zhh_file1.txt //在本地创建文件 gos是组名 zhh是我名字缩写 这样便于管理 zhh_file1.txt是文件名
在root下,运行hadoop fs -put /home/gos/zhh/zhh_file2.txt /user/hadoop/dir33 // 将本地文件zhh_file2.txt上传到集群dir33文件夹下
在hdfs下,运行hadoop fs -get /user/hadoop/dir33/zhh_file3.txt /home/gos/zhh //将集群里dir33目录下文件zhh_file3.txt下载到本地文件夹zhh中。
在root下,运行hadoop fs -getmerge /user/hadoop/dir33/zhh_file2.txt /user/hadoop/
dir33/zhh_file3.txt /home/gos/zhh/zhh_temp.txt //将集群里dir33下两个文件合并后下载到本地zhh文件夹下,并命名为zhh_temp.txt.
先写这么多吧 刚开始接触 理解的还不深 可能还有错误 明天继续努力。
分享到:
相关推荐
人工智能-hadoop
基于Hadoop的分布式索引构建,对了解分布式索引有一定帮助
Hadoop一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File ...
hadoop集群配置 一主两副 hbase zookeeper
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。 2)测试数据data文件'\t'分隔: 1 zhangsan 2 lisi 3 wangwu 3)将测试数据data上传到linux目录下,我放置在:/home/hadoop01/...
本书从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hado叩这一高性能处理海量数据集的理想工具。全书共14章,3个附录,涉及的主题包括:haddoop简介:mapreduce简介:hadoop分布式文件系统;hadoop的i...
hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。...
Hadoop是Apache Lucene的创始人 Doung Cutting 创建的, Hadoop起源于Apache Nutch, 一个开源的网络搜索引擎,也是Apache的Lucene项目的一部分。Hadoop是创始人Doung Cutting的儿子给一头大象起的名字。 Hadoop的子...
Hadoop 架构是一个开源的、基于 Java 的编程框架,设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台,能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 ...
资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的... Apache Hadoop 是一个软件框架,它可以分布式 资源太大,传百度网盘了,链接在附件中,有需要的同学自取。
大数据时代基于Hadoop的一个数据仓库工具hive
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合...
Hadoop3.x在组成上没有变化Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 (1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每...
Hadoop是一个分布式系统基础架构,由Apache基金会开发
自己整理生成了一套基于HADOOP2.8.2的插件,经测试可用,应该是全网第一个基于HADOOP2.8.2的ECLIPSE插件,我使用的环境JDK1.7 64位,MYECLIPSE2014 或 ECLIPSE4.4 下载包中有配置好的截图照片。
这是一个基于hadoop的云盘系统,实现的界面是用javaweb完成的,使用的是spring Struts2 hibernate集合框架,配有sql文件。直接导入后运行这是一个基于hadoop的云盘系统,实现的界面是用javaweb完成的,使用的是...
Hadoop云计算2.0笔记第一课Hadoop介绍