慕课网

认识Hadoop--基础篇

最热最新

慕仰8039429
1. mkdir examples //生成一个examples目录 cd examples //进入examples文件路径 mkdir word_count //生成word_count目录 cd word_count //进入word_count目录 mkdir input //用于存放提交的作业 mkdir word_count_class //用于存放编译好的类 vim WordCount.java // 编写好java程序后保存，资料下载里面有 javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d word_count_class/ WordCount.java //因为编译WordCount.java过程需要引用hadoop封装类，所以需要引用 jar -cvf wordcount.jar *.class //将当前目录下的所有class都打包进wordcount.jar文件中 cd .. //返回上级word_count目录 cd input vim file1 //编辑好file1 之后保存，file1里面为需要提交的作业 vim file2 // 类似 cd .. //返回到word_count目录 hadoop fs -mkdir input_wordcount //创建一个hadoop 目录，用于存放提交的作业 hadoop fs -put input/* input_wordcount //将本地的作业提交到input_wordcount目录中 hadoop fs -ls input_wordcount //查看文件是否在该目录下 hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount //提交jvm运行的jar，同时提交运行的主类，input..和out..分别用于保存提交的作业和运行结束的作业 .... .... .... 等待程序运行， ok
查看全部

0 采集收起来源：HDFS使用
2018-08-13
Ticklebutt

hadoop 1.2.1

查看全部

0 采集收起来源：Hadoop安装-配置hadoop
2018-08-13
Ticklebutt

安装 OpenJDK

查看全部

0 采集收起来源：Hadoop安装-安装JDK
2018-08-13
慕少3361690 04:18

MapReduce作业执行过程

查看全部

0 采集收起来源：MapReduce的运行流程
2018-07-30
qq_安静触摸不到的释怀_0

hadoop可以用来搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。
优势：1、高扩展， 2、低成本，3、成熟的生态圈
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

查看全部

1 采集收起来源：Hadoop的功能与优势
2018-07-25
qq_安静触摸不到的释怀_0

hadoop的组成
包括两个核心组成：
HDFS:分布式文件系统，存储海量的数据
MapReduce:并行处理框架，实现任务分解和调度

查看全部

0 采集收起来源：Hadoop的功能与优势
2018-07-25
qq_成熟点吧_0

HDFS MapReduce 开源工具（hive）
hive就是可以把你的sql语句转化成一个hadoop任务执行（降低了使用hadoop的门槛）
hbase是存储结构化数据的分布式数据库（和传统的关系型数据库的区别是放弃事务特性，追求更高的扩展）（和HDFS的区别就是habse提供数据的随机读写和实时访问，实现对表数据的读写功能）
zookeeper是监控hadoop集群的状态等

查看全部

1 采集收起来源：Hadoop生态系统及版本
2018-07-25
qq_成熟点吧_0

hadoop的运维人才也是很需要的

查看全部

1 采集收起来源：Hadoop的功能与优势
2018-07-25
qq_成熟点吧_0

hadoop的优势是1.高扩展2.低成本3.成熟的生态圈

查看全部

0 采集收起来源：Hadoop的功能与优势
2018-07-25
qq_成熟点吧_0

hadoop可以用来搭建大型数据仓库

查看全部

0 采集收起来源：Hadoop的功能与优势
2018-07-25
qq_成熟点吧_0

hadoop是一个开源的，分布式存储+分布式计算平台

查看全部

0 采集收起来源：Hadoop的功能与优势
2018-07-25
慕少3361690 00:40

hadoop组成

查看全部

0 采集收起来源：Hadoop的功能与优势
2018-07-25
learning0509 01:52

zookeaper类似管理员

查看全部

0 采集收起来源：Hadoop生态系统及版本
2018-07-18
learning0509 01:22

HBSE实现了随机实时读写功能

查看全部

0 采集收起来源：Hadoop生态系统及版本
2018-07-18
learning0509 00:55

HIVE降低了hadoop使用门槛，使用SQL即可借助HIVE执行hadoop任务；

查看全部

0 采集收起来源：Hadoop生态系统及版本
2018-07-18

首页上一页 29 30 31 32 33 34 35 下一页尾页

0/150

提交

取消

开始学习

课程须知: 本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋，可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼～～

老师告诉你能学到什么？: 1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理