慕课网

认识Hadoop--基础篇

最热最新

剡苫 06:08
MapReduce的容错机制
1. 重复执行（至多重复执行四次）
2. 推测执行（若一方计算速度较慢，则新开一台机器进行相同计算，两者之间择优选择）
查看全部

0 采集收起来源：MapReduce的运行流程
2019-04-01
剡苫 03:49
JobTracker的角色
1. 作业调度
2. 分配任务、监控任务执行进度
3. 监控TaskTracker的状态
TaskTracker的角色
1. 执行任务
2. 向JobTracker汇报任务进度
MapReduce作业执行过程
查看全部

0 采集收起来源：MapReduce的运行流程
2019-04-01
剡苫 00:44
- Hadoop MapReduce体系结构
查看全部

0 采集收起来源：MapReduce的运行流程
2019-04-01
剡苫 04:27
- MapReduce的原理
  1.一个大任务分成多个小的子任务（map），并行执行后，合并结果（reduce）
  2.使用过程
查看全部

0 采集收起来源：MapReduce的原理
2019-04-01
剡苫 02:35
- HDFS中写入文件的流程
查看全部

0 采集收起来源：HDFS中文件的读写操作
2019-04-01
剡苫 01:22
- HDFS读取文件的流程
查看全部

0 采集收起来源：HDFS中文件的读写操作
2019-04-01
剡苫 02:32
- 二级NameNode
  二级NameNode定期同步元数据映像文件和修改文件，NameNode发生故障时，备胎转正
查看全部

0 采集收起来源：数据管理策略
2019-04-01
剡苫 01:50
- 心跳检测
  DataNode定期向NameNode发送心跳信息
  心跳机制是定时发送一个自定义的结构体(心跳包)，让对方知道自己还活着，以确保连接的有效性的机制。
查看全部

0 采集收起来源：数据管理策略
2019-04-01
剡苫 01:15
- 数据块副本（数据容错）
  每个数据块有三个副本，分布在两个机架内的三个节点
  其中有两个副本在同一机架内
查看全部

0 采集收起来源：数据管理策略
2019-04-01
笑傲江湖3955759 02:41

hadoop fs -ls
hadoop fs -rm
hadoop fs -put
hadoop fs -mkdir
hadoop fs -get

查看全部

0 采集收起来源：HDFS使用
2019-03-29
笑傲江湖3955759 01:23

HDFS读取文件的流程

查看全部

0 采集收起来源：HDFS中文件的读写操作
2019-03-29
笑傲江湖3955759 02:27

HDFS写入文件的流程

查看全部

0 采集收起来源：HDFS中文件的读写操作
2019-03-29
笑傲江湖3955759

HDFS的文件被分成块进行存储
HDFS块的默认大小是64MB
块是文件存储处理的逻辑单元

查看全部

0 采集收起来源：HDFS基本概念
2019-03-29
emotion1

源码
https://github.com/Y1ran/Hadoop-MapReduce

查看全部

0 采集收起来源：课程总结
2019-03-18
emotion1

mkdir examples //生成一个examples目录
cd examples //进入examples文件路径
mkdir word_count //生成word_count目录
cd word_count //进入word_count目录
mkdir input //用于存放提交的作业
mkdir word_count_class //用于存放编译好的类
vim WordCount.java // 编写好java程序后保存，资料下载里面有

javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d word_count_class/ WordCount.java //因为编译WordCount.java过程需要引用hadoop封装类，所以需要引用

jar -cvf wordcount.jar *.class //将当前目录下的所有class都打包进wordcount.jar文件中

cd .. //返回上级word_count目录
cd input
vim file1 //编辑好file1 之后保存，file1里面为需要提交的作业
vim file2 // 类似
cd .. //返回到word_count目录
hadoop fs -mkdir input_wordcount //创建一个hadoop 目录，用于存放提交的作业
hadoop fs -put input/* input_wordcount //将本地的作业提交到input_wordcount目录中
hadoop fs -ls input_wordcount //查看文件是否在该目录下
hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount //提交jvm运行的jar，同时提交运行的主类，input..和out..分别用于保存提交的作业和运行结束的作业

....
....
....
等待程序运行， ok

查看全部

2 采集收起来源：WordCount单词计数（下）
2019-03-15

首页上一页 14 15 16 17 18 19 20 下一页尾页

0/150

提交

取消

开始学习

课程须知: 本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋，可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼～～

老师告诉你能学到什么？: 1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理