慕课网

认识Hadoop--基础篇

最热最新

emotion1 02:20

HDFS设计架构：
块:文件以“块”进行存储，HDFS默认块大小为64M
namenode：是管理节点，存放文件元数据，包括文件与数据块的映射表、数据块与数据节点的映射表
datenode：工作节点，真正存储数据块最终体系结构：由block、namenode、datanode、secondarynamenode、client组成

查看全部

0 采集收起来源：HDFS基本概念
2019-03-14
emotion1
一.安装jdk
二.配置hadoop的配置文件
1.mapred-site.xml 配置文件
- mapred.job.tracker mapred 访问路径
2.core-site.xml 配置文件需要修改的
- hadoop.tmp.dir 临时工作目录
- dfs.name.dir 原数据目录
- fs.default.name 文件系统地址和端口号
3.hdfs-site.xml
- dfs.data.dir 存放文件块的一个目录
4.hadoop-env.sh
- 配置java_home的安装路径
三.格式化format
hadoop namenode -format
四.启动hadoop
start-satrt-all.sh
五.用命令jps查看进程
- JpbTracker
- Jps
- SecondaryNameNode
- NameNode
- DataNode
- TaskTracker
查看全部

1 采集收起来源：安装小结
2019-03-13
emotion1

下载软件地址： wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
配置4个文件(三个xml文件，一个.sh文件)
mapred-site.xml
core-site.xml
hadoop-env.sh
hdfs-site.xml
hadoop安装及配置：
1.下载hdoop按照包并进行解压
2.配置hdoop-env.sh文件，目的是配置jdk，并在profile配置haddoop的安装位置
3.配置core-site.xml文件：hdoop的核心文件，里面有关于hdoop的节点端口与主机端口
4.配置hdfs-site.xml文件：hdoop的文件存储的基本信息与目录
5.配置mapred-site.xml文件：hadoop的计算节点的端口号

查看全部

0 采集收起来源：Hadoop安装-配置hadoop
2019-03-13
emotion1

设置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

查看全部

0 采集收起来源：Hadoop安装-安装JDK
2019-03-13
emotion1 01:50

zookeeper（动物管理员）
管理Hadoop节点状态和Hadoop的配置，维护数据节点的一致性

查看全部

0 采集收起来源：Hadoop生态系统及版本
2019-03-13
emotion1 01:21

hbase区别HDFS

查看全部

0 采集收起来源：Hadoop生态系统及版本
2019-03-13
emotion1 01:04

Hadoop可以用来做什么？

查看全部

0 采集收起来源：Hadoop的功能与优势
2019-03-13
emotion1 00:34

Hadoop的组成

查看全部

0 采集收起来源：Hadoop的功能与优势
2019-03-13
emotion1 00:20

hadoop是什么
开源的分布式存储+分布式计算平台

查看全部

0 采集收起来源：Hadoop的功能与优势
2019-03-13
殷浩 05:59
MapReduce的容错机制
1. 重复执行：执行出错之后会重复执行四次
2. 推测执行，判断taskTracker的运行状态，适当进行替换和舍弃
查看全部

0 采集收起来源：MapReduce的运行流程
2019-03-04
殷浩 04:05

MapReduce的作业执行过程

查看全部

0 采集收起来源：MapReduce的运行流程
2019-03-04
殷浩
JobTracker的角色
1. 作业调度
2. 分配任务、监控任务的执行进度
3. 监控taskTracker状态
TaskTracker的角色
1. 执行任务
2. 向JobTracker报告进度
查看全部

0 采集收起来源：MapReduce的运行流程
2019-03-04
殷浩 00:34

MapReduce的核心思想就是分而治之，将一个大人物分成多个小任务，并行执行之后，在合并结果

查看全部

0 采集收起来源：MapReduce的原理
2019-03-04
殷浩

HDFS的存取命令
存：hadoop fs -put a.txt input
取：Hadoop fs -get input/a.txt

查看全部

0 采集收起来源：HDFS使用
2019-03-04
殷浩
HDSF特点
1. 数据肉欲，硬件容错，做了多个备份
2. 流式访问数据，无法对数据进行更改，适合一次写入，多次读取
3. 存储大文件，不适合大量存储小文件，以为NameNode比较占空间，小文件不划算
适用性和局限性
- 适合数据的批量读写，吞吐量高，一次写入，多次读取
- 不适合交互式应用，低延迟很难满足，不支持并发写入相同文件
查看全部

0 采集收起来源：HDFS特点
2019-03-04

首页上一页 16 17 18 19 20 21 22 下一页尾页

0/150

提交

取消

开始学习

课程须知: 本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋，可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼～～

老师告诉你能学到什么？: 1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理