慕课网

认识Hadoop--基础篇

最热最新

慕粉3435463

HDFS读取文件的流程：（1）客户端向namenode发起独立请求，把文件名，路径告诉namenode；（2）namenode查询元数据，并把数据库返回客户端；（3）此时客户端就明白文件包含哪些块，这些块在哪些datanode中可以找到； HDFS写文件流程：（1）客户端把文件拆分成固定大小64M的块，并通知namenode；（2）namenode找到可用的datanode返回给客户端；（3）客户端根据返回的datanode，对块进行写入（4）通过流水线管道流水线复制（5）更新元数据。告诉namenode已经完成了创建心的数据块。保证了namenode中的元数据都是最新的状态。

查看全部

0 采集收起来源：HDFS中文件的读写操作
2016-05-30
慕粉3435463

hadoop安装步骤： 1、安装JDK:apt-get install openjdk-7-jdk； 2、设置环境变量：JAVA_HOME、JRE_HOME、CLASSPATH、PATH 3、下载hadoop安装包并解压到指定目录下； 4、设置环境变量：HADOOP_HOME、PATH 5、修改相关配置文件$HADOOP_HOME/conf： 1）修改hadoop-env.sh，设置JAVA_HOME； 2）修改core-site.xml，设置hadoop.tmp.dir、dfs.name.dir、fs.default.name； 3）修改mapred-site.xml，设置mapred.job.tracker； 4）修改hdfs-site.xml，设置dfs.data.dir； 6、格式化：hadoop namenode -format； 7、启动：start-all.sh 8、检查：jps

查看全部

0 采集收起来源：安装小结
2016-05-30
匹诺曹2016

配置文件： 1、hadoop-env.sh文件中的java_home要配置成jdk目录，不能是jre； export JAVA_HOME=/mnt/software/jdk1.7.0_07 2、core-site.xml文件 <configuration> <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://iZ234znod84Z:9000</value> </property> </configuration> 3、hdfs-site.xml文件 <configuration> <property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property> </configuration> 4、mapred-site.xml文件 <configuration> <property> <name>mapred.job.tracker</name> <value>iZ234znod84Z:9001</value> </property> </configuration>

查看全部

0 采集收起来源：Hadoop安装-配置hadoop
2018-03-22
匹诺曹2016

配置core-site.xml文件时， <property> <name>fs.default.name</name> <value>hdfs://iZ234znod84Z:9000</value> </property> iZ234znod84Z这个为主机名，一定不要搞错，否则启动失败 mapred-site.xml文件中同样也是

查看全部

0 采集收起来源：Hadoop安装-配置hadoop
2018-03-22
Jamyth 02:58

MapReduce作业执行过程

查看全部

0 采集收起来源：MapReduce的运行流程
2016-05-25
Jamyth 01:16

Hadoop MapReduce体系结构

查看全部

0 采集收起来源：MapReduce的运行流程
2016-05-25
图灵机 00:44

1.Linux环境 2.JDK安装 3.Hadoop配置

查看全部

0 采集收起来源：Hadoop安装-获取linux操作系统
2016-05-25
jack_lee_lxy 01:22

hadoop shu ju cun chu liu cheng

查看全部

0 采集收起来源：HDFS中文件的读写操作
2016-05-23
独家记忆3381296

未看完

查看全部

0 采集收起来源：HDFS使用
2016-05-20
simple_0

HDFS的特点： 1、数据冗余、硬件容错 2、流式的数据访问（一次写入，多次读取。一旦写入就没法修改） 3、适合存储大文件（如果存储小文件，那么namenote的压力大）适用性和局限性：适合数据批量读写，吞吐量高；不适合交互式应用，低延迟很难满足。适合一次写入多次读取，顺序读写；不支持多个用户并发的写相同的文件

查看全部

0 采集收起来源：HDFS特点
2016-05-19
慕雨流年 00:35

Hadoop的核心

查看全部

0 采集收起来源：Hadoop的功能与优势
2016-05-14
king2009 04:15

3-5-6

查看全部

0 采集收起来源：HDFS使用
2016-05-14
king2009 04:05

3-5-5

查看全部

0 采集收起来源：HDFS使用
2016-05-14
king2009 03:47

3-5-4

查看全部

0 采集收起来源：HDFS使用
2016-05-14
king2009 02:54

3-5-4

查看全部

0 采集收起来源：HDFS使用
2016-05-14

首页上一页 113 114 115 116 117 118 119 下一页尾页

0/150

提交

取消

开始学习

课程须知: 本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋，可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼～～

老师告诉你能学到什么？: 1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理