慕课网

认识Hadoop--基础篇

最热最新

嘿happy 02:57

java环境变量

查看全部

0 采集收起来源：Hadoop安装-安装JDK
2016-01-17
螃蟹1只 02:42

HDFS写入文件流程（每个块的写入）

查看全部

0 采集收起来源：HDFS中文件的读写操作
2016-01-16
螃蟹1只 01:22

HDFS读取文件流程

查看全部

0 采集收起来源：HDFS中文件的读写操作
2016-01-16
螃蟹1只

Hadoop的数据管理策略： 1、数据块副本：每个数据块有3个副本，分布在各DataNode节点中。确保当某个节点发生故障时，仍然可以从其他节点获取到对应数据块 2、心跳检测：每个DataNode都会定期向NameNode发送特定的消息，表明对应DataNode是处于active状态的 3、二级NameNode：定期同步NameNode的元数据映像文件、修改日志，当NameNode发生故障时，取代其成为NameNode

查看全部

0 采集收起来源：数据管理策略
2016-01-16
螃蟹1只 01:31

HDFS基本概念：【图：HDFS体系结构】 1、块（Block）：HDFS的文件被分成块进行存储，块的大小默认为64MB，块是文件存储处理的逻辑单元 2、NameNode：管理节点，存放文件元数据文件元数据包括（1）文件与数据块的映射表；（2）数据块与数据节点的映射表 3、DataNode：工作节点，存放数据块

查看全部

0 采集收起来源：HDFS基本概念
2016-01-16
螃蟹1只

4、命令hadoop测试Hadoop是否安装配置成功 5、启动之前，对namenode进行格式化（文件系统格式化）命令hadoop namenode -format 6、启动Hadoop 执行hadoop-1.2.1/bin目录下的start-all.sh：在任意目录下输入命令start-all.sh 命令jps查看当前java进程，以此判断Hadoop是否正常运行：应当包括进程JobTracker, TaskTracker, NameNode, DataNode, SecondaryNameNode 命令hadoop fs -ls /查看HDFS上的文件夹（根目录下）

查看全部

0 采集收起来源：Hadoop安装-配置hadoop
2016-01-18
螃蟹1只

配置Hadoop： 1、下载Hadoop安装包命令wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 2、解压缩命令tar -zxvf hadoop-1.2.1.tar.gz 3、配置文件，在hadoop-1.2.1/conf文件夹下，文件包括 hadoop-env.sh, core-site.xml, hdfs-site.xml, mapred-site.xml (1)vim hadoop-env.sh 将# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 修改为 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 #jdk安装目录（命令echo $JAVA_HOME可以获得路径） (2)vim core-site.xml 在<configuration></configuration>之间加入 <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://imooc:9090</value> </property> (3)vim hdfs-site.xml 在<configuration></configuration>之间加入 <property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property> (4)vim mapred-site.xml 在<configuration></configuration>之间加入 <property> <name>mapred.job.tracker</name> <value>imooc:9001</value> </property>

查看全部

0 采集收起来源：Hadoop安装-配置hadoop
2018-03-22
螃蟹1只

安装JDK，配置环境变量（Ubuntu系统）： 1、命令javac测试是否已经存在java开发环境 2、命令apt-get install openjdk-7-jdk安装jdk（是否安装选y） 3、命令vim /etc/profile设置环境变量【按i进入insert模式，按Esc退出，在非insert模式下输入:wq表示保存并退出vim】在文件开头添加（#开头的行是注释）： export JAVA_HOME = /usr/lib/jvm/java-7-openjdk-amd64 #jdk安装目录 export JRE_HOME = $JAVA_HOME/jre export HADOOP_HOME = /opt/hadoop1.2.1 #Hadoop安装目录，安装完Hadoop后再添加 export CLASSPATH = $JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH = $JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH #安装完Hadoop后再添加:$HADOOP_HOME/bin 4、命令source /etc/profile使其生效

查看全部

0 采集收起来源：Hadoop安装-安装JDK
2016-01-16
慕哥3754210

HDFS:块、NameNode、DataNode 块默认大小为64MB

查看全部

0 采集收起来源：数据管理策略
2016-01-15
螃蟹1只

Hadoop安装： 1、Linux环境：虚拟机/云主机，Ubuntu/CentOS 2、安装JDK 3、配置Hadoop

查看全部

0 采集收起来源：Hadoop安装-获取linux操作系统
2016-01-16
螃蟹1只

Hadoop相关的工具： 1、Hive：将SQL语句转化为Hadoop任务，使用者只需编写SQL语句，降低了使用Hadoop的门槛 2、HBASE：存储结构化数据的分布式数据库。相比传统关系型数据库，放弃了事务特性，追求更高的扩展；相比HDFS，提供数据的随机读写和实时访问，实现了对表数据的读写功能 3、zookeeper：监控集群里每个节点的状态，管理整个集群的配置，维护数据的一致性

查看全部

0 采集收起来源：Hadoop生态系统及版本
2016-01-14
螃蟹1只

Hadoop的组成： 1、HDFS：分布式文件系统，存储海量数据 2、MapReduce：并行处理框架，实现任务的分解和调度

查看全部

0 采集收起来源：Hadoop的功能与优势
2016-01-14
sunyg 02:29

参考书

查看全部

0 采集收起来源：Hadoop大数据平台架构与实践课程简介
2016-01-12
一九四三 01:23

NameNode存放的元数据

查看全部

0 采集收起来源：HDFS基本概念
2016-01-12
wangmaodou 01:36

NameNode 节点

查看全部

0 采集收起来源：HDFS基本概念
2016-01-07

首页上一页 135 136 137 138 139 140 141 下一页尾页

0/150

提交

取消

开始学习

课程须知: 本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋，可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼～～

老师告诉你能学到什么？: 1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理