慕课网

认识Hadoop--基础篇

最热最新

屋小维

HDFS系统 Mapreduce框架

查看全部

0 采集收起来源：HDFS基本概念
2015-12-11
屋小维 00:18

HDFS

查看全部

0 采集收起来源：数据管理策略
2015-12-11
行尸荒野

hadoop安装步骤： 1、安装JDK:apt-get install openjdk-7-jdk； 2、设置环境变量：JAVA_HOME、JRE_HOME、CLASSPATH、PATH 3、下载hadoop安装包并解压到指定目录下； 4、设置环境变量：HADOOP_HOME、PATH 5、修改相关配置文件$HADOOP_HOME/conf： 1）修改hadoop-env.sh，设置JAVA_HOME； 2）修改core-site.xml，设置hadoop.tmp.dir、dfs.name.dir、fs.default.name； 3）修改mapred-site.xml，设置mapred.job.tracker； 4）修改hdfs-site.xml，设置dfs.data.dir； 6、格式化：hadoop namenode -format； 7、启动：start-all.sh 8、检查：jps

查看全部

0 采集收起来源：安装小结
2015-12-10
hhh112123123 03:34

MapReduce执行过程

查看全部

0 采集收起来源：MapReduce的运行流程
2015-12-10
行尸荒野

安装hadoop: 1、准备liunx环境； 2、安装JDK； 3、配置hadoop；收费快捷方式：使用云主机进行配置

查看全部

0 采集收起来源：Hadoop安装-获取linux操作系统
2015-12-10
行尸荒野

hadoop生态系统： 1.hdfs分布式存储系统 2.mapreduce 大数据编程模型 3.相关开源工具：（1）hive：将sql语句转化为hadoop任务（2）HBASE：存储结构化数据的分布式数据库，放弃事务特性，追求更高的扩展，它提供数据的随机读写和实时访问，实现对表数据的读写功能（3）zookeeper:监控Hadoop集群里的每个节点的状态，管理整个集群的配置，维护数据节点之间的一致性

查看全部

4 采集收起来源：Hadoop生态系统及版本
2015-12-10
行尸荒野

Google提出的三大革命技术：Mapreduce, BigTable, GFS 1：成本降低、能用PC机、就不用大型机和高端存储。 2、软件容错硬件故障视为常态。通过软件保证高可靠性。 3.简化并行分布式计算，无须控制节点同步和数据交换。。。

查看全部

0 采集收起来源：Hadoop的前世今生
2015-12-10
Crimson 03:03

MapReduce作业执行流程

查看全部

0 采集收起来源：MapReduce的运行流程
2015-12-10
Crimson 01:16

MapReduce体系结构

查看全部

0 采集收起来源：MapReduce的运行流程
2015-12-10
行尸荒野

前提准备: 1.Linux常用命令的掌握 2.java的编程基础

查看全部

0 采集收起来源：Hadoop大数据平台架构与实践课程简介
2015-12-10
coder_0013 00:17

这图。。。

查看全部

0 采集收起来源：Hadoop的前世今生
2015-12-09
mookie付 02:31

jobTracker的角色：1、作业调度；2、分配；3、监控

查看全部

0 采集收起来源：MapReduce的运行流程
2015-12-09
mookie付

每个数据块（datanode）都会有3个副本，分布在两个机架内的三个节点。

查看全部

0 采集收起来源：数据管理策略
2015-12-09
mookie付 00:59

hdfs的文件被分成块进行存储，HDFS块的大小默认是64MB.块数文件存储处理的逻辑单元。

查看全部

0 采集收起来源：HDFS基本概念
2015-12-09
SaintW

mkdir examples //生成一个examples目录 cd examples //进入examples文件路径 mkdir word_count //生成word_count目录 cd word_count //进入word_count目录 mkdir input //用于存放提交的作业 mkdir word_count_class //用于存放编译好的类 vim WordCount.java // 编写好java程序后保存，资料下载里面有 javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d word_count_class/ WordCount.java //因为编译WordCount.java过程需要引用hadoop封装类，所以需要引用 jar -cvf wordcount.jar *.class //将当前目录下的所有class都打包进wordcount.jar文件中 cd .. //返回上级word_count目录 cd input vim file1 //编辑好file1 之后保存，file1里面为需要提交的作业 vim file2 // 类似 cd .. //返回到word_count目录 hadoop fs -mkdir input_wordcount //创建一个hadoop 目录，用于存放提交的作业 hadoop fs -put input/* input_wordcount //将本地的作业提交到input_wordcount目录中 hadoop fs -ls input_wordcount //查看文件是否在该目录下 hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount //提交jvm运行的jar，同时提交运行的主类，input..和out..分别用于保存提交的作业和运行结束的作业 .... .... .... 等待程序运行， ok

查看全部

4 采集收起来源：WordCount单词计数（下）
2015-12-08

首页上一页 140 141 142 143 144 145 146 下一页尾页

0/150

提交

取消

开始学习

课程须知: 本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋，可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼～～

老师告诉你能学到什么？: 1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理