为了账号安全，请及时绑定邮箱和手机立即绑定
慕课网数字资源数据库体验端
获取体验码
认识Hadoop--基础篇_学习笔记_慕课网
为了账号安全，请及时绑定邮箱和手机立即绑定
精品课程 认识Hadoop--基础篇

认识Hadoop--基础篇

Kit_Ren Linux系统工程师
难度初级
时长 1小时22分
最热 最新
  • zjplus 00:39
    hadoop的组成
    查看全部
    0 采集 收起 来源：Hadoop的功能与优势

    2017-10-08

  • 寻道0
    MapReduce BigTable/GFS
    查看全部
    0 采集 收起 来源：Hadoop的前世今生

    2017-10-07

  • wpnfi
    掌握大数据存储于处理技术 掌握Hadoop的使用和开发能力
    查看全部
    0 采集 收起 来源：Hadoop大数据平台架构与实践课程简介

    2017-09-24

  • 慕哥1890516
    1.创建目录：hadoop fs -mkdir input 和 word_count_class文件 2.编译java文件 javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d 编译后地址 编译文件 3.打包指令 jar -cvf 打包后文件名.jar *.class 4.提交输入文件给hadoop hadoop fs -put 文件路径 提交后的路径 例：hadoop fs -put input/* input_wordcount/ 5.提交jar给hadoop执行 hadoop jar jar包路径 执行的主函数名(主类名，main方法所在类名) 输入目录名 输出目录名 例：hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount 6.运行结果文件存在output_wordcount中，所以进去查看结果即可
    查看全部
    0 采集 收起 来源：WordCount单词计数（下）

    2017-09-23

  • 慕哥1890516
    mapreduce计算管理： 1.JobTracker 向taskTracker发放任务以及进行监控，taskTracker执行任务并且时不时的想JobTracker汇报执行情况 2.mapReduce容错机制： 1.重复测试：如果一个TaskTracker节点在测试过程中失败，mapreduce会重新执行该任务，如果执行四次后仍失败，就停止执行该任务 2.推测测试：如果一个taskTracker执行得很慢，mapReduce就会重新开启一个taskTracker节点去计算相同的该任务，原来那个继续执行，重新开启的taskTracker如果先执行完，则mapReduce取到该结果后就会停止原来那个很慢的taskTracker节点
    查看全部
    0 采集 收起 来源：MapReduce的运行流程

    2017-09-23

  • 慕哥1890516
    mapreduce计算原理： 1.map阶段：将一个大数据分成多个小数据块进行计算 2.reduce阶段：将map计算好的数据进行归简比较，得出想要的数据
    查看全部
    0 采集 收起 来源：MapReduce的原理

    2017-09-23

  • 慕哥1890516
    hadoop提供了shell命令对hdfs系统进行操作
    查看全部
    1 采集 收起 来源：HDFS使用

    2017-09-23

  • 慕哥1890516
    hdfs读写文件的操作： 1.hdfs读文件：首先客户端向namenode发送一个命令要取哪个数据，namendoe会返回该数据所在的路径，块等信息，客户端在根据这些返回的信息去打包下载 2.hdfs写文件：首先文件会被分割成一个个块，然后客户端想namenode发送一个命令，namenode会将可用的datenode块信息返回给客户端，客户端根据这些信息进行写入操作一个datanode上，hdfs这时会自动的复制两份该写入的数据到不同的datanade上，复制完成后，然后datanode告诉namenode它已经更新完成了，这是namdenode就会更新这些节点的信息，确保一致性
    查看全部
    0 采集 收起 来源：HDFS中文件的读写操作

    2017-09-23

  • 慕哥1890516
    hdf数据管理策略： 1.hdfs是采用master-slave的模式关管理文件，即一个master(namenade:保存datanode的一些基本信息和元数据)和多个slave(datanode:真正的存贮单元，里面存储了真实数据) 2.hdfs默认保存三份文件，有两份保存在同一台机器上，另外一份（备份文件）保存到另外一台机器上，确保当一台机器挂了时能保存数据的存在 3.namenade也有一个备用节点：Secondary NameNode,当namenode挂了时secondaryNameNode就变为nameNode的角色进行管理数据 4.datandoe会采用心跳的方式时不时的想namenode报告自己的基本信息，比如网络是否正常，运行是否正确常。
    查看全部
    0 采集 收起 来源：数据管理策略

    2017-09-23

  • 慕哥1890516
    hadoop安装及配置： 1.下载hdoop按照包并进行解压 2.配置hdoop-env.sh文件，目的是配置jdk，并在profile配置haddoop的安装位置 3.配置core-site.xml文件：hdoop的核心文件，里面有关于hdoop的节点端口与主机端口 4.配置hdfs-site.xml文件：hdoop的文件存储的基本信息与目录 5.配置mapred-site.xml文件：hadoop的计算节点的端口号 6.启动hadoop：start-all.sh 7.查看端口：jps,可以看到五大守护进程说明正确 8.停止hdoop：stop-all.sh
    查看全部
    1 采集 收起 来源：Hadoop安装-配置hadoop

    2017-09-23

  • 慕哥1890516
    JDK安装： 1.下载jdk:apt-get install XXX 2.编辑jdk环境变量：vim /etc/profile 3.是配置文件生效： source /etc/profile 4.查看：javac
    查看全部
    0 采集 收起 来源：Hadoop安装-安装JDK

    2017-09-23

  • 慕哥1890516
    hadoop:是模拟谷歌的分布式的开源实现，其作用是降低成本，可容错，高效计算
    查看全部
    0 采集 收起 来源：Hadoop的前世今生

    2017-09-23

  • joypearl2008 00:28
    hadoop安装包
    查看全部
    0 采集 收起 来源：Hadoop安装-配置hadoop

    2017-09-22

  • joypearl2008 01:44
    编辑配置文件
    查看全部
    0 采集 收起 来源：Hadoop安装-安装JDK

    2017-09-22

  • joypearl2008 02:58
    设置java环境变量
    查看全部
    0 采集 收起 来源：Hadoop安装-安装JDK

    2017-09-22

首页上一页50515253545556下一页尾页

举报

0/150
提交
取消
开始学习
课程须知
本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋，可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼～～
老师告诉你能学到什么？
1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理
友情提示：

您好，此课程属于迁移课程，您已购买该课程，无需重复购买，感谢您对慕课网的支持！

查看已购买的课程