为了账号安全，请及时绑定邮箱和手机立即绑定
慕课网数字资源数据库体验端
获取体验码
认识Hadoop--基础篇_学习笔记_慕课网
为了账号安全，请及时绑定邮箱和手机立即绑定
精品课程 认识Hadoop--基础篇

认识Hadoop--基础篇

Kit_Ren Linux系统工程师
难度初级
时长 1小时22分
最热 最新
  • virvle
    Warning: $HADOOP_HOME is deprecated 解决办法，推荐用下面的，在/etc/profile 文件最后增加 export HADOOP_HOME_WARN_SUPPRESS=1
    查看全部
    0 采集 收起 来源：HDFS使用

    2017-02-07

  • virvle
    适用性及局限性： - 适合数据批量读写，吞吐量高 - 不适合交互式应用，低延迟很难满足 - 适合一次写入多次读写，顺序读写 - 不支持多用户并发写相同文件
    查看全部
    0 采集 收起 来源：HDFS特点

    2017-02-07

  • virvle 00:50
    HDFS的特点 1）数据冗余，硬件容错（一式三份来保证） 2）流式数据访问：写一次，读多次，一旦写入无法修改，只能通过写入到新的块删除旧的块进行处理 3）存储大文件（特适合，因为小文件多，势必加重NameNode的负担）
    查看全部
    0 采集 收起 来源：HDFS特点

    2017-02-07

  • virvle 01:19
    HDFS读取文件的流程：客户端发起文件读取请求，NameNode告诉他数据块的位置，客户端进行读取——over！
    查看全部
    0 采集 收起 来源：HDFS中文件的读写操作

    2017-02-07

  • virvle 02:46
    HDFS写入文件的流程：客户端发起文件写入，文件拆分块，通知NameNode有东西要写入，请找些空闲块出来，返回到DataNodes——写入Blocks,流水线复制（为了容错的），最后更新元数据
    查看全部
    0 采集 收起 来源：HDFS中文件的读写操作

    2017-02-07

  • herohacker 01:46
    系统瓶颈：存储容量、读写速度、 计算效率.....
    查看全部
    0 采集 收起 来源：Hadoop的前世今生

    2017-02-07

  • virvle 02:47
    二级NameNode：NameNdoe定期同步元数据映像文件到二级NameNode,一旦故障，备胎转正，成正宫娘娘！
    查看全部
    0 采集 收起 来源：数据管理策略

    2017-02-06

  • virvle 01:53
    心跳检测：DataNode定期向NameNode发心跳消息，刷新存在感!!
    查看全部
    0 采集 收起 来源：数据管理策略

    2017-02-06

  • virvle 01:15
    数据块副本：每个数据块3个副本，分布在2机架3节点上
    查看全部
    0 采集 收起 来源：数据管理策略

    2017-02-06

  • virvle 02:20
    HDFS的文件被分成以默认64MB大小的块进行存储，块是文件存储处理的逻辑单元。 块的组成部分： 1）NameNode 是管理节点，存放文件元数据，包含2部分： - 文件与数据块的映射表 - 数据块与数据节点的映射表 2）DataNode 是HDFS的工作节点，用于存放真正的数据
    查看全部
    0 采集 收起 来源：HDFS基本概念

    2017-02-06

  • virvle 00:21
    Hadoop重要组成部分： 1）HDFS 文件系统 2）Mapreduce 并行计算框架
    查看全部
    0 采集 收起 来源：HDFS基本概念

    2017-02-06

  • virvle
    果然是安装过程的总结
    查看全部
    0 采集 收起 来源：安装小结

    2017-02-06

  • virvle 06:40
    配置完4文件之后，进入#cd /opt/hadoop-1.2.1/bin 目录 1）执行#hadoop namenode -format 进行格式话，若有报错，看报错提醒进行更改； 2）执行#start-all.sh 进行启动 3）执行#jps 查看启动是否成功
    查看全部
    0 采集 收起 来源：Hadoop安装-配置hadoop

    2017-02-06

  • virvle
    /etc/profile 文件配置增加“HADOOP_HOME”配置 export HADOOP_HOME=/opt/hadoop-1.2.1 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
    查看全部
    0 采集 收起 来源：Hadoop安装-配置hadoop

    2017-02-06

  • virvle
    mapred-site.xml文件配置如下： <configuration> <property> <name>mapred.job.tracker</name> <value>oracle:9001</value> </property> </configuration>
    查看全部
    1 采集 收起 来源：Hadoop安装-配置hadoop

    2018-03-22

首页上一页81828384858687下一页尾页

举报

0/150
提交
取消
开始学习
课程须知
本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋，可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼～～
老师告诉你能学到什么？
1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理
友情提示：

您好，此课程属于迁移课程，您已购买该课程，无需重复购买，感谢您对慕课网的支持！

查看已购买的课程