为了账号安全,请及时绑定邮箱和手机立即绑定
慕课网数字资源数据库体验端
认识Hadoop--基础篇_学习笔记_慕课网
为了账号安全,请及时绑定邮箱和手机立即绑定

认识Hadoop--基础篇

Kit_Ren Linux系统工程师
难度初级
时长 1小时22分
  • 安装JDK,apt-get install openjdk-7-jdk
    查看全部
  • 云主机租赁
    查看全部
  • 租赁云主机:UnitedStack
    查看全部
  • Linux 下下载安装JDK (centos) 1、下载 : yum install java-1.7.0-openjdk 查看可升级下载的软件包 yum search java|grep jdk 2、配置环境变量: vim /etc/profile export JAVA_HOME=/jdk路径 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH jdk 路径可以用locate 搜索一下 located 用之前要updatedb 一下更新数据 3、让配置生效 source /etc/profile 4、测试 java -version 用yum 好像不用配置环境变量也行。。。。不过我配置了。 谁知道准确的麻烦私信我一下。。。谢谢QAQ
    查看全部
  • hive(sql语句转换工具) habse(结构型数据,随机写入和实时读取) zookeeper(监控个节点使用、配置) ---------------------------- zookeeper监控hadoop每个节点的状态,管理集群配置,维护节点间数据的一致性。 ------------------------------- habase存储结构化数据的分布式数据库,放弃事务特性,追求更高的扩展。habase提供数据的随机读写和实时访问,实现对表数据的读写功能。 -------------------------------------------------- hdfs mapreduse hive:将SQL语句转化为hadoop任务执行 hbase:放弃事务特性,追求更高的扩展 随机读写,实时访问 zookeeper:监控hadoop集群每个结点状态,管理整个集群配置,维护节点端一致性
    查看全部
  • Hadoop的组成
    查看全部
  • Google三大变化:低成本,软件弥补硬件保证可靠性,简化并行分布式计算
    查看全部
  • mapreduce体系结构
    查看全部
  • 结构说明
    查看全部
    0 采集 收起 来源:HDFS基本概念

    2017-09-18

  • hive 实现牵引 habse提供数据的随机读写和实时访问,实现对表数据的读写功能
    查看全部
  • 1、mapreduce是一个并行计算的框架; 2、map将任务分解成多个子任务,reduce将子任务并行执行后合并结果,合并结果,合并结果; 3、mapreduce的过程:input split->shuffle->output。
    查看全部
    0 采集 收起 来源:MapReduce的原理

    2018-03-22

  • HDFS常用命令行:hadoop fs后接选项 hadoop fs -ls 路径 打印路径下的文件(夹) hadoop fs -put 文件 路径 把本地文件上传到路径 hadoop fs -mkdir 路径 -rm -get 文件路径 下载 hadoop dfsadmin -report 查看hdfs所有基本信息
    查看全部
    0 采集 收起 来源:HDFS使用

    2017-09-10

  • HDFS 【适用性】 --适合数据批量读写,吞吐量高;不适合交互式应用,低延迟很难满足。 --适合一次写入、多次读取,顺序读写;不支持多用户并发写相同文件。
    查看全部
    0 采集 收起 来源:HDFS特点

    2017-09-10

  • 是什么:分布式存储、分布式计算平台 做什么:搭建大型数据仓库,PB级数据的存储、处理、分析、统计(如,搜索引擎、商业智能(风险评估)、日志分析、数据挖掘) 优势:高扩展、低成本、成熟的生态圈
    查看全部
  • Hadoop是一个模仿Google大数据技术的开源实现
    查看全部

举报

0/150
提交
取消
课程须知
本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋,可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼~~
老师告诉你能学到什么?
1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!