慕课网

走近大数据之Hive入门

最热最新

慕后端4477088 10:53

数据模型：星形模型，雪花模型

查看全部

0 采集收起来源：数据仓库简介
2020-06-30
慕后端4477088 06:56

OLTP：连接事务处理，如银行转账，必须扣钱和加钱必须同时失败或成功。
OLAP：连接分析处理，基于历史数据，如商品推荐系统，不会对里边的数据做插入删除更新的操作。

查看全部

0 采集收起来源：数据仓库简介
2020-06-30
慕后端4477088

数据仓库只负责查询，且数据不随时间而变化

查看全部

0 采集收起来源：数据仓库简介
2020-06-30
慕后端4477088 07:41

创建内部表

查看全部

0 采集收起来源：Hive的数据模型之内部表
2020-06-30
慕后端4477088 00:50

时间类型。

查看全部

0 采集收起来源：Hive的数据类型之基本数据类型
2020-06-30
慕后端4477088 00:41

复杂数据类型

查看全部

0 采集收起来源：Hive的数据类型之基本数据类型
2020-06-30
慕后端4477088 00:37

基本数据类型

查看全部

0 采集收起来源：Hive的数据类型之基本数据类型
2020-06-30
慕后端4477088 00:22

web界面

查看全部

0 采集收起来源：Hive的管理之web界面方式
2020-06-30
慕后端4477088 14:15

静默模式 hive -S 不产生mapreduce的调试信息，直接输出最后的结果

查看全部

0 采集收起来源：Hive的管理之CLI方式
2020-06-30
慕后端4477088 11:35

hive 查询单个字段会转化成mapreduce任务，但是执行select × from table不会转换成mapreduce任务

查看全部

0 采集收起来源：Hive的管理之CLI方式
2020-06-30
慕后端4477088 05:17

CLI命令

查看全部

0 采集收起来源：Hive的管理之CLI方式
2020-06-30
慕后端4477088 02:47

常用的CLI命令
进入ClI：输入hive

查看全部

0 采集收起来源：Hive的管理之CLI方式
2020-06-30
慕后端4477088

嵌入模式元数据存放在derby
本地模式元数据存放在本地mysql
远程模式元数据存放在远程mysql

查看全部

0 采集收起来源：Hive安装之嵌入模式
2020-06-29
慕后端4477088 00:43

Hive的体系结构

查看全部

0 采集收起来源：Hive的体系结构
2020-06-29
慕后端4477088 00:24

Hive的体系结构

查看全部

0 采集收起来源：Hive的体系结构
2020-06-29
慕后端4477088 02:24

HQL的解析和执行过程

查看全部

0 采集收起来源：Hive的体系结构之HQL的执行过程
2020-06-29
慕后端4477088 01:52

Hive的元数据

查看全部

0 采集收起来源：Hive的体系结构之元数据
2020-06-29
慕数据1099211 01:13

数据的主题。概念

查看全部

0 采集收起来源：数据仓库简介
2020-04-06
慕瓜0579600
hive桶表(Bucket Table)
--桶表是对数据进行哈希取值，然后放到不同文件中存储
```
create table bucket_table
(sid int,sanme string, age int)
clustered by (sname) into 5 buckets;--根据sname字段进行
哈希运算后放入5个桶中
```
查看全部

0 采集收起来源：Hive的数据模型之桶表
2020-03-02

慕瓜0579600

hive的外部表(External Table)

create external table external_student
(sid int,sname string,age int)
row format delimited fields terminated by ','
location '/input';

查看全部

0 采集收起来源：Hive的数据模型之外部表

2020-03-02

慕瓜0579600

hive分区表

create table partition_table
(sid int,sname string)
partitioned by (gender string)--分区字段为gender
row format delimited fields terminated by ',';--字段分割符为逗号

--插入数据
insert into table partition_table partition(gender="M") 
select sid,sname from sample_date where gender='M';

insert into table partition_table partition(gender="F") 
select sid,sname from sample_date where gender='F';

--查询计划
hive> explain select * from sample_date where gender='M';

查看全部

0 采集收起来源：Hive的数据模型之分区表

2020-03-02

慕瓜0579600

hive创建内部表
create table t1
(tid int， tname string，age int)
location '/mytable/hive/t1' --location指定表存放路径
row format delimited fields terminated by ',' ;--列直接的分隔符逗号

create table t2
row format delimited fields terminated by ',' ;--列直接的分隔符逗号
as
select * from sample_data;

查看全部

0 采集收起来源：Hive的数据模型之内部表
2020-03-01
慕瓜0579600

hive远程服务启动
通过远程连接hive时hive的远程服务必须启动
端口：10000
启动方式：#hive --service hiveserver &

查看全部

0 采集收起来源：Hive的管理之远程服务
2020-03-01
慕瓜0579600 02:56

hive web界面方式
端口 9999
启动方式：#hive --service hwi &
通过浏览器访问：http://ip地址:9999/hwi/
/conf/hive-site.xml文件中添加如下配置
<property>
<name>hive.hwi.listen.host</name>
<value>0.0.0.0</value>
<description>This is the host address the Hive Web Interface will listen on</description>
</property>

<property>
<name>hive.hwi.listen.port</name>
<value>9999</value>
<description>This is the port the Hive Web Interface will listen on</description>
</property>

<property>
<name>hive.hwi.war.file</name>
<value>${HIVE_HOME}/lib/hive-hwi-<version>.war</value>
<description>This is the WAR file with the jsp content for Hive Web Interface</description>
</property>
参考链接地址：
https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface

查看全部

0 采集收起来源：Hive的管理之web界面方式
2020-03-01
慕瓜0579600

hive常用cli命令
查看数据仓库中的表
show tables；
查看数据仓库中内置的函数
show functions；
清屏命令
！clear；
查看表结构
desc 表名
查看hdfs上的文件
dfs -ls 目录
dfs -lsr /user 递归模式下显示/user目录及子目录
执行操作系统的命令
！命令
执行某个目录下的sql文件
hive>source /root/my.sql
进入hive命令行静默模式，静默模式不产生MapReduce的调试信息，直接输出结果
#hive -S
在操作系统命令行下执行命令
#hive -e 'show tables';
#hive -e 'select * from test1';
#hive -S -e 'select * from test1';

查看全部

0 采集收起来源：Hive的管理之CLI方式
2020-03-01
慕瓜0579600 06:56
hive远程元数据库配置
1. 将mysql的jdbc的jar上传到hive的lib目录下
2. conf目录下配置hive-site.xml文件
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.56.101:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
</configuration>
参考配置属性地址：
https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+Administration#AdminManualMetastoreAdministration-ClientConfigurationParameters
3.元数据中
tbls存储数据表信息
columns_v2存储数据字段信息
查看全部

0 采集收起来源：Hive安装之远程模式和本地模式
2020-03-01

首页上一页1 2 3 4 5 6 7 下一页尾页

0/150

提交

取消

该课程已下架

课程须知: 1、熟练掌握Hadoop的体系结构，尤其是HDFS 2、熟悉Java编程 3、了解Linux的基本操作

老师告诉你能学到什么？: 1、数据仓库简介 2、Hive是什么？ 3、Hive的体系结构 4、Hive的安装与管理 5、Hive的数据类型 6、Hive的数据模型