慕课网

精品课程 Hadoop进阶

Hadoop进阶

最热最新

霜花似雪 04:33

基于内容的推荐算法

查看全部

0 采集收起来源：基于内容的推荐算法（理论）
2022-11-22
霜花似雪 02:49

基于用户的推荐算法

查看全部

0 采集收起来源：基于用户的推荐算法（理论）
2022-11-21
霜花似雪 01:15

物品推荐算法实现步骤

查看全部

0 采集收起来源：基于物品的推荐算法（代码）
2022-11-21
霜花似雪 05:39

基于物品的协同过滤推荐算法
步骤：
1、根据用户行为列表计算用户、物品的评分矩阵
2、根据用户、物品的评分矩阵计算物品与物品的相似度矩阵
3、相似度矩阵 x 评分矩阵 = 推荐列表
4、将推荐列表与评分矩阵进行比较，在推荐列表中置零已经评过分的物品，剩下的数据就是要给客户推荐结果

查看全部

0 采集收起来源：基于物品的推荐算法(理论)
2022-11-21
霜花似雪 05:39

物品推荐算法

查看全部

0 采集收起来源：基于物品的推荐算法(理论)
2022-11-21
霜花似雪 02:03

二维向量的余弦相似度

查看全部

0 采集收起来源：相似度
2022-11-21
霜花似雪 03:07

矩阵乘法

查看全部

0 采集收起来源：mapreduce实现矩阵相乘(1)
2022-11-20
霜花似雪 03:13

分布式缓存

如何使用DistributedCache?

查看全部

0 采集收起来源：分布式缓存—DistributedCache
2022-11-20
霜花似雪 01:44

分片输入

查看全部

0 采集收起来源：总结
2022-11-20
霜花似雪 04:52

Map -> Reduce

查看全部

0 采集收起来源：Map—Shuffle—Reduce
2022-11-20
霜花似雪 03:18

从分片输入到Map

查看全部

0 采集收起来源：从分片输入到Map
2022-11-20
霜花似雪 05:03

MapReduce

查看全部

0 采集收起来源：WordCount实例回顾
2022-11-20
霜花似雪 04:43

Hadoop2.0移除了原有的JobTracker和TaskTracker,改由Yarn平台的ResourceManager负责集群中所有资源的统一管理和分配，NodeManager管理Hadoop集群中单个计算节点

查看全部

0 采集收起来源：hadoop体系架构
2022-11-20
慕数据4084466 05:04

过程

查看全部

0 采集收起来源：WordCount实例回顾
2021-10-04
钢管舞学员 04:22

1.先在setup初始化方法中，把第二个数组加入到缓存中

查看全部

0 采集收起来源：mapreduce实现矩阵相乘(3)
2021-08-29
钢管舞学员 25:55

输出的文件内容

查看全部

0 采集收起来源：mapreduce实现矩阵相乘(2)
2021-08-29
钢管舞学员 24:59
MapReduce作业要有3个类
- Mapper类 Mapper的泛型有4种类型的参数Mapper<mapper输入的key即行号LongWritetable，mapper输入的value类型即一行文本Text，mapper输出的key类型Text，mapper输出的value类型Text>
        1）首先创建2个私有的输出变量
        2）重写map方法（）
            在这个方法中我们需要做什么呢（行->列,列->行）？
          理解元数据的表示含义，并且将元数据分解成我们所需要的中间数据。
- Reduce类（继承Reduce方法）
      Reduce<Text，Text，Text，Text> 有4个参数,
      1.Reduce输入key的类型（与mapper输出的key的类型一致，Text）
      2.Reduce输入value的类型（与mapper输出的value的类型一致,Text）
      3.Reduce输出key的类型（Text类型）
      4.Reduce输出value的类型（Text类型）
      创建流程
      1.创建2个私有的输出变量
      2.创建reduce流程
- 主方法类（MR1）
  创建流程
  1.定义1个文件输入路径的私有变量，
  2.定义一个文件的输出路径私有变量
  3.定义HDFS的地址
  4.定义一个run方法（
  创建一个job配置类（返回类型是整型），作业的配置
  设置hdfs的地址
  创建一个job实例，就是我们要执行的作业（a.设置一个主类，b.设置mapper类，设置Reduce类）
  设置mapper的输出类型
  设置输出Reduce的类型
  设置输入和输出路径（FileSystem类），并将输出的路径设置到job中
  最后，返回作业运行的状态，如果作业运行成功，返回1，如果运行失败返回-1
  ）
- 5.运行一个主方法，来运行这个作业
  定义一个变量，来表示作业运行的结果。如果返回是1，打印运行成功，如果是-1，运行失败
查看全部

0 采集收起来源：mapreduce实现矩阵相乘(2)
2021-08-29
钢管舞学员 14:56
MapReduce作业要有3个类
1. Mapper类 Mapper的泛型有4种类型的参数Mapper<mapper输入的key即行号LongWritetable，mapper输入的value类型即一行文本Text，mapper输出的key类型Text，mapper输出的value类型Text>
        1）首先创建2个私有的输出变量
        2）重写map方法（）
            在这个方法中我们需要做什么呢（行->列,列->行）？
          理解元数据的表示含义，并且将元数据分解成我们所需要的中间数据。

2.Reduce类（继承Reduce方法）
Reduce<Text，Text，Text，Text> 有4个参数,
1.Reduce输入key的类型（与mapper输出的key的类型一致，Text）
2.Reduce输入value的类型（与mapper输出的value的类型一致,Text）
3.Reduce输出key的类型（Text类型）
4.Reduce输出value的类型（Text类型）
创建流程
1.创建2个私有的输出变量
2.创建reduce流程
3.主方法类
查看全部

0 采集收起来源：mapreduce实现矩阵相乘(2)
2021-08-29
钢管舞学员 09:38
MapReduce作业要有3个类
1. Mapper类 Mapper的泛型有4种类型的参数Mapper<mapper输入的key即行号LongWritetable，mapper输入的value类型即一行文本Text，mapper输出的key类型Text，mapper输出的value类型Text>
  1）首先创建2个私有的输出变量
  2）重写map方法（）
  在这个方法中我们需要做什么呢（行->列,列->行）？
  理解元数据的表示含义，并且将元数据分解成我们所需要的中间数据。
2. Reduce类
3. 主方法类
查看全部

0 采集收起来源：mapreduce实现矩阵相乘(2)
2021-08-29
钢管舞学员 02:55

矩阵处理2----------矩阵相乘

查看全部

0 采集收起来源：mapreduce实现矩阵相乘(1)
2021-08-29
钢管舞学员 02:19

矩阵处理1----------将第2个矩阵行转换成列，列转换成行
---------转换成功后的结果（
没转换前：左矩阵的行向量*右矩阵的列向量
转换后：左矩阵的行向量*右矩阵的行向量
）

查看全部

0 采集收起来源：mapreduce实现矩阵相乘(1)
2021-08-29
钢管舞学员 02:09

矩阵处理1----------将第2个矩阵行转换成列，列转换成行

查看全部

0 采集收起来源：mapreduce实现矩阵相乘(1)
2021-08-29
钢管舞学员 01:44

矩阵处理1
要计算2个矩阵相乘，那么需要2个连续的MapReduce的操作相乘

查看全部

0 采集收起来源：mapreduce实现矩阵相乘(1)
2021-08-29