-
基于內(nèi)容的推薦算法
查看全部 -
基于用戶的推薦算法
查看全部 -
物品推薦算法實現(xiàn)步驟
查看全部 -
基于物品的協(xié)同過濾推薦算法
步驟：
1、根據(jù)用戶行為列表計算用戶、物品的評分矩陣
2、根據(jù)用戶、物品的評分矩陣計算物品與物品的相似度矩陣
3、相似度矩陣 x 評分矩陣 = 推薦列表
4、將推薦列表與評分矩陣進行比較，在推薦列表中置零已經(jīng)評過分的物品，剩下的數(shù)據(jù)就是要給客戶推薦結(jié)果
查看全部 -
物品推薦算法
查看全部 -
二維向量的余弦相似度
查看全部 -
矩陣乘法
? ? ?
查看全部 -
分布式緩存
如何使用DistributedCache?
查看全部 -
分片輸入
查看全部 -
Map -> Reduce
查看全部 -
從分片輸入到Map
查看全部 -
MapReduce
查看全部 -
Hadoop2.0移除了原有的JobTracker和TaskTracker,改由Yarn平臺的ResourceManager負責集群中所有資源的統(tǒng)一管理和分配，NodeManager管理Hadoop集群中單個計算節(jié)點
查看全部 -
過程查看全部 -
1.先在setup初始化方法中，把第二個數(shù)組加入到緩存中查看全部
-
輸出的文件內(nèi)容
查看全部 -
MapReduce作業(yè)要有3個類
Mapper類??Mapper的泛型有4種類型的參數(shù)Mapper<mapper輸入的key即行號LongWritetable，mapper輸入的value類型即一行文本Text，mapper輸出的key類型Text，mapper輸出的value類型Text>
????????1）首先創(chuàng)建2個私有的輸出變量
????????2）重寫map方法（）
????????? ? ??在這個方法中我們需要做什么呢（行->列,列->行）？
????????? ? ? 理解元數(shù)據(jù)的表示含義，并且將元數(shù)據(jù)分解成我們所需要的中間數(shù)據(jù)。
Reduce類（繼承Reduce方法）
??????Reduce<Text，Text，Text，Text>?有4個參數(shù),
????? ?1.Reduce輸入key的類型（與mapper輸出的key的類型一致，Text）
????? ?2.Reduce輸入value的類型（與mapper輸出的value的類型一致,Text）
????? ?3.Reduce輸出key的類型（Text類型）
????? ?4.Reduce輸出value的類型（Text類型）
????? ?創(chuàng)建流程
????? ?1.創(chuàng)建2個私有的輸出變量
????? ?2.創(chuàng)建reduce流程
主方法類（MR1）
創(chuàng)建流程
1.定義1個文件輸入路徑的私有變量，
2.定義一個文件的輸出路徑私有變量
3.定義HDFS的地址
4.定義一個run方法（
? ?創(chuàng)建一個job配置類（返回類型是整型），作業(yè)的配置
? ?設置hdfs的地址
? ?創(chuàng)建一個job實例，就是我們要執(zhí)行的作業(yè)（a.設置一個主類，b.設置mapper類，設置Reduce類）
? ?設置mapper的輸出類型
? ?設置輸出Reduce的類型
? ?設置輸入和輸出路徑（FileSystem類），并將輸出的路徑設置到job中
? ?最后，返回作業(yè)運行的狀態(tài)，如果作業(yè)運行成功，返回1，如果運行失敗返回-1
）
5.運行一個主方法，來運行這個作業(yè)
? ?定義一個變量，來表示作業(yè)運行的結(jié)果。如果返回是1，打印運行成功，如果是-1，運行失敗
? ?
查看全部 -
MapReduce作業(yè)要有3個類
Mapper類??Mapper的泛型有4種類型的參數(shù)Mapper<mapper輸入的key即行號LongWritetable，mapper輸入的value類型即一行文本Text，mapper輸出的key類型Text，mapper輸出的value類型Text>
????????1）首先創(chuàng)建2個私有的輸出變量
????????2）重寫map方法（）
????????? ? ??在這個方法中我們需要做什么呢（行->列,列->行）？
????????? ? ? 理解元數(shù)據(jù)的表示含義，并且將元數(shù)據(jù)分解成我們所需要的中間數(shù)據(jù)。
2.Reduce類（繼承Reduce方法）
? Reduce<Text，Text，Text，Text> 有4個參數(shù),
? ?1.Reduce輸入key的類型（與mapper輸出的key的類型一致，Text）
? ?2.Reduce輸入value的類型（與mapper輸出的value的類型一致,Text）
? ?3.Reduce輸出key的類型（Text類型）
? ?4.Reduce輸出value的類型（Text類型）
? ?創(chuàng)建流程
? ?1.創(chuàng)建2個私有的輸出變量
? ?2.創(chuàng)建reduce流程
3.主方法類
查看全部 -
MapReduce作業(yè)要有3個類
Mapper類??Mapper的泛型有4種類型的參數(shù)Mapper<mapper輸入的key即行號LongWritetable，mapper輸入的value類型即一行文本Text，mapper輸出的key類型Text，mapper輸出的value類型Text>
1）首先創(chuàng)建2個私有的輸出變量
2）重寫map方法（）
? ? ? 在這個方法中我們需要做什么呢（行->列,列->行）？
? ? ? 理解元數(shù)據(jù)的表示含義，并且將元數(shù)據(jù)分解成我們所需要的中間數(shù)據(jù)。
Reduce類
主方法類
查看全部 -
矩陣處理2----------矩陣相乘
查看全部 -
矩陣處理1----------將第2個矩陣行轉(zhuǎn)換成列，列轉(zhuǎn)換成行
---------轉(zhuǎn)換成功后的結(jié)果（
沒轉(zhuǎn)換前：左矩陣的行向量*右矩陣的列向量
轉(zhuǎn)換后：左矩陣的行向量*右矩陣的行向量
）
查看全部 -
矩陣處理1----------將第2個矩陣行轉(zhuǎn)換成列，列轉(zhuǎn)換成行
查看全部 -
矩陣處理1
要計算2個矩陣相乘，那么需要2個連續(xù)的MapReduce的操作相乘
查看全部
舉報