-
基于內(nèi)容的推薦算法
查看全部 -
基于用戶的推薦算法
查看全部 -
物品推薦算法實(shí)現(xiàn)步驟
查看全部 -
基于物品的協(xié)同過(guò)濾推薦算法
步驟：
1、根據(jù)用戶行為列表計(jì)算用戶、物品的評(píng)分矩陣
2、根據(jù)用戶、物品的評(píng)分矩陣計(jì)算物品與物品的相似度矩陣
3、相似度矩陣 x 評(píng)分矩陣 = 推薦列表
4、將推薦列表與評(píng)分矩陣進(jìn)行比較，在推薦列表中置零已經(jīng)評(píng)過(guò)分的物品，剩下的數(shù)據(jù)就是要給客戶推薦結(jié)果
查看全部 -
物品推薦算法
查看全部 -
二維向量的余弦相似度
查看全部 -
矩陣乘法
? ? ?
查看全部 -
分布式緩存
如何使用DistributedCache?
查看全部 -
分片輸入
查看全部 -
Map -> Reduce
查看全部 -
從分片輸入到Map
查看全部 -
MapReduce
查看全部 -
Hadoop2.0移除了原有的JobTracker和TaskTracker,改由Yarn平臺(tái)的ResourceManager負(fù)責(zé)集群中所有資源的統(tǒng)一管理和分配，NodeManager管理Hadoop集群中單個(gè)計(jì)算節(jié)點(diǎn)
查看全部 -
過(guò)程查看全部 -
1.先在setup初始化方法中，把第二個(gè)數(shù)組加入到緩存中查看全部
-
輸出的文件內(nèi)容
查看全部 -
MapReduce作業(yè)要有3個(gè)類
Mapper類??Mapper的泛型有4種類型的參數(shù)Mapper<mapper輸入的key即行號(hào)LongWritetable，mapper輸入的value類型即一行文本Text，mapper輸出的key類型Text，mapper輸出的value類型Text>
????????1）首先創(chuàng)建2個(gè)私有的輸出變量
????????2）重寫map方法（）
????????? ? ??在這個(gè)方法中我們需要做什么呢（行->列,列->行）？
????????? ? ? 理解元數(shù)據(jù)的表示含義，并且將元數(shù)據(jù)分解成我們所需要的中間數(shù)據(jù)。
Reduce類（繼承Reduce方法）
??????Reduce<Text，Text，Text，Text>?有4個(gè)參數(shù),
????? ?1.Reduce輸入key的類型（與mapper輸出的key的類型一致，Text）
????? ?2.Reduce輸入value的類型（與mapper輸出的value的類型一致,Text）
????? ?3.Reduce輸出key的類型（Text類型）
????? ?4.Reduce輸出value的類型（Text類型）
????? ?創(chuàng)建流程
????? ?1.創(chuàng)建2個(gè)私有的輸出變量
????? ?2.創(chuàng)建reduce流程
主方法類（MR1）
創(chuàng)建流程
1.定義1個(gè)文件輸入路徑的私有變量，
2.定義一個(gè)文件的輸出路徑私有變量
3.定義HDFS的地址
4.定義一個(gè)run方法（
? ?創(chuàng)建一個(gè)job配置類（返回類型是整型），作業(yè)的配置
? ?設(shè)置hdfs的地址
? ?創(chuàng)建一個(gè)job實(shí)例，就是我們要執(zhí)行的作業(yè)（a.設(shè)置一個(gè)主類，b.設(shè)置mapper類，設(shè)置Reduce類）
? ?設(shè)置mapper的輸出類型
? ?設(shè)置輸出Reduce的類型
? ?設(shè)置輸入和輸出路徑（FileSystem類），并將輸出的路徑設(shè)置到j(luò)ob中
? ?最后，返回作業(yè)運(yùn)行的狀態(tài)，如果作業(yè)運(yùn)行成功，返回1，如果運(yùn)行失敗返回-1
）
5.運(yùn)行一個(gè)主方法，來(lái)運(yùn)行這個(gè)作業(yè)
? ?定義一個(gè)變量，來(lái)表示作業(yè)運(yùn)行的結(jié)果。如果返回是1，打印運(yùn)行成功，如果是-1，運(yùn)行失敗
? ?
查看全部 -
MapReduce作業(yè)要有3個(gè)類
Mapper類??Mapper的泛型有4種類型的參數(shù)Mapper<mapper輸入的key即行號(hào)LongWritetable，mapper輸入的value類型即一行文本Text，mapper輸出的key類型Text，mapper輸出的value類型Text>
????????1）首先創(chuàng)建2個(gè)私有的輸出變量
????????2）重寫map方法（）
????????? ? ??在這個(gè)方法中我們需要做什么呢（行->列,列->行）？
????????? ? ? 理解元數(shù)據(jù)的表示含義，并且將元數(shù)據(jù)分解成我們所需要的中間數(shù)據(jù)。
2.Reduce類（繼承Reduce方法）
? Reduce<Text，Text，Text，Text> 有4個(gè)參數(shù),
? ?1.Reduce輸入key的類型（與mapper輸出的key的類型一致，Text）
? ?2.Reduce輸入value的類型（與mapper輸出的value的類型一致,Text）
? ?3.Reduce輸出key的類型（Text類型）
? ?4.Reduce輸出value的類型（Text類型）
? ?創(chuàng)建流程
? ?1.創(chuàng)建2個(gè)私有的輸出變量
? ?2.創(chuàng)建reduce流程
3.主方法類
查看全部 -
MapReduce作業(yè)要有3個(gè)類
Mapper類??Mapper的泛型有4種類型的參數(shù)Mapper<mapper輸入的key即行號(hào)LongWritetable，mapper輸入的value類型即一行文本Text，mapper輸出的key類型Text，mapper輸出的value類型Text>
1）首先創(chuàng)建2個(gè)私有的輸出變量
2）重寫map方法（）
? ? ? 在這個(gè)方法中我們需要做什么呢（行->列,列->行）？
? ? ? 理解元數(shù)據(jù)的表示含義，并且將元數(shù)據(jù)分解成我們所需要的中間數(shù)據(jù)。
Reduce類
主方法類
查看全部 -
矩陣處理2----------矩陣相乘
查看全部 -
矩陣處理1----------將第2個(gè)矩陣行轉(zhuǎn)換成列，列轉(zhuǎn)換成行
---------轉(zhuǎn)換成功后的結(jié)果（
沒(méi)轉(zhuǎn)換前：左矩陣的行向量*右矩陣的列向量
轉(zhuǎn)換后：左矩陣的行向量*右矩陣的行向量
）
查看全部 -
矩陣處理1----------將第2個(gè)矩陣行轉(zhuǎn)換成列，列轉(zhuǎn)換成行
查看全部 -
矩陣處理1
要計(jì)算2個(gè)矩陣相乘，那么需要2個(gè)連續(xù)的MapReduce的操作相乘
查看全部
舉報(bào)