我正在研究識別手勢的Unity-Android應(yīng)用程序。我用來訓(xùn)練模型的圖像是50x50 黑白圖像，手部通過HSV 值進(jìn)行分割?，F(xiàn)在，在測試模型時也進(jìn)行了同樣的操作，但問題是：當(dāng)相機中沒有手時，它仍然會檢測到某些東西（任何東西 - 通過移動相機），因為 HSV 不準(zhǔn)確，并且當(dāng)圖像（沒有手） ) 被提供給模型，它仍然給出了80%+ 的準(zhǔn)確率，并為其確定了一個隨機類。訓(xùn)練模型的圖像和代碼被鏈接下來。我正在使用TensorflowSharp加載我的模型。對于 openCV，我使用OpenCV for Unity 我有4 個手勢（4 個類），其中每個類有 4-4.5k 個圖像，總共 17k 個圖像。樣本圖片1級2級3級4級如果您需要任何其他信息，請告訴我，我們將不勝感激。我已經(jīng)嘗試過手部檢測模型，因此它可以檢測到什么時候沒有手，但它們并不準(zhǔn)確。我已經(jīng)嘗試從用戶輸入觸摸他的手所在的位置，它工作正常但是當(dāng)手被移開時它再次開始隨機檢測，因為 HSV。我嘗試通過 SIFT 等進(jìn)行特征匹配，但它們非常昂貴。我嘗試了模板匹配，從我的角度來看，它應(yīng)該有效，但給出了一些奇怪的結(jié)果。
1 回答
慕仙森
TA貢獻(xiàn)1827條經(jīng)驗 獲得超8個贊
根據(jù)我的說法，基本問題是您無法檢測圖像中是否存在手。你需要定位手。
首先，我們需要檢測手是否存在。您可以嘗試Siamese 網(wǎng)絡(luò)來完成這些任務(wù)。我已經(jīng)成功地使用它們來檢測皮膚異常。您可以參考這個 -> Harshall Lamba https://link.medium.com/xrCQOD8ntV的“使用 Keras 的 Siamese 網(wǎng)絡(luò)的一次性學(xué)習(xí)”和 Harshvardhan Gupta 的“PyTorch 中的 Siamese 網(wǎng)絡(luò)的面部相似性” https://link.medium .com/htBzNmUCyV
網(wǎng)絡(luò)將給出二進(jìn)制輸出。如果手存在，則將看到更接近 1 的值。否則，將看到接近零的值。
其他，像 YOLO 這樣的 ML 模型用于對象定位，但 Siamese 網(wǎng)絡(luò)簡單而清醒。
Siamese 網(wǎng)絡(luò)實際上使用相同的 CNN，因此它們是 siamese 或 conjoined。他們測量圖像嵌入之間的絕對誤差，并嘗試近似圖像之間的相似度函數(shù)。
之后，進(jìn)行適當(dāng)?shù)臋z測，就可以進(jìn)行分類。
- 1 回答
- 0 關(guān)注
- 98 瀏覽
添加回答
舉報
0/150
提交
取消