Dopasowanie i przejrzystość szablonów OpenCV

Mam nieco bardziej obumarłe rozwiązanie tego problemu, które wydaje się działać w miarę dobrze: zastąpić kanał alfa szablonu obrazem szumem, co mniej więcej sprawia, że przezroczyste regiony statystycznie nieistotne podczas procesu dopasowywania.

Na przykład mój przypadek użycia polegał na wyszukiwaniu znaków emoji w zrzutach ekranu z iOS. Tło klawiatury iOS zmienia kolory w zależności od kontekstu, co sprawia, że proces dopasowania jest problematyczny, jeśli Zatwierdź konkretny kolor tła w obrazie szablonu.

Oto surowy obraz szablonu na Alfie:

Oto przetworzony szablon z szumem wypełniającym kanał alfa:

Przesłałem przetworzony obraz szablonu za pomocą szablonu dopasowanego do przykładowego kodu podanego w dokumentacji OpenCV. Na ciemnym lub jasnym tle, dopasowanie jest Znalezione z rozsądną pewnością siebie.

Searching on dark tła:

Wyszukiwanie na jasnym tle:

Dla porównania, pozostawienie przeźroczystego kanału alfa szablonu - lub oddanie ciemnego lub jasnego tła-nie zwróciło akceptowalnych dopasowań.

OpenCV 3.0 oferuje natywne wsparcie dla dopasowania szablonów z maskowanymi szablonami. Zobacz Nowa dokumentacja :

Parametry:

Obraz ...

Templ ...

Wynik ...

Metoda ...

Maska Maska wyszukiwanego szablonu. Musi mieć ten sam typ danych i rozmiar z templ. Nie jest ustawiony domyślnie.

[Lekka Dygresja]

Zwróć uwagę, że szablon pasujący do maskowanego obrazy referencyjne (większy obraz) nie są jednak możliwe. I to ma sens, biorąc pod uwagę, że OpenCV wykorzystuje dopasowanie szablonów oparte na FFT.

Dlatego, jeśli chcesz dopasować szablon tylko w określonych regionach obrazów referencyjnych, musisz zaimplementować własną metodę lub zamaskować wyjście CV:: matchTemplate.

Wdrożenie go od podstaw powinno zrekompensować przypadki, w których chcemy wyszukać szablon tylko w bardzo konkretnych regionach (np. narożniki).

Opcja SQDIFF/SQDIFF_N będzie rozwiązaniem, jeśli spróbujesz zastąpić kanał alfa czarnym kolorem RGB. Przynajmniej to było moje rozwiązanie tego samego problemu. Z mojego wyniku wynika, że ta metoda jest wrażliwa na jaśniejsze wartości pikseli, i skorzystałem z okazji.

Myślę, że próbujesz zrobić to, co w OpenCV nazywa się dopasowaniem szablonu z maską. Myślę, że możesz spróbować ustawić ROI (region of interest) na szablonie. to pytanie pokazuje jak to zrobić . (zauważ, że w tym pytaniu zwrot z inwestycji jest ustawiany na obrazie docelowym, a nie na szablonie, ale procedura jest taka sama).

Nie jestem pewien, ale kanał przezroczystości jest traktowany jak każdy inny kanał. Jeśli piksel w szablonie jest "przezroczysty", powinien być również" przezroczysty " na głównym obrazie. Tylko zgaduję.

Natknąłem się na ten sam problem i wymyśliłem rozwiązanie. Ponieważ referenceImageMask i templateMask mają 1s w dobrych pikselach i 0s w złych. I że referenceImage i templateImage zostały już zamaskowane i mają 0s w złych pikselach, jak również.

Wtedy, pierwszy wynik dopasowania szablonu Da nie znormalizowaną korelację krzyżową między obrazami. Jednak kilka pikseli było zero.

Drugi szablon dopasowania Da dla każdego możliwe przesunięcie liczby pikseli, które jednocześnie różniły się od zera (zdemaskowane) w obu obrazach.

Następnie normalizacja korelacji przez tę liczbę powinna dać wartość, którą chciałeś (i ja). Przeciętny produkt dla Pikseli, które nie są zamaskowane w obu obrazach.

Image<Gray, float> imCorr = referenceImage.MatchTemplate(templateImage,      Emgu.CV.CvEnum.TM_TYPE.CV_TM_CCORR);
Image<Gray, float> imCorrMask = referenceImageMask.MatchTemplate(templateMask, Emgu.CV.CvEnum.TM_TYPE.CV_TM_CCORR);
_imCorr = _imCorr.Mul(_imCorrMask.Pow(-1));

Aktualizacja: w rzeczywistości To rozwiązanie nie działa. Ponieważ implementacja korelacji krzyżowej w opencv używa DFT będą problemy numeryczne i nie można użyć drugiego crosscorrelation do poprawienia pierwszego.