Jak zdefiniować znaczniki Watershed w OpenCV?

Chciałbym wyjaśnić prosty kod, Jak korzystać z watershed tutaj. Używam OpenCV-Python, ale mam nadzieję, że nie będziesz miał trudności ze zrozumieniem.

W tym kodzie użyję watershed jako narzędzia do ekstrakcji foreground-background. (ten przykład jest odpowiednikiem kodu C++ w OpenCV cookbook). Jest to prosty przypadek do zrozumienia. Poza tym możesz użyć watershed, aby zliczyć liczbę obiektów na tym obrazie. To będzie nieco zaawansowana wersja tego kodu.

1 - najpierw załadujemy nasz obraz, przekonwertujemy go na skalę szarości i dodajemy odpowiednią wartość. Wziąłem binaryzację Otsu , aby znaleźć najlepszą wartość progową.

import cv2
import numpy as np

img = cv2.imread('sofwatershed.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
ret,thresh = cv2.threshold(gray,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)

Poniżej otrzymałem wynik:

( nawet ten wynik jest dobry, ponieważ świetny kontrast między obrazami pierwszego planu i tła)

2 - Teraz musimy stworzyć znacznik. znacznik jest obrazem o tej samej wielkości podobnie jak oryginalny obraz, który jest 32SC1 (32 bit signed single channel).

Teraz na oryginalnym obrazie pojawią się regiony, w których będziesz po prostu pewien, że ta część należy do pierwszego planu. Zaznacz taki obszar za pomocą 255 na obrazku znacznika. Teraz region, w którym na pewno będziesz tłem, jest oznaczony liczbą 128. Region, którego nie jesteś pewien, jest oznaczony jako 0. To zrobimy teraz.

A-region pierwszoplanowy: - mamy już obraz progu, w którym są koloru białego. Erodujemy je trochę, tak, że jesteśmy pewni, że pozostały region należy do pierwszego planu.

fg = cv2.erode(thresh,None,iterations = 2)

Fg :

B-obszar tła: - tutaj rozszerzamy próg obrazu, aby zmniejszyć obszar tła. Ale jesteśmy pewni, że pozostały czarny region to 100% tło. Ustawiliśmy na 128.

bgt = cv2.dilate(thresh,None,iterations = 3)
ret,bg = cv2.threshold(bgt,1,128,1)

Teraz otrzymujemy bg następująco:

C - teraz dodajemy zarówno fg jak i bg :

marker = cv2.add(fg,bg)

Poniżej otrzymujemy :

Teraz możemy wyraźnie zrozumieć z powyższego obrazu, że biały obszar to 100% pierwszy plan, szary obszar to 100% tło, a czarny obszar nie jesteśmy pewni.

Następnie zamieniamy go na 32SC1:

marker32 = np.int32(marker)

3-W końcu zastosujemy i przekonwertujemy wynik z powrotem na uint8 image:

cv2.watershed(img,marker32)
m = cv2.convertScaleAbs(marker32)

M:

4 - we threshold it right to get maska i wykonaj {[7] } z obrazem wejściowym:

ret,thresh = cv2.threshold(m,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)
res = cv2.bitwise_and(img,img,mask = thresh)

Res:

Mam nadzieję, że to pomoże!!!

ARK

Przedmowa

Włączam się głównie dlatego, że zarównowatershed tutorial w dokumentacji OpenCV (iC++ example ), jak iodpowiedź mmgp powyżej jest dość myląca. Wielokrotnie powracałem do przełomowego podejścia, aby ostatecznie zrezygnować z frustracji. W końcu zdałem sobie sprawę, że muszę przynajmniej spróbować tego podejścia i zobaczyć go w akcji. To jest to, co wymyśliłem po uporządkowaniu wszystkich samouczków, które mam natknąć się.

Poza byciem początkującym komputerowym widzeniem, większość moich problemów prawdopodobnie miała związek z moim wymogiem używania biblioteki OpenCVSharp zamiast Pythona. C# nie ma takich operatorów jak te Znalezione w NumPy (choć zdaję sobie sprawę, że zostało to przeportowane przez IronPython), więc ciężko mi było zrozumieć i zaimplementować te operacje w C#. Ponadto, dla przypomnienia, naprawdę gardzę niuansami i niespójnościami w większości z tych wywołania funkcji. OpenCVSharp jest jedną z najbardziej kruchych bibliotek, z którymi pracowałem. Ale hej, to port, więc czego się spodziewałem? Najlepsze jest to, że jest za darmo.

Bez zbędnych ceregieli, porozmawiajmy o mojej implementacji opencvsharp w watershed i miejmy nadzieję, że wyjaśnię niektóre bardziej stickerowe punkty implementacji watershed w ogóle.

Zastosowanie

Przede wszystkim upewnij się, że watershed jest tym, czego chcesz i zrozum jego użycie. Używam poplamione płytki komórkowe, jak ta:

1. zacznij od obrazu źródłowego( w lewo, przycięty do celów demonstracyjnych)
2. odizoluj czerwony kanał (lewy środkowy)
3. Apply Adaptive threshold (right middle)
4. Znajdź kontury, a następnie wyeliminuj te z małymi obszarami (po prawej)

Po oczyszczeniu konturów wynikających z powyższych operacji progowych, nadszedł czas, aby znaleźć kandydatów do rozlewu wody. W moim przypadku po prostu przeszedłem przez wszystkie kontury większe niż określony obszar.

Kod

Powiedzmy, że odizolowaliśmy to kontur z powyższego pola jako nasz ROI:

Zaczniemy od pustej Maty i narysujemy tylko kontur określający nasz zwrot z inwestycji:

var isolatedContour = new Mat(source.Size(), MatType.CV_8UC1, new Scalar(0, 0, 0));
Cv2.DrawContours(isolatedContour, new List<List<Point>> { contour }, -1, new Scalar(255, 255, 255), -1);

Aby zadzwonić do działu wodnego do pracy, będzie potrzebował kilku "wskazówek" na temat zwrotu z inwestycji. Jeśli jesteś kompletnym początkującym jak ja, polecam zajrzeć na stronę CMM watershed page dla szybkiego podkładu. Wystarczy powiedzieć, że stworzymy podpowiedzi po lewej stronie, tworząc kształt po prawej:

var kernel = Cv2.GetStructuringElement(MorphShapes.Ellipse, new Size(2, 2));
var background = new Mat();
Cv2.Dilate(isolatedContour, background, kernel, iterations: 8);

Aby utworzyć czarną część w środku( lub "na pierwszym planie"), użyjemy transformacji odległości, po której następuje próg, który przenosi nas od kształtu po lewej do kształtu po prawej:

To wymaga kilku kroków, a Ty może być konieczne pobranie dolnej granicy progu, aby uzyskać wyniki, które działają dla Ciebie]}

var foreground = new Mat(source.Size(), MatType.CV_8UC1);
Cv2.DistanceTransform(isolatedContour, foreground, DistanceTypes.L2, DistanceMaskSize.Mask5);
Cv2.Normalize(foreground, foreground, 0, 1, NormTypes.MinMax); //Remember to normalize!

foreground.ConvertTo(foreground, MatType.CV_8UC1, 255, 0);
Cv2.Threshold(foreground, foreground, 150, 255, ThresholdTypes.Binary);

Następnie odejmujemy te dwie maty, aby uzyskać ostateczny wynik naszego kształtu "podpowiedzi":

var unknown = new Mat(); //this variable is also named "border" in some examples
Cv2.Subtract(background, foreground, unknown);

Ponownie, jeśli Cv2.ImShow unknown , wyglądałoby to tak:

0 0 0 0 0 0 0 0 0
0 1 0 1 0 2 2 2 0
0 1 0 1 0 0 2 0 0 
0 1 1 1 0 0 2 0 0
0 1 0 1 0 0 2 0 0
0 1 0 1 0 2 2 2 0
0 0 0 0 0 0 0 0 0

Zatem 0 to tło, 1 to litera "H", A 2 to litera"I". (Jeśli dojdziesz do tego punktu i chcesz wizualizować swoją matrycę, polecam sprawdzenie tej pouczającej odpowiedzi.) Teraz, oto jak wykorzystamy ConnectedComponents do tworzenia znaczników (lub etykiet) dla wątek:

var labels = new Mat(); //also called "markers" in some examples
Cv2.ConnectedComponents(foreground, labels);
labels = labels + 1;

//this is a much more verbose port of numpy's: labels[unknown==255] = 0
for (int x = 0; x < labels.Width; x++)
{
    for (int y = 0; y < labels.Height; y++)
    {
        //You may be able to just send "int" in rather than "char" here:
        var labelPixel = (int)labels.At<char>(y, x);    //note: x and y are inexplicably 
        var borderPixel = (int)unknown.At<char>(y, x);  //and infuriatingly reversed

        if (borderPixel == 255)
            labels.Set(y, x, 0);
    }
}

Zauważ, że funkcja Watershed wymaga, aby obszar graniczny był oznaczony przez 0. Tak więc ustawiliśmy dowolne piksele obramowania na 0 w tablicy etykiet/znaczników.

W tym momencie powinniśmy być gotowi do wywołania Watershed. Jednak w mojej konkretnej aplikacji przydatne jest tylko wizualizacja niewielkiej części całego obrazu źródłowego podczas tego wywołania. To może być opcjonalne dla ciebie, ale najpierw zamaskuję mały fragment źródła, rozszerzając go: {]}

var mask = new Mat();
Cv2.Dilate(isolatedContour, mask, new Mat(), iterations: 20);
var sourceCrop = new Mat(source.Size(), source.Type(), new Scalar(0, 0, 0));
source.CopyTo(sourceCrop, mask);

I wtedy wykonaj magiczny Telefon:

Cv2.Watershed(sourceCrop, labels);

Wyniki

Powyższe wywołanie Watershed zmieni labels na miejscu . Będziesz musiał wrócić do pamiętania o matrycy wynikającej z ConnectedComponents. Różnica polega na tym, że jeśli wododział znajdzie jakieś zapory między wodami, będą one oznaczone jako " -1 " w tej macierzy. Podobnie jak wynik ConnectedComponents, różne zbiorniki wodne będą oznaczone w podobny sposób przyrostami liczb. Dla swoich celów, chciałem przechowywać je w osobnych kontury, więc stworzyłem tę pętlę, aby je rozdzielić:

var watershedContours = new List<Tuple<int, List<Point>>>();

for (int x = 0; x < labels.Width; x++)
{
    for (int y = 0; y < labels.Height; y++)
    {
        var labelPixel = labels.At<Int32>(y, x); //note: x, y switched 

        var connected = watershedContours.Where(t => t.Item1 == labelPixel).FirstOrDefault();
        if (connected == null)
        {
            connected = new Tuple<int, List<Point>>(labelPixel, new List<Point>());
            watershedContours.Add(connected);
        }
        connected.Item2.Add(new Point(x, y));

        if (labelPixel == -1)
            sourceCrop.Set(y, x, new Vec3b(0, 255, 255));

    }
}

var watershed = new Mat(source.Size(), MatType.CV_8UC3, new Scalar(0, 0, 0));
foreach (var component in watershedContours)
{
    if (component.Item2.Count < (labels.Width * labels.Height) / 4 && component.Item1 >= 0)
    {
        var color = GetRandomColor();
        foreach (var point in component.Item2)
            watershed.Set(point.Y, point.X, color);
    }
}

Co daje następujące po pokazaniu:

Jeśli narysujemy na źródłowym obrazie zapory, które wcześniej oznaczono a -1, otrzymamy to:

Edits:

Zapomniałem zauważyć: upewnij się, że czyścisz maty po skończyłeś z nimi. Pozostaną w pamięci, a OpenCVSharp może wyświetlać niezrozumiały komunikat o błędzie. Naprawdę powinienem używać using powyżej, ale {[22] } jest również opcją.

Odpowiedź mmgp powyżej zawiera również tę linię: dt = ((dt - dt.min()) / (dt.max() - dt.min()) * 255).astype(numpy.uint8), która jest histogramem rozciągającym stosowanym do wyników transformacji odległości. Pominąłem ten krok z wielu powodów (głównie dlatego, że nie sądziłem, że histogramy, które widziałem, są zbyt wąskie, aby zacząć), ale twój przebieg może / align = "left" /