Jak rozpoznać prostokąty na tym obrazie?

Myślę, że szukasz uogólnionej transformacji Hougha.

W wizji komputerowej istnieje algorytm o nazwie uogólniona transformata Hougha, która może rozwiązać twój problem. Powinien istnieć kod open source mający zaimplementowany ten algorytm. Po prostu go poszukaj.

Zakładając, że jest to w miarę wolny od szumów obraz (a nie Wideo ekranu), jeden z prostych algorytmów floodfill powinien działać. Może być konieczne uruchomienie rozszerzenia / erozy na obrazie, aby zamknąć luki.

Normalnym sposobem znajdowania linii jest transformata Hougha ( następnie znajdowanie linii pod kątem prostym) Opencv jest najprostszym sposobem.

Spójrz na to pytanie wykrywanie obiektów OpenCV-Center Point

Istnieje kilka różnych podejść do twojego problemu. Użyłbym narzędzia do przetwarzania obrazów morfologicznych , takiego jak to . Będziesz miał elastyczność, aby zdefiniować "prostokąt" nawet coś, co nie jest "dokładnie zamknięte" (gdzie algorytm wypełnienia zawiedzie).

Inną możliwością może być użycie podejściamachine learning , które zasadniczo jest bardziej oparte na danych niż na definicji, jak poprzednie. Będziesz musiał podać swój algorytm kilka " przykładów" tego, czym jest prostokąt, i w końcu się dowie (z tendencją i wskaźnikiem błędu).

Powtarzaj od lewej do prawej, aż trafisz w kolorowy piksel, a następnie użyj zmodyfikowanego algorytmu flood fill. więcej informacji na temat algo flood fill @ wiki

Innym podejściem byłoby znalezienie dowolnego kolorowego piksela na obrazie, a następnie przejście z

while(pixel under current is colored)
{
  lowest pixel coordinate = pixel under current
  current = pixel under
}

Następnie zrób to samo w górę. teraz zdefiniowaliśmy jedną linię. następnie użyj końców linii, aby dopasować linie do prostokątów. jeśli nie są idealne do pikseli, możesz zrobić jakiś tresholding.

Flood fill będzie działać, lub można użyć modyfikacji algorytmu śledzenia krawędzi.

To co robisz to: tworzenie tablicy 2d (lub dowolnej innej struktury danych d2) - każdy wiersz reprezentuje poziomą linię pikseli na ekranie, a każda kolumna pionową linię

Iteruj przez wszystkie piksele, od lewej do prawej, a za każdym razem, gdy znajdziesz kolorowy, Dodaj jego współrzędne do tablicy

Iteracja poprzez tablicę i znajdowanie linii oraz zapisywanie piksela początkowego i końcowego dla każdego z nich (inna struktura danych)

Wiedząc, że początek każdej linii jest jej lewym / górnym pikselem, możesz łatwo sprawdzić, czy jakiekolwiek 4 linie składają się z prostokąta

Aby uzyskać z obrazka, który masz z prawie stykającymi się poziomymi i pionowymi liniami, do tylko prostokątów:

1. Konwertuj na binarne (tzn. wszystkie linie są białe, reszta jest czarna)
2. Wykonaj dylatację binarną (tutaj każdy piksel, który dotknie białego piksela w obrazie źródłowym lub jest białym pikselem w obrazie źródłowym białym. Dotyk jest tylko prosty (więc każdy piksel "dotyka" pikseli po jego lewej, prawej, nad i pod nim) nazywa się to "4-connected"
3. Powtórz krok 3 kilka razy, jeśli przerwy między końcami są większe niż 2 piksele szerokości, ale nie zbyt często!
4. wykonaj operację szkieletu (tutaj każdy piksel obrazu wyjściowego jest czarny, jeśli jest to biały piksel w obrazie źródłowym, który dotyka co najmniej jednego czarnego piksela, a białe piksele, których dotyka (w obrazie źródłowym), dotykają się nawzajem. Ponownie dotknij zdefiniowany za pomocą 4-connectedness. Zobacz przykład poniżej.
5. Powtórz krok 4, dopóki obraz nie zmieni się po a repeat (wszystkie białe piksele są końcami linii lub łącznikami)

To, przy odrobinie szczęścia, najpierw pokaże pola z grubymi liniami tłuszczu, pozostawiając grube artefakty tłuszczu na całym obrazie (po kroku 3), a następnie po kroku 5 Wszystkie grube artefakty tłuszczu zostaną usunięte, podczas gdy wszystkie pola pozostają. Aby uzyskać najlepsze wyniki, musisz tweekować liczbę powtórzeń w kroku 3. Jeśli interesuje Cię morfologia obrazu, jest to książka z naprawdę dobrego kursu wprowadzającego, który wziąłem.

Próbka: (0=Czarny, 1 = Biały, rozważane są piksele w środku każdego bloku 3x3, wejście w lewo, wyjście w prawo)

011 => 011    
011 => 001  all other white pixels touch, so eliminate      
011 => 011    

010 => 010    
010 => 010  top pixel would become disconnected, so leave      
010 => 010    

010 => 010    
010 => 000  touches only one white pixel, so remove     
000 => 000    

010 => 010    
111 => 111  does not touch black pixels, leave    
010 => 010    

010 => 010    
011 => 011  other pixels do not touch. so leave    
000 => 000