Kiedy/w jaki sposób temat "oznaczony do usunięcia" zostaje ostatecznie usunięty?

W moim przypadku, gdzie używam Kafka 8.2.2, musiałem ręcznie usunąć wpisy z poniższych -

1. Usuń folder tematyczny z maszyny Kafka broker.

2. Zaloguj się do zookeeper i -

   hbase zkcli
   rmr /brokers/topics/{topic_name}
   rmr /admin/delete_topics/{topic_name}
   

Dasz radę.

Sudo ./zookeeper-shell.sh localhost:2181 rmr /brokers/topics / your_topic

Spotkałem się z tym samym problemem i spędzić kilka dni próbując zidentyfikować się z problemem był. Uruchomiłem polecenie, aby usunąć tematy, jednak tematy zostały oznaczone do usunięcia, ale nie zostały usunięte.

1. najpierw sprawdziłem konfigurację, która jest ustawiona poprawnie. Pod: serwer.właściwości

   Usuń.temat.enable = true dla wszystkich brokerów

2. uruchomiłem ponownie brokera, aby sprawdzić, czy tematy zostały usunięte (nie!!).
3. sprawdzam brak danych pod /kafka / data folder.
4. rozważałem nawet opcję, aby poczekać, aż czas retencji zostanie przekroczony.

./zkCli.sh # and delete the topics using 
rmr /brokers/topics/<<topic>> and rmr /admin/delete_topics/<<topic>>

Pamiętaj, aby po tym ponownie uruchomić Kafkę. Mam nadzieję, że to rozwiąże twój problem.

Poprawna odpowiedź jest w rzeczywistości następująca. Lista dystrybucyjna grup użytkowników Kafka:

François Langelier * @gmail.com über kafka.apache.org 05:57 (vor 1 Stunde)

An users the delete topic is not working ATM

Myślę, że będzie on dostępny w następnym wydaniu https://issues.apache.org/jira/browse/KAFKA-1397

Mój problem był podobny. Usunąłem temat i dawał mi ten sam komunikat, gdy wymieniałem wszystkie tematy.

Załatwiłem dozorcę i pośrednika. Ustaw Usuń.temat.enable = true w moim pliku konfiguracyjnym brokera started zookeeper and the boker

Temat zniknął...podziękowania dla Jacka Laskowskiego

Dla wersji kafka 0.10.0.0 wystarczy włączyć usuwanie tematu poprzez ustawienie:

delete.topic.enable

Temat jest usuwany w kilka chwil

kafka-topics --delete --zookeeper your-zk:2181 --topic yourTopicName

Możesz potwierdzić, że go nie ma za pomocą następującego polecenia:

kafka-topics --describe --zookeeper your-zk:2181 --topic yourTopicName

Sprawdź status tematu w zookeeper

bin\windows>kafka-topics.bat --list --zookeeper localhost:2181
Output: topic shows marked for deletion

Ustawienie Usuń.temat.enable = true na serwerze .properties również nie działa.

Rozwiązanie: Sprawdź lokalizację katalogu danych zookeeper w zookeeper.Plik Właściwości. było dataDir= / tmp / zookeeper .
Problem został rozwiązany po aktualizacji "dataDir" do nowej lokalizacji.

dataDir=zk-temp
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0

Mieliśmy ten problem podczas usuwania tematów. Tematy zostały utworzone po usunięciu.temat.enable = true nie zostało ustawione. Ustawiliśmy to w config, ponownie uruchomiliśmy kafka, aby zastosować nowy config. Usunąłem tematy i zobaczyłem "zaznaczone do usunięcia". Następnie ponownie uruchomiliśmy Kafkę. Po 40 minutach wszystkie tematy zostały usunięte(9 tematów o łącznej liczbie partycji w tysiącach). Tematy z większą liczbą partycji wydawały się trwać dłużej, co początkowo sprawiało wrażenie, że nic nie było dzieje się.

Usunięcie nastąpiło u mnie niemal natychmiast (v 0.9). Uważam, że dla ciebie powinno być tak samo.

Po zaznaczeniu, usunięcie zostanie uruchomione na węźle kafka, który jest liderem partycji topic. Należy pamiętać, że lider partycji tematu musi być poprawnie skonfigurowany (pod względem słuchaczy), w przeciwnym razie nie otrzyma instrukcji usuwania dzienników.

Moje tematy" oznaczone do usunięcia " utknęły w tym stanie, dopóki nie poprawiłem serwera właściwości i ponownie uruchomił odpowiedni węzeł.

W Kafce, gdy temat zostanie zaznaczony do usunięcia, zostanie ostatecznie usunięty po 60000 milisekund.

Sprawdź nieruchomość log.segment.delete.delay.ms.

Dokumentacja mówi:

File.delete.delay.ms: czas oczekiwania przed usunięciem pliku z domyślną wartością systemu plików jest 60000 ms.