Usuń temat w Kafka 0.8.1.1

Muszę usunąć temat test w Apache Kafka 0.8.1.1.

Jak wyrażono w tutaj , wykonałem:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

Daje to jednak następujący komunikat:

Command must include exactly one action: --list, --describe, --create or --alter

Jak mogę usunąć ten temat?

Author: EmPak5, 2014-06-18

15 answers

Usuwanie tematu nie zawsze działa w 0.8.1.1

Usuwanie powinno działać w następnym wydaniu, 0.8.2

kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

  Topic your_topic_name is marked for deletion.
  Note: This will have no impact if delete.topic.enable is not set to true.

Czy można usunąć temat?

Jira KAFKA-1397

 110
Author: frank,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2016-07-26 20:04:39

Wydaje się, że polecenie usunięcia nie zostało oficjalnie udokumentowane w Kafka 0.8.1.x ze względu na znany błąd ( https://issues.apache.org/jira/browse/KAFKA-1397).

Mimo to polecenie zostało wysłane w kodzie i może być wykonane jako:

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic test

W międzyczasie błąd został naprawiony i polecenie usunięcia jest teraz oficjalnie dostępne od Kafka 0.8.2.0 jako:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test
 95
Author: Andrea,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2015-04-12 07:58:18

Dodaj poniższy wiersz w ${kafka_home}/config / server.właściwości

delete.topic.enable=true

Restart serwera kafka z nowym config:

${kafka_home}/bin/kafka-server-start.sh ~/kafka/config/server.properties

Usuń tematy, które chcesz:

${kafka_home}/bin/kafka-topics.sh --delete  --zookeeper localhost:2181  --topic daemon12
 38
Author: daemon12,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2015-12-16 06:24:20

Andrea ma rację. możemy to zrobić za pomocą wiersza poleceń.

I nadal możemy go zaprogramować, przez

ZkClient zkClient = new ZkClient("localhost:2181", 10000);
zkClient.deleteRecursive(ZkUtils.getTopicPath("test2"));

W sumie nie polecam usuwania tematu na Kafka 0.8.1.1. Mogę usunąć ten temat za pomocą tej metody, ale jeśli sprawdzisz log dla zookeeper, usuń go.

 10
Author: Liang,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2014-12-12 22:09:40

Możesz usunąć konkretny temat Kafki (przykład: test) z polecenia zookeeper Shell (zookeeper-shell.sh). Użyj poniższego polecenia, aby usunąć temat

rmr {path of the topic}

Przykład:

rmr /brokers/topics/test
 4
Author: user1293543,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2015-11-16 16:52:28

Kroki, aby usunąć 1 lub więcej tematów w Kafka

Aby usuwać tematy w kafka należy włączyć opcję delete na serwerze Kafka.

1. Go to {kafka_home}/config/server.properties
2. Uncomment delete.topic.enable=true

Usuń jeden temat w Kafce wprowadź następujące polecenie

Kafka-topics.sh --delete --zookeeper localhost: 2181 --topic

Aby usunąć więcej niż jeden temat z kafka

(dobre do celów testowych, gdzie stworzyłem wiele tematów i musiałem je usunąć dla różnych scenariuszy)

  1. Zatrzymaj Serwer Kafka i Zookeeper
  2. przejdź do folderu /tmp, w którym przechowywane są dzienniki i usuń ręcznie folder kafkalogs i zookeeper
  3. Uruchom ponownie serwer zookeeper i kafka i spróbuj wyświetlić listę tematów,

Bin/kafka-topics.sh --list --zookeeper localhost: 2181

Jeśli nie ma tematów na liście, to wszystkie tematy zostały pomyślnie usunięte.Jeśli tematy są wymienione, usunięcie nie powiodło się. Spróbuj ponownie wykonać powyższe kroki lub uruchom ponownie komputer.

 4
Author: CodeUrLife,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2017-08-27 09:20:31

Ten krok usunie wszystkie tematy i dane

  • Zatrzymaj Kafka-serwer i Zookeeper-Serwer
  • Usuń katalogi danych tmp obu usług, domyślnie są C:/tmp/kafka-logs oraz C:/tmp/zookeeper.
  • następnie uruchom Zookeeper-server i Kafka-server
 2
Author: Venkatesh Boya,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2015-02-10 12:17:55

Polecenie:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

Niestety tylko zaznacza temat do usunięcia.

Usunięcie nie następuje.

To sprawia problemy podczas testowania skryptów, które przygotowują konfigurację Kafki.

Połączone wątki:

 2
Author: Seweryn Habdank-Wojewódzki,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2017-05-23 11:54:47

Dodając do powyższych odpowiedzi należy usunąć metadane związane z tym tematem w ścieżce offsetowej zookeeper consumer.

bin/zookeeper-shell.sh zookeeperhost:port

rmr /consumers/<sample-consumer-1>/offsets/<deleted-topic>

W przeciwnym razie opóźnienie będzie ujemne w kafka - narzędzia monitorujące oparte na zookeeper.

 1
Author: Knight71,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2016-05-12 12:47:25

Jak wspomniano w doc tutaj

Opcja usuwania tematu jest domyślnie wyłączona. Aby go włączyć Ustaw konfigurację serwera usunąćtemat.enable = true Kafka nie obsługuje obecnie zmniejszania liczby partycji dla danego tematu ani zmiany współczynnika replikacji.

Upewnij się usuń.temat.enable = true

 1
Author: abmd,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2016-09-07 21:26:34
bin/kafka-topics.sh –delete –zookeeper localhost:2181 –topic <topic-name>
 1
Author: Avinav Mishra,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2019-07-04 01:24:58

Jeśli masz problemy z usunięciem tematów, spróbuj usunąć temat za pomocą:

$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

Polecenie. Następnie, aby zweryfikować proces usuwania, przejdź do katalogu kafka logs, który zwykle znajduje się w /tmp/kafka-logs/, a następnie usuń plik your_topic_name za pomocą polecenia rm -rf your_topic_name.

Pamiętaj, aby monitorować cały proces za pomocą narzędzia kafka management, takiego jak Kafka Tool.

Wspomniany wyżej proces usunie tematy bez restartu serwera kafka.

 0
Author: Vahid F,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2018-07-07 10:58:05

Krok 1: Upewnij się, że jesteś podłączony do zookeeper i Kafka running

Krok 2: aby usunąć temat Kafka Uruchom Kafka-topic (Mac) lub Kafka-topic.sh jeśli używasz (linux / Mac) Dodaj port i --topic z nazwą twojego tematu i -- delete to po prostu usuń temat z sukcesem.

# Delete the kafka topic
# it will delete the kafka topic
kafka-topics --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete
# or
kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete
 0
Author: Black_Dreams,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2019-02-13 14:15:04

Najpierw uruchom to polecenie, aby usunąć temat:

$ bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic <topic_name>

Lista aktywnych tematów do sprawdzenia Usuń CAŁKOWICIE:

$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092
 0
Author: yuen26,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2019-07-03 09:09:03

Istnieje rozwiązanie bez dotykania tych bin/kafka-*.sh: Jeśli masz zainstalowany kafdrop, po prostu zrób:

url -XPOST http://your-kafdrop-domain/topic/THE-TOPIC-YOU-WANT-TO-DELETE/delete
 0
Author: ch271828n,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2021-02-02 02:48:18