Jak wykonać XPath one-liners z shella?

Jednym pakietem, który najprawdopodobniej zostanie zainstalowany w systemie jest już python-lxml. Jeśli tak, jest to możliwe bez instalowania dodatkowego pakietu:

python -c "from lxml.etree import parse; from sys import stdin; print '\n'.join(parse(stdin).xpath('//element/@attribute'))"

Możesz również spróbować mojego Xidel . Nie znajduje się w pakiecie w repozytorium, ale można go po prostu pobrać ze strony internetowej(nie ma zależności).

Ma prostą składnię dla tego zadania:

xidel filename.xml -e '//element/@attribute' 

I jest to jedno z rzadkich z tych narzędzi, które obsługuje XPath 2.

Saxon zrobi to nie tylko dla XPath 2.0, ale także dla XQuery 1.0 i (w wersji komercyjnej) 3.0. Nie jest to pakiet Linuksowy, ale plik jar. Składnia (którą można łatwo zawinąć w prosty skrypt) to

java net.sf.saxon.Query -s:source.xml -qs://element/attribute

W moim poszukiwaniu do zapytania maven pom.pliki xml, które uruchomiłem na to pytanie. Miałem jednak następujące ograniczenia:

• musi działać na różnych platformach.
• musi istnieć na wszystkich głównych dystrybucjach Linuksa bez dodatkowej instalacji modułu
• musi obsługiwać złożone pliki xml, takie jak maven pom.pliki xml
• składnia prosta

Próbowałem wielu z powyższych bez powodzenia:

• python lxml.etree nie jest częścią standardowego Pythona Dystrybucja
• xml.etree jest, ale nie obsługuje złożonego maven pom.pliki xml dobrze, nie wykopali wystarczająco głęboko
• python xml.etree nie obsługuje maven pom.pliki xml z nieznanego powodu
• xmllint również nie działa, core dumps często na ubuntu 12.04 "xmllint: using libxml version 20708"

Jedynym rozwiązaniem, na które natknąłem się, które jest stabilne, krótkie i działa na wielu platformach i które jest Dojrzałe, jest lib rexml wbudowany w ruby:

ruby -r rexml/document -e 'include REXML; 
     p XPath.first(Document.new($stdin), "/project/version/text()")' < pom.xml

Co zainspirowały mnie do znalezienia tego były następujące artykuły:

• Ruby / XML, XSLT i XPath Tutorial
• IBM: Ruby on Rails i XML

Możesz być również zainteresowany xsh . Posiada interaktywny tryb, w którym możesz robić co chcesz z dokumentem:

open 1.xml ;
ls //element/@id ;
for //p[@class="first"] echo text() ;

Odpowiedź Clacke ' a jest świetna, ale myślę, że działa tylko wtedy, gdy źródłem jest dobrze uformowany XML, a nie normalny HTML.

Więc zrobić to samo dla normalnej zawartości WWW-dokumenty HTML, które niekoniecznie są dobrze uformowane XML:

echo "<p>foo<div>bar</div><p>baz" | python -c "from sys import stdin; \
from lxml import html; \
print '\n'.join(html.tostring(node) for node in html.parse(stdin).xpath('//p'))"

I zamiast tego użyj html5lib (aby zapewnić takie samo parsowanie jak przeglądarki internetowe - ponieważ podobnie jak parsery przeglądarek, html5lib jest zgodny z wymaganiami parsowania w specyfikacji HTML).

echo "<p>foo<div>bar</div><p>baz" | python -c "from sys import stdin; \
import html5lib; from lxml import html; \
doc = html5lib.parse(stdin, treebuilder='lxml', namespaceHTMLElements=False); \
print '\n'.join(html.tostring(node) for node in doc.xpath('//p'))

Oprócz XML:: XSH i XML:: XSH2 istnieją pewne grep - podobne narzędzia do App::xml_grep2 oraz XML::Twig (który obejmuje xml_grep zamiast xml_grep2). Mogą one być bardzo przydatne podczas pracy na dużych lub licznych plikach XML dla szybkich onelinerów lub celów Makefile. XML::Twig jest szczególnie miły do pracy dla perl podejście Skryptowe, gdy chcesz trochę więcej przetwarzania niż $SHELL i xmllint xstlproc oferta.

Schemat numeracji w nazwy aplikacji wskazują, że " 2 " wersje są nowszymi / późniejszymi wersjami zasadniczo tego samego narzędzia, które może wymagać późniejszych wersji innych modułów (lub samego perl).

Podobnie jak odpowiedzi Mike 'a i clacke' a, tutaj jest python one-liner (używając Pythona >= 2.5), aby uzyskać wersję kompilacji z pom.plik xml, który obejdzie fakt, że pom.pliki xml zwykle nie mają dtd lub domyślnej przestrzeni nazw, więc nie są dobrze uformowane w libxml:

python -c "import xml.etree.ElementTree as ET; \
  print(ET.parse(open('pom.xml')).getroot().find('\
  {http://maven.apache.org/POM/4.0.0}version').text)"

Przetestowany na Macu i Linuksie i nie wymaga żadnych dodatkowych pakietów do zainstalowania.

Należy wspomnieć, że sama nokogiri jest dostarczana z narzędziem wiersza poleceń, które powinno być zainstalowane z gem install nokogiri.

Możesz znaleźć ten wpis na blogu przydatny .

Wypróbowałem kilka narzędzi XPath z linii poleceń i kiedy zdałem sobie sprawę, że spędzam zbyt dużo czasu na googlowaniu i zastanawianiu się, jak one działają, więc napisałem najprostszy możliwy parser XPath w Pythonie, który zrobił to, czego potrzebowałem.

Poniższy skrypt pokazuje wartość ciągu znaków, jeśli wyrażenie XPath jest przetwarzane na łańcuch znaków, lub pokazuje cały podnód XML, jeśli wynikiem jest węzeł:

#!/usr/bin/env python
import sys
from lxml import etree

tree = etree.parse(sys.argv[1])
xpath = sys.argv[2]

for e in tree.xpath(xpath):

    if isinstance(e, str):
        print(e)
    else:
        print((e.text and e.text.strip()) or etree.tostring(e))

Używa lxml - szybkiego parsera XML napisanego w C, który nie jest zawarty w standardowym Pythonie biblioteka. Zainstaluj go za pomocą pip install lxml. Na Linuksie / OSX może wymagać prefiksu z sudo.

Użycie:

python xmlcat.py file.xml "//mynode"

Lxml może również akceptować URL jako wejście:

python xmlcat.py http://example.com/file.xml "//mynode" 

Wyodrębnij atrybut url pod węzłem enclosure tj. <enclosure url="http:...""..>):

python xmlcat.py xmlcat.py file.xml "//enclosure/@url"

Xpath w Google Chrome

Jako niepowiązana uwaga: jeśli przypadkiem chcesz uruchomić wyrażenie XPath ze znacznikami strony internetowej, możesz to zrobić bezpośrednio z narzędzi DevTools Chrome: kliknij prawym przyciskiem myszy stronę w Chrome > wybierz Sprawdź, a następnie w konsoli DevTools wklej wyrażenie XPath jako $x("//spam/eggs").

Pobierz wszystkich autorów na tej stronie:

$x("//*[@class='user-details']/a/text()")

Ponieważ ten projekt jest najwyraźniej całkiem nowy, sprawdź https://github.com/jeffbr13/xq w przeciwieństwie do lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a, lxml-a]}

Oto jeden przypadek użycia xmlstarlet do wyodrębniania danych z zagnieżdżonych elementów elem1, elem2 do jednego wiersza tekstu z tego typu XML (pokazującego również, jak obsługiwać przestrzenie nazw):

<?xml version="1.0" encoding="UTF-8" standalone="yes" ?>
<mydoctype xmlns="http://xml-namespace-uri" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://xml-namespace-uri http://xsd-uri" format="20171221A" date="2018-05-15">

  <elem1 time="0.586" length="10.586">
      <elem2 value="cue-in" type="outro" />
  </elem1>

</mydoctype>

Wyjście będzie

0.586 10.586 cue-in outro

W tym fragmencie,- m dopasowuje zagnieżdżone elem2, - v wypisuje wartości atrybutów (z wyrażeniami i względną adresacją), - o dosłowny tekst, - N dodaje nową linię:

xml sel -N ns="http://xml-namespace-uri" -t -m '//ns:elem1/ns:elem2' \
 -v ../@time -o " " -v '../@time + ../@length' -o " " -v @value -o " " -v @type -n file.xml

Jeśli potrzeba więcej atrybutów z elem1, można to zrobić w ten sposób (również pokazując concat() Funkcja):

xml sel -N ns="http://xml-namespace-uri" -t -m '//ns:elem1/ns:elem2/..' \
 -v 'concat(@time, " ", @time + @length, " ", ns:elem2/@value, " ", ns:elem2/@type)' -n file.xml

Zwróć uwagę na (IMO niepotrzebne) komplikacje z przestrzeniami nazw (NS, zadeklarowane przez-N), które sprawiły, że prawie zrezygnowałem z XPath i xmlstarlet i pisałem szybki konwerter ad-hoc.