Jakie są plusy i minusy wiodących parserów HTML Java? [zamknięte]

Ogólne

Prawie wszystkie znane parsery HTML implementują W3C Dom API (część JAXP API, Java API for XML processing) i daje org.w3c.dom.Document powrót, który jest gotowy do bezpośredniego użycia przez JAXP API. Główne różnice znajdują się zwykle w cechach analizowanego parsera. Większość parserów jest do pewnego stopnia wyrozumiała i pobłażliwa dla nie-dobrze uformowanego HTML ("tagsoup"), jak JTidy, NekoHTML, Tagi i HtmlCleaner . Zazwyczaj używa się tego rodzaju parserów HTML do " uporządkowania "źródła HTML (np. zastąpienia HTML-valid <br> przez XML-valid <br />), tak aby można było przemierzać je" w zwykły sposób " za pomocą W3C DOM i JAXP API.

Jedynymi, które wyskakują są HtmlUnit i Jsoup .

HtmlUnit

HtmlUnit zapewnia całkowicie własne API, które daje możliwość działania jak przeglądarka programowo. Czyli wpisz formularz wartości, kliknij elementy, wywołaj JavaScript, itd. To znacznie więcej niż sam parser HTML. Jest to prawdziwe "narzędzie do testowania stron internetowych bez GUI" i HTML.

Jsoup

Jsoup zapewnia również całkowicie własne API. Daje możliwość wyboru elementów za pomocą jQuery-podobnie jak selektory CSS i zapewnia sprytne API do przemierzania drzewa HTML DOM, aby uzyskać interesujące elementy.

Szczególnie trawersowanie drzewa HTML DOM jest główną siłą Jsoup. Ci, którzy pracowali z org.w3c.dom.Document wiedzą, jaki to ból przemierzać DOM używając verbose NodeList oraz Node APIs. Prawda, XPath ułatwia życie, ale nadal jest to kolejna krzywa uczenia się i może skończyć się nadal gadatliwy.

Oto przykład, który używa "zwykłego" parsera DOM W3C, takiego jak JTidy w połączeniu z XPath, aby wyodrębnić pierwszy akapit twojego pytania i nazwy wszystkich odpowiedzi (używam XPath, ponieważ bez niego kod potrzebny do zebrania interesujących informacji urosłby 10 razy większy, bez pisania narzędzi / metod pomocniczych).

String url = "http://stackoverflow.com/questions/3152138";
Document document = new Tidy().parseDOM(new URL(url).openStream(), null);
XPath xpath = XPathFactory.newInstance().newXPath();

Node question = (Node) xpath.compile("//*[@id='question']//*[contains(@class,'post-text')]//p[1]").evaluate(document, XPathConstants.NODE);
System.out.println("Question: " + question.getFirstChild().getNodeValue());

NodeList answerers = (NodeList) xpath.compile("//*[@id='answers']//*[contains(@class,'user-details')]//a[1]").evaluate(document, XPathConstants.NODESET);
for (int i = 0; i < answerers.getLength(); i++) {
    System.out.println("Answerer: " + answerers.item(i).getFirstChild().getNodeValue());
}

String url = "http://stackoverflow.com/questions/3152138";
Document document = Jsoup.connect(url).get();

Element question = document.select("#question .post-text p").first();
System.out.println("Question: " + question.text());

Elements answerers = document.select("#answers .user-details a");
for (Element answerer : answerers) {
    System.out.println("Answerer: " + answerer.text());
}

Podsumowanie

Plusy i minusy każdego z nich powinny być już wystarczająco jasne. Jeśli po prostu chcesz użyć standardowego API JAXP, przejdź do pierwszej wspomnianej grupy parserów. Jest ich bardzo dużo. Który z nich wybrać zależy od funkcji, które zapewnia (w jaki sposób czyszczenie HTML jest dla ciebie łatwe? czy są jakieś słuchacze / przechwytywacze i środki czyszczące specyficzne dla tagów?) i solidność biblioteki (jak często jest aktualizowana/utrzymywana/naprawiana?). Jeśli chcesz przetestować HTML, a następnie HtmlUnit jest droga do zrobienia. Jeśli chcesz wyodrębnić określone dane z HTML (co jest bardziej niż często wymaganiem w świecie rzeczywistym), Jsoup jest dobrym rozwiązaniem.