Jaki jest stan wiedzy w ekstrakcji treści HTML?

Ekstrakcja może oznaczać różne rzeczy dla różnych ludzi. To jedno, móc poradzić sobie ze wszystkimi pokręconymi HTML-ami, a piękna zupa jest wyraźnym zwycięzcą w tym dziale. Ale BS nie powie Ci, co to jest cruft, a co to jest mięso.

Rzeczy wyglądają inaczej (i brzydko), gdy rozważa się ekstrakcję treści z punktu widzenia lingwisty obliczeniowego. Analizując stronę interesuje mnie tylko konkretna treść strony, minus wszystkie nawigacja / reklama / itp. cruft. I nie można zacząć robić ciekawych rzeczy - analiza koegzystencji, odkrywanie fraz, generowanie wektorów ważonych atrybutów itp. -- dopóki nie pozbędziesz się cruft.

Pierwszy artykuł, do którego odnosi się OP, wskazuje, że to było to, co próbowali osiągnąć-przeanalizuj stronę, określ ogólną strukturę, a następnie odjmij to i Voila! masz tylko mięso , ale okazało się, że było trudniejsze, niż sądzili. Byli podchodząc do problemu z lepszej dostępności, podczas gdy byłem wczesnym poszukiwaczem egine, ale obaj doszliśmy do tego samego wniosku: {]}

Oddzielenie cruft od mięsa jest trudne. i (czytać między wierszami twojego pytania) nawet po usunięciu cruft, bez starannie zastosowanych znaczników semantycznych jest niezwykle trudno określić "intencję autora" artykułu. Uzyskanie mięsa z witryny takiej jak citeseer (czysto i przewidywalnie ułożone z bardzo wysoki stosunek sygnału do szumu) jest 2 lub 3 rzędy wielkości łatwiejsze niż radzenie sobie z losową treścią internetową.

BTW, jeśli masz do czynienia z dłuższymi dokumentami, możesz być szczególnie zainteresowany pracą wykonaną przez Marti Hearst (obecnie profesor na UC Berkely). Jej praca doktorska i inne prace na temat robienia odkryć subtopowych w dużych dokumentach dały mi dużo wglądu w robienie czegoś podobnego w mniejszych dokumentach (co, o dziwo, może być trudniejsze do z). Ale możesz to zrobić tylko po pozbyciu się cruft.

Dla nielicznych, którzy mogą być zainteresowani, oto trochę historii (prawdopodobnie Off Topic, ale jestem dziś w takim nastroju):

W latach 80-tych i 90-tych naszymi klientami były głównie agencje rządowe, których oczy były większe niż ich budżety i których marzenia sprawiały, że Disneyland wyglądał ponuro. Zbierali wszystko, co mogli dostać w swoje ręce, a następnie poszli szukać technologii srebrnej kuli, która w jakiś sposób (giant hand wave ) wyodrębnij "znaczenie" dokumentu. Racja. Znaleźli nas, ponieważ byliśmy dziwną małą firmą zajmującą się" wyszukiwaniem podobieństw treści " w 1986 roku. Daliśmy im kilka dem (prawdziwych, Nie fałszywych), które ich wystraszyły.

Jedną z rzeczy, które już wiedzieliśmy (i zajęło im dużo czasu, aby nam uwierzyć) było to, że każda kolekcja jest inna i potrzebuje własnego specjalnego skanera, aby poradzić sobie z tymi różnicami. Na przykład, jeśli wszystko, co robisz, to żarcie proste historie z gazet, życie jest dość łatwe. Nagłówek w większości mówi coś ciekawego, a historia jest napisana w stylu piramidy-pierwszy akapit lub dwa ma mięso kto / co / gdzie / kiedy, a następnie następujące paras rozwinąć na tym. Jak mówiłem, to proste.

A może artykuły z czasopism? O Boże, nie zaczynaj! Tytuły są prawie zawsze bez znaczenia, a struktura różni się od jednego magazynka do następnego, a nawet od jednej sekcji magazynka do następnej. Zdobądź kopię "Wired" i "Atlantic Monthly". Spójrz na główny artykuł i spróbuj dowiedzieć się znaczące podsumowanie 1 paragrafu tego, o czym jest artykuł. Teraz spróbuj opisać, jak program mógłby osiągnąć to samo. Czy we wszystkich artykułach obowiązuje ten sam zestaw reguł? Nawet artykuły z tego samego magazynu? Nie, Nie mają.

Przepraszam, że brzmi to jak kurdupel, ale ten problem jest naprawdę trudny .

O dziwo, wielki powód dla google jest tak samo skuteczne (z perspektywy Wyszukiwarki), że przywiązują dużą wagę do słów w linku i otaczających link z innej strony. Ten tekst linku reprezentuje rodzaj mini-podsumowania wykonanego przez człowieka witryny/strony, do której linkuje, dokładnie tego, co chcesz podczas wyszukiwania. I działa w prawie wszystkich stylach gatunku/układu informacji. To jest pozytywnie genialny wgląd i żałuję, że sam go nie miałem. Ale to nie zrobiłoby mojego klienci są dobrzy, ponieważ nie było linków z wczorajszej Moskiewskiej telewizji do jakiejś nagranej przez nich wiadomości teletypowej, lub do jakiejś źle odczytanej wersji egipskiej gazety.

/ mini-rant-and-trip-down-memory-lane