Wyrażenie regularne do wyodrębniania tekstu z HTML

Usuń javascript i CSS:

<(script|style).*?</\1>

Usuń tagi

<.*?>

Potrzebne jest rozwiązanie regex (w php), które zwróci zwykły tekst równie dobrze (lub lepiej niż) PHPSimpleDOM, tylko znacznie szybciej. Oto rozwiązanie, które wymyśliłem:

function plaintext($html)
{
    // remove comments and any content found in the the comment area (strip_tags only removes the actual tags).
    $plaintext = preg_replace('#<!--.*?-->#s', '', $html);

    // put a space between list items (strip_tags just removes the tags).
    $plaintext = preg_replace('#</li>#', ' </li>', $plaintext);

    // remove all script and style tags
    $plaintext = preg_replace('#<(script|style)\b[^>]*>(.*?)</(script|style)>#is', "", $plaintext);

    // remove br tags (missed by strip_tags)
    $plaintext = preg_replace("#<br[^>]*?>#", " ", $plaintext);

    // remove all remaining html
    $plaintext = strip_tags($plaintext);

    return $plaintext;
}

Kiedy testowałem to na niektórych skomplikowanych stronach (fora wydają się zawierać niektóre z trudniejszych do przetworzenia html), ta metoda zwróciła ten sam wynik co tekst jawny phpsimpledom, tylko znacznie, znacznie szybciej. Poprawnie obsĹ 'ugiwaĺ' rĂłwnieĹź elementy listy (znaczniki li), gdzie PHPSimpleDOM nie.

Co do prędkość:

• Czas generowania: 0.03248 sek.
• RegEx: 0.00087 sek.

37 razy szybciej!

Kontemplowanie tego za pomocą wyrażeń regularnych jest zniechęcające. Rozważałeś XSLT? Wyrażenie XPath, aby wyodrębnić wszystkie węzły tekstowe w dokumencie XHTML, minus zawartość skryptu i stylu, to:

//body//text()[not(ancestor::script)][not(ancestor::style)]

Oto funkcja do usuwania nawet najbardziej złożonych znaczników html.

function strip_html_tags( $text ) 
{

$text = preg_replace(
    array(
        // Remove invisible content
        '@<head[^>]*?>.*?</head>@siu',
        '@<style[^>]*?>.*?</style>@siu',
        '@<script[^>]*?.*?</script>@siu',
        '@<object[^>]*?.*?</object>@siu',
        '@<embed[^>]*?.*?</embed>@siu',
        '@<applet[^>]*?.*?</applet>@siu',
        '@<noframes[^>]*?.*?</noframes>@siu',
        '@<noscript[^>]*?.*?</noscript>@siu',
        '@<noembed[^>]*?.*?</noembed>@siu',

        // Add line breaks before & after blocks
        '@<((br)|(hr))@iu',
        '@</?((address)|(blockquote)|(center)|(del))@iu',
        '@</?((div)|(h[1-9])|(ins)|(isindex)|(p)|(pre))@iu',
        '@</?((dir)|(dl)|(dt)|(dd)|(li)|(menu)|(ol)|(ul))@iu',
        '@</?((table)|(th)|(td)|(caption))@iu',
        '@</?((form)|(button)|(fieldset)|(legend)|(input))@iu',
        '@</?((label)|(select)|(optgroup)|(option)|(textarea))@iu',
        '@</?((frameset)|(frame)|(iframe))@iu',
    ),
    array(
        ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ',
        "\n\$0", "\n\$0", "\n\$0", "\n\$0", "\n\$0", "\n\$0",
        "\n\$0", "\n\$0",
    ),
    $text );

// Remove all remaining tags and comments and return.
return strip_tags( $text );
    }

Używając składni Perla do definiowania wyrażeń regularnych, początek może być następujący:

!<body.*?>(.*)</body>!smi

Następnie stosując następujące zastąpienie do wyniku tej grupy:

!<script.*?</script>!!smi
!<[^>]+/[ \t]*>!!smi
!</?([a-z]+).*?>!!smi
/<!--.*?-->//smi

To oczywiście nie sformatuje rzeczy ładnie jako plik tekstowy, ale usuwa cały HTML(w większości przypadków jest kilka przypadków, w których może to nie działać prawidłowo). Lepszym pomysłem jest jednak użycie parsera XML w dowolnym języku, którego używasz, aby poprawnie przeanalizować HTML i wyodrębnić z niego tekst.

Jeśli używasz PHP, spróbuj prostego HTML DOM, dostępnego na SourceForge.

W Przeciwnym Razie Google html2text, a znajdziesz wiele implementacji dla różnych języków, które zasadniczo używają serii wyrażeń regularnych, aby wyssać wszystkie znaczniki. Bądź ostrożny, ponieważ czasem można pozostawić znaczniki bez zakończeń, a także znaki specjalne, takie jak & (czyli&).

Uważaj również na komentarze i Javascript, ponieważ uważam, że jest to szczególnie denerwujące, aby radzić sobie z wyrażeniami regularnymi i dlaczego generalnie wolę pozwolić darmowemu parserowi wykonać całą pracę za mnie.

No sure ta strona może pomóc.

Najprostszy sposób na prosty HTML (przykład w Pythonie):

text = "<p>This is my> <strong>example</strong>HTML,<br /> containing tags</p>"
import re
" ".join([t.strip() for t in re.findall(r"<[^>]+>|[^<]+",text) if not '<' in t])

Zwraca to:

'This is my> example HTML, containing tags'

Nie możesz po prostu użyć kontrolki WebBrowser dostępnej w C#?

        System.Windows.Forms.WebBrowser wc = new System.Windows.Forms.WebBrowser();
        wc.DocumentText = "<html><body>blah blah<b>foo</b></body></html>";
        System.Windows.Forms.HtmlDocument h = wc.Document;
        Console.WriteLine(h.Body.InnerText);

string decode = System.Web.HttpUtility.HtmlDecode(your_htmlfile.html);
                Regex objRegExp = new Regex("<(.|\n)+?>");
                string replace = objRegExp.Replace(g, "");
                replace = replace.Replace(k, string.Empty);
                replace.Trim("\t\r\n ".ToCharArray());

then take a label and do "label.text=replace;" see on label out put

.

I believe you can just do

document.body.innerText

Który zwróci zawartość wszystkich węzłów tekstu w dokumencie, widocznych lub nie.

[edit (olliej): sigh nevermind, to działa tylko w Safari i IE, a mi nie przeszkadza ściąganie Firefoksa, żeby sprawdzić czy istnieje w bagażniku : -/]