Wyodrębnij dane ze strony internetowej za pomocą PHP

To się nazywa screen scraping, na wypadek, gdybyś musiał wygooglować.

Sugerowałbym zamiast tego użycie parsera dom i wyrażeń xpath. Podaj najpierw kod HTML przez HtmlTidy, aby upewnić się, że jest to poprawny znacznik.

Na przykład:

$html = file_get_contents("http://www.example.com");
$html = tidy_repair_string($html);
$doc = new DomDocument();
$doc->loadHtml($html);
$xpath = new DomXPath($doc);
// Now query the document:
foreach ($xpath->query('//table[@class="pricing"]/th') as $node) {
  echo $node, "\n";
}

What ever you do: nie używaj wyrażeń regularnych do analizowania HTML lub złe rzeczy się wydarzą . Zamiast tego użyj parsera .

Pierwszy, zadając to pytanie, wchodzi zbyt w szczegóły. 2nd, wydobywanie danych ze strony internetowej może nie być uzasadnione. Mam jednak podpowiedzi:

1. Użyj Firebug lub Chrome / Safari Inspector, aby zbadać zawartość HTML i wzór interesujących informacji

2. Sprawdź swoje wyrażenia regularne, aby sprawdzić, czy pasuje. Może być konieczne zrobienie tego wiele razy (parsowanie/ekstrakcja wieloprzebiegowa)

3. Napisz klienta przez cURL lub nawet znacznie prostsze, użyj file_get_contents (zauważ, że niektóre hosting wyłącz wczytywanie adresów URL z file_get_contents)

Dla mnie lepiej użyć Tidy, aby przekonwertować na poprawny XHTML, a następnie użyć XPath, aby wyodrębnić dane, zamiast RegEx. Dlaczego? Ponieważ XHTML nie jest regularny, a XPath jest bardzo elastyczny. Możesz nauczyć się przekształcać XSLT.

Powodzenia!

Prawdopodobnie najlepiej będzie załadować kod HTML do parsera DOM jak ten i szukanie tabeli "cennik". Jednak każdy rodzaj skrobania może ulec złamaniu za każdym razem, gdy zmienią układ strony i prawdopodobnie jest nielegalny bez ich zgody.

Najlepszym sposobem byłoby jednak porozmawianie z ludźmi, którzy prowadzą witrynę, i sprawdzenie, czy mają alternatywne, bardziej niezawodne formy dostarczania danych(Usługi internetowe, RSS lub eksport baz danych przychodzą na myśl).

Najprostsza metoda wyodrębniania danych ze strony internetowej. Przeanalizowałem, że wszystkie moje dane są objęte tylko tagiem, więc przygotowałem ten.

<?php
    include(‘simple_html_dom.php’);
        // Create DOM from URL, paste your destined web url in $page 
        $page = ‘http://facebook4free.com/category/facebookstatus/amazing-facebook-status/’;
        $html = new simple_html_dom();

       //Within $html your webpage will be loaded for further operation
        $html->load_file($page);

        // Find all links
        $links = array();
        //Within find() function, I have written h3 so it will simply fetch the content from <h3> tag only. Change as per your requirement.
       foreach($html->find(‘h3′) as $element) 
        {
            $links[] = $element;
        }
        reset($links);
        //$out will be having each of HTML element content you searching for, within that web page
        foreach ($links as $out) 
        {
            echo $out;
        }                

?>