Projektowanie web crawler

Podczas gdy wszyscy tutaj już zasugerowali, jak stworzyć swój web crawler, oto jak Google plasuje strony.

Google daje każdej stronie ranking na podstawie liczby linków zwrotnych (ile linków na innych stronach internetowych wskazuje na konkretną stronę/stronę). To się nazywa ocena trafności. Wynika to z faktu, że jeśli strona ma wiele innych stron link do niego, prawdopodobnie jest to ważna strona.

Każda strona / strona jest postrzegana jako węzeł na wykresie. Linki do innych stron są kierowane krawędzie. Stopień wierzchołka definiuje się jako liczbę przychodzących krawędzi. Węzły z większą liczbą przychodzących krawędzi są klasyfikowane wyżej.

Oto jak określa się PageRank. Załóżmy, że strona Pj ma linki Lj. Jeśli jeden z tych linków jest do strony Pi, to Pj przekaże 1 / Lj swojego znaczenia Pi. Ranking znaczenia Pi jest wtedy sumą wszystkich wkładów wniesionych przez strony linkujące do niego. Więc jeśli oznaczamy zbiór stron linkujących do Pi przez Bi, to mamy to Formuła:

Importance(Pi)= sum( Importance(Pj)/Lj ) for all links from Pi to Bi

Szeregi są umieszczone w macierzy zwanej macierzą hiperłącza: H [i, j]

Wiersz w tej macierzy jest albo 0, albo 1 / Lj, jeśli istnieje łącze od Pi do Bi. Inną właściwością tej macierzy jest to, że jeśli zsumujemy wszystkie wiersze w kolumnie otrzymujemy 1.

Teraz musimy pomnożyć tę macierz przez wektor Eigen o nazwie I (o wartości eigen 1) taki, że:

I = H*I

Teraz zaczynamy iterację: i H, i i H, i Ii H .... I^k * h dopóki rozwiązanie się nie zbiega. czyli otrzymujemy prawie takie same liczby w macierzy w kroku k I K+1.

Teraz to, co pozostało w wektorze I, jest ważne dla każdej strony.

Prosty przykład pracy domowej w klasie Zobacz http://www.math.cornell.edu / ~mec/Winter2009/RalucaRemus/Lecture3/lecture3.html

Jeśli chodzi o rozwiązanie zduplikowanego problemu w pytaniu kwalifikacyjnym, zrób sumę kontrolną na całej stronie i użyj tego lub bash sumy kontrolnej jako klucza na mapie, aby śledzić odwiedzane strony.

Zależy od tego, jak głębokie miało być ich pytanie. Gdyby po prostu starali się unikać podążania za tymi samymi linkami w tę i z powrotem, wystarczyłoby hashowanie adresu URL.

A co z treścią, która ma dosłownie tysiące adresów URL, które prowadzą do tej samej treści? Jak parametr QueryString, który nie wpływa na nic, ale może mieć nieskończoną liczbę iteracji. Przypuszczam, że możesz również hashować zawartość strony i porównać adresy URL, aby sprawdzić, czy są podobne do przechwytywanie zawartości, która jest identyfikowana przez wiele adresów URL. Zobacz na przykład pułapki botów wymienione w poście @Lirik.

Musisz mieć jakąś tabelę hashową, aby przechowywać wyniki, po prostu musisz ją sprawdzić przed każdym załadowaniem strony.

Problem polega na tym, aby nie indeksować zduplikowanych adresów URL, które są rozwiązywane przez indeks za pomocą hasha uzyskanego z adresów URL. Problem polega na przeszukiwaniu zduplikowanych treści. Każdy adres url "pułapki Gąsienicowej" jest inny (rok, Dzień, identyfikator sesji...).

Nie ma "doskonałego" rozwiązania... ale możesz użyć niektórych z tych strategii:

* Zachowaj pole, na którym znajduje się adres url w witrynie. Dla każdego cyklu pobierania adresów URL ze strony, zwiększ poziom. Będzie jak drzewo. Możesz przestać crawl na pewnym poziomie, jak 10 (myślę, że google używać tego).

* Możesz spróbować utworzyć rodzaj hasha, który można porównać do znalezienia podobnych dokumentów, ponieważ nie można porównać z każdym dokumentem w bazie danych. Są SimHash z google, ale nie mogłem znaleźć żadnej implementacji do użycia. Potem stworzyłem własne. Mój hash liczyć niskiej i wysokiej częstotliwości znaków wewnątrz kodu html i wygenerować 20bytes hash, wich jest porównywany z małym buforem ostatnich indeksowanych stron wewnątrz AVLTree z bliskimi poszukiwaniami z pewną tolerancją (ok.2). W tym hashu nie można używać żadnych odniesień do miejsc znaków. Po "rozpoznaniu" pułapki możesz nagrać wzorzec URL zduplikowanej zawartości i zacząć ignorować strony z tym również.

• podobnie jak google, możesz stworzyć ranking dla każdej witryny i "zaufać" więcej w jednej niż w innych.

Crawler przechowuje pulę adresów URL, która zawiera wszystkie adresy URL do indeksowania. Aby uniknąć "nieskończonej pętli", podstawową ideą jest sprawdzenie istnienia każdego adresu URL przed dodaniem do puli.

Jednak nie jest to łatwe do wdrożenia, gdy system skaluje się do określonego poziomu. Naiwne podejście polega na utrzymywaniu wszystkich adresów URL w hashset i sprawdzaniu istnienia każdego nowego adresu URL. To nie zadziała, gdy jest zbyt wiele adresów URL, aby zmieścić się w pamięci.

Jest tu kilka rozwiązań. Na instancja, zamiast zapisywać wszystkie adresy URL do pamięci, powinniśmy przechowywać je na dysku. Aby zaoszczędzić miejsce, należy użyć skrótu URL zamiast surowego adresu URL. Warto również zauważyć, że powinniśmy zachować kanoniczną formę adresu URL, a nie oryginalną. Więc jeśli adres URL jest skracany przez usługi takie jak bit.ly, lepiej uzyskać ostateczny adres URL. Aby przyspieszyć proces sprawdzania, można zbudować warstwę pamięci podręcznej. Możesz też zobaczyć go jako rozproszony system pamięci podręcznej, który jest oddzielnym tematem.

Post Zbuduj Web Crawler ma szczegółową analizę tego problemu.

Cóż, sieć jest w zasadzie grafem skierowanym, więc możesz skonstruować Wykres z adresów URL, a następnie wykonać przejście BFS lub DFS podczas zaznaczania odwiedzanych węzłów, aby nie odwiedzać tej samej strony dwa razy.

To jest przykład Web crawlera. Które mogą być używane do zbierania adresów mac dla Mac spoofing.

#!/usr/bin/env python

import sys
import os
import urlparse
import urllib
from bs4 import BeautifulSoup

def mac_addr_str(f_data):
global fptr
global mac_list
word_array = f_data.split(" ")

    for word in word_array:
        if len(word) == 17 and ':' in word[2] and ':' in word[5] and ':' in word[8] and ':' in word[11] and ':' in word[14]:
            if word not in mac_list:
                mac_list.append(word)
                fptr.writelines(word +"\n")
                print word



url = "http://stackoverflow.com/questions/tagged/mac-address"

url_list = [url]
visited = [url]
pwd = os.getcwd();
pwd = pwd + "/internet_mac.txt";

fptr = open(pwd, "a")
mac_list = []

while len(url_list) > 0:
    try:
        htmltext = urllib.urlopen(url_list[0]).read()
    except:
        url_list[0]
    mac_addr_str(htmltext)
    soup = BeautifulSoup(htmltext)
    url_list.pop(0)
    for tag in soup.findAll('a',href=True):
        tag['href'] = urlparse.urljoin(url,tag['href'])
        if url in tag['href'] and tag['href'] not in visited:
            url_list.append(tag['href'])
            visited.append(tag['href'])

Zmień adres url, aby indeksować więcej witryn......powodzenia