Cosinus podobieństwo vs odległość Hamming [zamknięty]

Chyba, że się mylę, myślę, że masz algorytm w połowie drogi między tymi dwoma algorytmami . Dla odległości Hamminga stosuje się:

function check ($terms1, $terms2) {
    $counts1 = array_count_values($terms1);
    $totalScore = 0;
    foreach ($terms2 as $term) {
        if (isset($counts1[$term])) $totalScore += 1;
    }
    return $totalScore * 500 / (count($terms1) * count($terms2));
}

(zauważ, że dodajesz tylko 1 dla każdego dopasowanego elementu w wektorach tokenów.)

I dla podobieństwa cosinusowego, użyj:

function check ($terms1, $terms2) {
    $counts1 = array_count_values($terms1);
    $counts2 = array_count_values($terms2);
    $totalScore = 0;
    foreach ($terms2 as $term) {
        if (isset($counts1[$term])) $totalScore += $counts1[$term] * $counts2[$term];
    }
    return $totalScore / (count($terms1) * count($terms2));
}

(zauważ, że dodajesz iloczyn liczby Tokenów między dwoma dokumentami.)

Główna różnica między tymi dwoma jest taka, że podobieństwo cosinusów da silniejszy wskaźnik, gdy dwa dokumenty mają to samo słowo wiele razy w dokumentach , podczas gdy odległość Hamminga nie obchodzi, jak często poszczególne żetony pojawiają się .

Edit : właśnie zauważyłem Twoje zapytanie dotyczące usuwania słów funkcyjnych itp. Radzę to, jeśli masz zamiar używać cosinusowego podobieństwa - ponieważ słowa funkcyjne są dość częste (przynajmniej w języku angielskim), możesz wypaczać wynik, nie filtrując ich. Jeśli użyjesz odległości Hamminga, efekt nie będzie tak wielki, ale może nadal być odczuwalne w niektórych przypadkach. Ponadto, jeśli masz dostęp do lemmatizer, zmniejszy to błędy, gdy jeden dokument zawiera "galaktyki", a drugi zawiera" galaktykę", na przykład.

W którąkolwiek stronę pójdziesz, powodzenia!

Przepraszam za zignorowanie faktu, że powiedziałeś, że nie chcesz używać żadnych innych algorytmów, ale poważnie, odległość Levenshteina i odległość Damerau-Levenshteina są o wiele bardziej przydatne niż odległość Hamminga. Oto implementacja d-l distance w PHP , a jeśli nie podoba Ci się natywna funkcja PHP levenshtein(), której myślę, że nie zrobisz, ponieważ ma limit długości, oto wersja bez ograniczeń długości:

function levenshtein_distance($text1, $text2) {
    $len1 = strlen($text1);
    $len2 = strlen($text2);
    for($i = 0; $i <= $len1; $i++)
        $distance[$i][0] = $i;
    for($j = 0; $j <= $len2; $j++)
        $distance[0][$j] = $j;
    for($i = 1; $i <= $len1; $i++)
        for($j = 1; $j <= $len2; $j++)
            $distance[$i][$j] = min($distance[$i - 1][$j] + 1, $distance[$i][$j - 1] + 1, $distance[$i - 1][$j - 1] + ($text1[$i - 1] != $text2[$j - 1]));
    return $distance[$len1][$len2];
}

Tutaj mój poprawiony kod dla Cosinusowej funkcji odległości wysłany przez Toto

function cosineSimilarity($tokensA, $tokensB)
{
    $a = $b = $c = 0;
    $uniqueTokensA = $uniqueTokensB = array();

    $uniqueMergedTokens = array_unique(array_merge($tokensA, $tokensB));

    foreach ($tokensA as $token) $uniqueTokensA[$token] = 0;
    foreach ($tokensB as $token) $uniqueTokensB[$token] = 0;

    foreach ($uniqueMergedTokens as $token) {
        $x = isset($uniqueTokensA[$token]) ? 1 : 0;
        $y = isset($uniqueTokensB[$token]) ? 1 : 0;
        $a += $x * $y;
        $b += pow($x,2);
        $c += pow($y,2);
    }
    return $b * $c != 0 ? $a / sqrt($b * $c) : 0;
}