Czy strona internetowa może wykryć, kiedy używasz selenium z chromedriver?

Zasadniczo wykrywanie selenium polega na tym, że testują one wstępnie zdefiniowane zmienne javascript, które pojawiają się podczas pracy z selenium. Skrypty wykrywania botów zwykle wyglądają na wszystko, co zawiera słowo "selenium" / "webdriver" w dowolnej ze zmiennych (na obiekcie window), a także dokumentują zmienne o nazwach $cdc_ i $wdc_. Oczywiście wszystko to zależy od przeglądarki, na której się znajdujesz. Wszystkie różne przeglądarki ujawniają różne rzeczy.

Dla mnie, użyłem chrome, więc, wszystkie to, co musiałem zrobić , to upewnić się, że $cdc_ nie istnieje już jako zmienna dokumentu, i voila (Pobierz kod źródłowy chromedriver, zmodyfikuj chromedriver i ponownie skompiluj $cdc_ pod inną nazwą.)

To jest funkcja, którą zmodyfikowałem w chromedriverze:

Call_function.js:

function getPageCache(opt_doc) {
  var doc = opt_doc || document;
  //var key = '$cdc_asdjflasutopfhvcZLmcfl_';
  var key = 'randomblabla_';
  if (!(key in doc))
    doc[key] = new Cache();
  return doc[key];
}

(zwróć uwagę na komentarz, wszystko co zrobiłem zamieniłem $cdc_ na randomblabla_.

Oto pseudo-kod, który demonstruje niektóre z technik, z których mogą korzystać sieci botów:

runBotDetection = function () {
    var documentDetectionKeys = [
        "__webdriver_evaluate",
        "__selenium_evaluate",
        "__webdriver_script_function",
        "__webdriver_script_func",
        "__webdriver_script_fn",
        "__fxdriver_evaluate",
        "__driver_unwrapped",
        "__webdriver_unwrapped",
        "__driver_evaluate",
        "__selenium_unwrapped",
        "__fxdriver_unwrapped",
    ];

    var windowDetectionKeys = [
        "_phantom",
        "__nightmare",
        "_selenium",
        "callPhantom",
        "callSelenium",
        "_Selenium_IDE_Recorder",
    ];

    for (const windowDetectionKey in windowDetectionKeys) {
        const windowDetectionKeyValue = windowDetectionKeys[windowDetectionKey];
        if (window[windowDetectionKeyValue]) {
            return true;
        }
    };
    for (const documentDetectionKey in documentDetectionKeys) {
        const documentDetectionKeyValue = documentDetectionKeys[documentDetectionKey];
        if (window['document'][documentDetectionKeyValue]) {
            return true;
        }
    };

    for (const documentKey in window['document']) {
        if (documentKey.match(/\$[a-z]dc_/) && window['document'][documentKey]['cache_']) {
            return true;
        }
    }

    if (window['external'] && window['external'].toString() && (window['external'].toString()['indexOf']('Sequentum') != -1)) return true;

    if (window['document']['documentElement']['getAttribute']('selenium')) return true;
    if (window['document']['documentElement']['getAttribute']('webdriver')) return true;
    if (window['document']['documentElement']['getAttribute']('driver')) return true;

    return false;
};

Według użytkownik @ szx, możliwe jest również po prostu otworzyć chromedriver.exe w hex editor, i po prostu zrobić zastąpienie ręcznie, bez faktycznie robi żadnej kompilacji.

Jak już zorientowaliśmy się w pytaniu i opublikowanych odpowiedziach, w grze jest anty web-scraping i usługa wykrywania botów o nazwie "Distil Networks". I, zgodnie z wywiadem prezesa firmy :

Mimo że mogą tworzyć nowe boty, wymyśliliśmy sposób na identyfikację Selen to narzędzie, którego używają, więc blokujemy selen nie ważne, ile razy będą iterować na tym bocie . Robimy to teraz. z Pythonem i wiele różnych technologii. Gdy zobaczymy wzór wyłaniać się z jednego typu bota, następnie pracujemy nad inżynierią wsteczną technologia, której używają i identyfikują ją jako złośliwą.

Potrzeba czasu i dodatkowych wyzwań, aby zrozumieć, jak dokładnie wykrywają selen, ale co możemy powiedzieć na pewno w tej chwili:

• nie jest to związane z działaniami, które podejmujesz z selenium - po przejściu na stronę, natychmiast zostaniesz wykryty i zbanowany. Próbowałem dodać sztuczne losowe opóźnienia między akcjami, zrób pauzę po załadowaniu strony-nic nie pomogło
Nie chodzi też o odcisk palca przeglądarki - próbowałem go w wielu przeglądarkach z czystymi profilami, a nie trybami incognito-nic nie pomogło]} Ponieważ, zgodnie z podpowiedzią w wywiadzie, była to "inżynieria odwrotna", podejrzewam, że odbywa się to z kodem JS wykonywanym w przeglądarce, ujawniając, że jest to przeglądarka zautomatyzowana przez Selenium webdriver [16]}

Aby umieścić go jako odpowiedź, ponieważ wyraźnie:

Czy strona internetowa może wykryć, kiedy używasz selenu z chromedriverem?

Tak.

Poza tym, nie eksperymentowałem ze starszym selenium i starszymi wersjami przeglądarki-teoretycznie może być coś zaimplementowanego/dodanego do selenium w pewnym momencie, na którym opiera się Detektor botów Distil Networks. Wtedy, jeśli tak jest, możemy wykryć (tak, Wykryj detektor) w którym punkcie / wersji a istotna zmiana została dokonana, zajrzyj do changelog i zestawów zmian i może to dać nam więcej informacji na temat tego, gdzie szukać i czego używają do wykrywania przeglądarki opartej na webdriverze. To tylko teoria, którą trzeba przetestować.

Przykład jak jest zaimplementowany na wellsfargo.com:

try {
 if (window.document.documentElement.getAttribute("webdriver")) return !+[]
} catch (IDLMrxxel) {}
try {
 if ("_Selenium_IDE_Recorder" in window) return !+""
} catch (KknKsUayS) {}
try {
 if ("__webdriver_script_fn" in document) return !+""

partial interface Navigator { readonly attribute boolean webdriver; };

Atrybut IDL webdriver interfejsu nawigatora musi zwracać wartość flagi WebDriver-active, która początkowo jest false.

Ta właściwość pozwala witrynom określić, czy agent użytkownika jest pod kontrolą WebDriver i może być używany do łagodzenia ataków typu denial-of-service.

Wzięte bezpośrednio z 2017 W3C Editor ' s Draft WebDriver. To w dużym stopniu implikuje, że co najmniej przyszłe iteracje sterowniki selenu zostaną zidentyfikowane, aby zapobiec niewłaściwemu użyciu. Ostatecznie trudno powiedzieć bez kodu źródłowego, co dokładnie powoduje, że sterownik chrome in specific jest wykrywalny.

Spróbuj użyć selenium z określonym profilem użytkownika chrome, w ten sposób możesz użyć go jako konkretnego użytkownika i zdefiniować dowolną rzecz, gdy to zrobisz, będzie działać jako "prawdziwy" użytkownik, spójrz na proces chrome z jakimś Eksploratorem procesów i zobaczysz różnicę z tagami.

Na przykład:

username = os.getenv("USERNAME")
userProfile = "C:\\Users\\" + username + "\\AppData\\Local\\Google\\Chrome\\User Data\\Default"
options = webdriver.ChromeOptions()
options.add_argument("user-data-dir={}".format(userProfile))
# add here any tag you want.
options.add_experimental_option("excludeSwitches", ["ignore-certificate-errors", "safebrowsing-disable-download-protection", "safebrowsing-disable-auto-update", "disable-client-side-phishing-detection"])
chromedriver = "C:\Python27\chromedriver\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
browser = webdriver.Chrome(executable_path=chromedriver, chrome_options=options)

Chrome tag list here

Nawet jeśli wysyłasz wszystkie właściwe dane (np. Selenium nie pojawia się jako rozszerzenie, masz rozsądną rozdzielczość/głębię bitową, &c), istnieje wiele usług i narzędzi, które profilują zachowanie odwiedzających w celu określenia, czy aktor jest użytkownikiem, czy zautomatyzowanym systemem.

Na przykład odwiedzenie witryny, a następnie natychmiastowe wykonanie jakiejś czynności, przesuwając mysz bezpośrednio do odpowiedniego przycisku, w mniej niż sekundę, jest czymś, czego żaden użytkownik nie zrobiłby zrób.

Może być również przydatne jako narzędzie do debugowania, aby korzystać z witryny, takiej jak https://panopticlick.eff.org / aby sprawdzić, jak unikalna jest twoja przeglądarka; pomoże Ci również sprawdzić, czy istnieją jakieś konkretne parametry, które wskazują, że używasz Selenium.

Wygląda na to, że są za zaporą aplikacji internetowych. Spójrz na modsecurity i owasp, aby zobaczyć, jak to działa. W rzeczywistości pytasz, Jak zrobić unikanie wykrywania botów. Nie do tego służy selenium web driver. Służy do testowania aplikacji internetowej, która nie uderza w inne aplikacje internetowe. Jest to możliwe, ale w zasadzie musiałbyś spojrzeć na to, czego WAF szuka w swoim zestawie reguł i specjalnie go unikać za pomocą selenu, jeśli możesz. Nawet wtedy, to nadal może nie działać bo nie wiesz, czego używają. Zrobiłeś właściwy pierwszy krok, czyli udawanie agenta użytkownika. Jeśli to nie zadziałało, to WAF jest na miejscu i prawdopodobnie musisz się bardziej skomplikować.

Edytuj: Punkt zaczerpnięty z innej odpowiedzi. Najpierw upewnij się, że twój agent użytkownika jest prawidłowo ustawiony. Może trafi na lokalny serwer WWW lub wyczuje ruch wychodzący.

Mówi się, że Firefox ustawia window.navigator.webdriver === true, jeśli pracuje z webdriverem. Według jednej ze starszych specyfikacji (np.: archive.org ), ale nie mogłem go znaleźć w nowym , z wyjątkiem kilku bardzo niejasnych sformułowań w załącznikach.

Test jest w kodzie selenium w pliku fingerprint_test.js gdzie komentarz na końcu mówi "obecnie zaimplementowany tylko w Firefoksie", ale nie byłem w stanie zidentyfikować żadnego kodu w tym kierunku za pomocą jakiegoś prostego greping, ani w bieżącym (41.0.2) drzewie wydania Firefoksa, ani w drzewie Chromium.

Znalazłem również komentarz do starszej zmiany dotyczącej fingerprintingu w sterowniku Firefoksa b82512999938 ze stycznia 2015. Ten kod jest nadal w Selenium Git-master pobranym wczoraj w javascript/firefox-driver/extension/content/server.js z komentarzem linkującym do nieco inaczej sformułowanego dodatku w obecnej specyfikacji W3C webdriver.

Wykrywanie bota, które widziałem, wydaje się bardziej wyrafinowane lub przynajmniej inne niż to, co przeczytałem w odpowiedziach poniżej.

Eksperyment 1:

1. otwieram przeglądarkę i stronę internetową z Selenium z konsoli Pythona.
2. mysz jest już w określonym miejscu, gdzie Wiem, że link pojawi się po załadowaniu strony. Nigdy nie ruszam myszką.
3. wciskam raz lewy przycisk myszy (jest to konieczne, aby wziąć fokus z konsoli, gdzie Python jest uruchomiony do przeglądarki).
4. wciskam ponownie lewy przycisk myszy (pamiętaj, kursor jest nad danym linkiem).
5. link otwiera się normalnie, tak jak powinien.

Eksperyment 2:

1. Jak poprzednio otwieram przeglądarkę i stronę www z Selenium z konsoli Pythona.

2. Tym razem zamiast klikać myszką, używam Selenium (w konsoli Pythona), aby kliknąć ten sam element z losowym przesunięciem.

3. Link nie otwiera się, ale jestem zabrany do strony rejestracji.

Implikacje:

• otwieranie przeglądarki internetowej przez Selenium nie wyklucza pojawiania się człowieka
• poruszanie myszką jak człowiekiem nie jest konieczne, aby być sklasyfikowanym jako człowiek
• kliknięcie czegoś przez selen z przesunięciem nadal wywołuje alarm

Wydaje się tajemniczy, ale myślę, że mogą po prostu określić, czy działanie pochodzi z selenu lub Nie, podczas gdy nie obchodzi ich, czy sama przeglądarka została otwarta przez Selenium, czy nie. Czy mogą określić, czy okno ma fokus? Byłoby ciekawie usłyszeć, jeśli ktoś ma jakieś spostrzeżenia.

Napisz stronę html z następującym kodem. Zobaczysz, że w DOM Selenium stosuje atrybut webdriver w outerHTML

<html>
<head>
  <script type="text/javascript">
  <!--
    function showWindow(){
      javascript:(alert(document.documentElement.outerHTML));
    }
  //-->
  </script>
</head>
<body>
  <form>
    <input type="button" value="Show outerHTML" onclick="showWindow()">
  </form>
</body>
</html>

Niektóre strony to wykrywają:

function d() {
try {
    if (window.document.$cdc_asdjflasutopfhvcZLmcfl_.cache_)
        return !0
} catch (e) {}

try {
    //if (window.document.documentElement.getAttribute(decodeURIComponent("%77%65%62%64%72%69%76%65%72")))
    if (window.document.documentElement.getAttribute("webdriver"))
        return !0
} catch (e) {}

try {
    //if (decodeURIComponent("%5F%53%65%6C%65%6E%69%75%6D%5F%49%44%45%5F%52%65%63%6F%72%64%65%72") in window)
    if ("_Selenium_IDE_Recorder" in window)
        return !0
} catch (e) {}

try {
    //if (decodeURIComponent("%5F%5F%77%65%62%64%72%69%76%65%72%5F%73%63%72%69%70%74%5F%66%6E") in document)
    if ("__webdriver_script_fn" in document)
        return !0
} catch (e) {}