403 zabronione z Javą, ale nie Przeglądarka internetowa?
Piszę mały program Java, aby uzyskać ilość wyników dla danego hasła wyszukiwania Google. Z jakiegoś powodu w Javie dostaję 403 zakazane, ale dostaję odpowiednie wyniki w przeglądarkach internetowych. Kod:
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
public class DataGetter {
public static void main(String[] args) throws IOException {
getResultAmount("test");
}
private static int getResultAmount(String query) throws IOException {
BufferedReader r = new BufferedReader(new InputStreamReader(new URL("https://www.google.com/search?q=" + query).openConnection()
.getInputStream()));
String line;
String src = "";
while ((line = r.readLine()) != null) {
src += line;
}
System.out.println(src);
return 1;
}
}
I błąd:
Exception in thread "main" java.io.IOException: Server returned HTTP response code: 403 for URL: https://www.google.com/search?q=test
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
at sun.net.www.protocol.https.HttpsURLConnectionImpl.getInputStream(Unknown Source)
at DataGetter.getResultAmount(DataGetter.java:15)
at DataGetter.main(DataGetter.java:10)
Dlaczego to robi? 4 answers
Wystarczy ustawić nagłówek user agent, aby działał:
URLConnection connection = new URL("https://www.google.com/search?q=" + query).openConnection();
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11");
connection.connect();
BufferedReader r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8")));
StringBuilder sb = new StringBuilder();
String line;
while ((line = r.readLine()) != null) {
sb.append(line);
}
System.out.println(sb.toString());
Protokół SSL był dla ciebie obsługiwany w sposób przejrzysty, co można było zobaczyć z twojego wyjątku stacktrace.
Uzyskanie wyniku nie jest tak proste, ale po tym musisz udawać, że jesteś przeglądarką, pobierając plik cookie i analizując link do tokena przekierowania.
String cookie = connection.getHeaderField( "Set-Cookie").split(";")[0];
Pattern pattern = Pattern.compile("content=\\\"0;url=(.*?)\\\"");
Matcher m = pattern.matcher(response);
if( m.find() ) {
String url = m.group(1);
connection = new URL(url).openConnection();
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11");
connection.setRequestProperty("Cookie", cookie );
connection.connect();
r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8")));
sb = new StringBuilder();
while ((line = r.readLine()) != null) {
sb.append(line);
}
response = sb.toString();
pattern = Pattern.compile("<div id=\"resultStats\">About ([0-9,]+) results</div>");
m = pattern.matcher(response);
if( m.find() ) {
long amount = Long.parseLong(m.group(1).replaceAll(",", ""));
return amount;
}
}
Uruchamiając Pełny kod otrzymuję 2930000000L
w rezultacie.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2012-12-02 16:51:10
Prawdopodobnie nie ustawiasz poprawnych nagłówków. Użyj LiveHttpHeaders
(lub równoważnego) w przeglądarce, aby zobaczyć, jakie nagłówki wysyła przeglądarka, a następnie Emuluj je w kodzie.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2012-12-02 15:43:36
To dlatego, że strona używa SSL. Spróbuj użyć klienta HTTP Jersey. Prawdopodobnie będziesz musiał również dowiedzieć się trochę o HTTPS i certyfikatach, ale myślę, że Jersey może postawić na zignorowanie większości szczegółów dotyczących rzeczywistego bezpieczeństwa.
U mnie działało dodając nagłówek: "Akceptuj": "*/*"
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2018-06-28 12:04:13