Błąd Spark - nieobsługiwana Wersja pliku klasy

Napotkałem ten problem podczas uruchamiania notebooka Jupyter i Spark przy użyciu Java 11. Zainstalowałem i skonfigurowałem dla Java 8, wykonując następujące czynności.

Install Java 8:

$ sudo apt install openjdk-8-jdk

Ponieważ miałem już zainstalowaną Javę 11, ustawiłem domyślną Javę na wersję 8 używając:

$ sudo update-alternatives --config java

Wybierz Java 8, a następnie potwierdź zmiany:

$ java -version

Wyjście powinno być podobne do:

openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-8u191-b12-2ubuntu0.18.04.1-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

Jestem w stanie uruchomić Spark z powodzeniem w notebooku Jupyter. Powyższe kroki opierały się na poniższy przewodnik: https://www.digitalocean.com/community/tutorials/how-to-install-java-with-apt-on-ubuntu-18-04

Stwierdziłem, że dodanie lokalizacji spark przez findspark i java8 z os na początku skryptu najprostsze rozwiązanie:

import findspark
import os
spark_location='/opt/spark-2.4.3/' # Set your own
java8_location= '/usr/lib/jvm/java-8-openjdk-amd64' # Set your own
os.environ['JAVA_HOME'] = java8_location
findspark.init(spark_home=spark_location) 

Problem polega na tym, że PySpark wymaga Javy 8 dla niektórych funkcji. Spark 2.2.1 miał problemy z Javą 9 i nowszymi. Zalecanym rozwiązaniem była instalacja Javy 8.

Możesz zainstalować java-8, ustawić ją jako domyślną Javę i spróbować ponownie.

Aby zainstalować Javę 8,

sudo apt install openjdk-8-jdk

Aby zmienić domyślną wersję java, wykonaj to . możesz użyć polecenia

 update-java-alternatives --list

Aby wymienić wszystkie dostępne wersje Javy.

Set a domyślne przez uruchomienie polecenia:

sudo update-alternatives --config java

Aby wybrać żądaną wersję Javy. podaj dokładny numer na podanej liście. następnie utwórz swoją wersję Javy java -version i powinna zostać zaktualizowana. Ustaw także zmienną JAVA_HOME.

Aby ustawić JAVA_HOME, musisz znaleźć konkretną wersję i folder Java. Fallow this więc dyskusja dla uzyskania pełnego pomysłu na ustawienie zmiennej domowej java. ponieważ zamierzamy używać Javy 8, nasza ścieżka do folderów to /usr/lib/jvm/java-8-openjdk-amd64/. wystarczy przejść do folderu /usr/lib/jvm i creak jakie są dostępne foldery. użyj ls -l, aby zobaczyć foldery i ich softlinki, ponieważ te foldery mogą być skrótem dla niektórych wersji Javy. następnie przejdź do katalogu domowego cd ~ i edytuj plik bashrc

cd ~
gedit .bashrc

Następnie dodaj linie poniżej do pliku, Zapisz i zakończ.

## SETTING JAVA HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

W systemie windows (Windows 10) możesz rozwiązać problem, instalując jdk-8u201-windows-x64.exe i resetowanie systemowej zmiennej środowiskowej do poprawnej wersji JAVA JDK:

JAVA_HOME -> C:\Program Files\Java\jdk1.8. 0_201.

Nie zapomnij ponownie uruchomić terminala, w przeciwnym razie Resetowanie zmiennej środowiskowej nie zadziała.

Dla użytkowników Debiana 10 'buster' Java 8 JRE jest dostępna w pakiecie nvidia-openjdk-8-jre.

Zainstaluj go za pomocą

sudo apt install nvidia-openjdk-8-jre

Następnie ustaw JAVA_HOME podczas uruchamiania pyspark, np.:

JAVA_HOME=/usr/lib/jvm/nvidia-java-8-openjdk-amd64/ pyspark

Chciałem tylko dodać moje dwa grosze tutaj, ponieważ pozwoli to zaoszczędzić kilka godzin czasu dla osób, które używają PyCharm (zwłaszcza konfiguracji run). Po zmianie .bashrc LUB .bash_profile, aby wskazywać na Java 8 poprzez modyfikację zmiennych JAVA_HOME i PATH env (tak jak większość osób tutaj zaleca), zauważysz, że gdy uruchomisz Spark przy użyciu konfiguracji run PyCharm, nadal nie wychwyci ona właściwej Javy. Wygląda na to, że jest jakiś problem z PyCharm (używam PyCharm Professional 2020.2 in Mac Catalina). Dodatkowo, gdy uruchamiasz go za pomocą terminala PyCharm, działa dobrze. To potwierdza, że coś jest nie tak z PyCharm. Aby uruchomić konfigurację PyCharm, aby podnieść nową Javę, musiałem specjalnie dodać zmienną środowiskową JAVA_HOME w konfiguracji run, jak pokazano poniżej-

Inną opcją, która również działa, jest sprawdzenie Include system environment variables option w oknie Environment Variables w konfiguracji Uruchom (zobacz zrzut ekranu powyżej) i ponowne uruchomienie PyCharm

Mam ten sam problem w windows i dodałem JAVA_HOME do ścieżki zmiennej środowiskowej:

JAVA_HOME: C:\Program Files\Java\jdk-11.0.1

Hi aby mieć pewność, że ustawiasz właściwą ścieżkę SPARK_HOME, możesz użyć tego skryptu Pythona, aby ją zlokalizować: https://github.com/apache/spark/blob/master/python/pyspark/find_spark_home.py

python3 find_spark_home.py 

/usr/local/lib/python3.7/site-packages/pyspark

Na moim Macu, na terminalu:

vim ~/.bashrc

I dodaj ścieżkę:

export JAVA_HOME=/Library/java/JavaVirtualMachines/adoptopenjdk-8.jdk/contents/Home/

export SPARK_HOME=/usr/local/lib/python3.7/site-packages/pyspark

export PYSPARK_PYTHON=/usr/local/bin/python3

I wreszcie zastosować zmianę

source ~/.bashrc

Na macOS: zainstaluj Java8 na swoim laptopie, używając następujących poleceń:

brew tap AdoptOpenJDK/openjdk
brew cask install adoptopenjdk8

Ten problem występuje z powodu wersji Javy ustawionej w zmiennej środowiskowej JAVA_HOME.

Stara ścieżka Javy: / usr / lib / jvm / java-1.11.0-openjdk-amd64

Rozwiązanie: Ustaw JAVA_HOME na / usr / lib / jvm / java-8-openjdk-amd64

To zadziała!!!

Uwaga mój błąd to:

Plik "/home/tms/myInstallDir/spark-2.4.5-bin-hadoop2.7/python/pyspark/rdd.py", linia 816, w zbiorze sock_info = self.ctx._jvm.PythonRDD.collectAndServe (self._jrddrdd()) Plik "/home/tms/myInstallDir/spark-2.4.5-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", linia 1257, in call Plik "/home/tms/myInstallDir/spark-2.4.5-bin-hadoop2.7/python/pyspark/sql/utils.py", linia 79, w deco raise IllegalArgumentException (s. split(': ', 1)[1], stackTrace) pyspark.sql.utils.IllegalArgumentException: u 'unsupported class file major version 55'