Lỗi Spark - Phiên bản chính của tệp lớp không được hỗ trợ

Tôi đang cố gắng cài đặt Spark trên máy Mac của mình. Tôi đã sử dụng home-brew để cài đặt spark 2.4.0 và Scala. Tôi đã cài đặt PySpark trong môi trường anaconda của mình và đang sử dụng PyCharm để phát triển. Tôi đã xuất sang hồ sơ bash của mình:

export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ | sort | tail -1`
export SPARK_HOME="/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec"
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH

Tuy nhiên tôi không thể làm cho nó hoạt động.

Tôi nghi ngờ điều này là do phiên bản java từ việc đọc theo dõi. Tôi thực sự đánh giá cao một số trợ giúp khắc phục sự cố. Vui lòng bình luận nếu có bất kỳ thông tin nào tôi có thể cung cấp hữu ích ngoài việc truy xuất nguồn gốc.

Tôi nhận được lỗi sau:

Traceback (most recent call last):
  File "<input>", line 4, in <module>
  File "/anaconda3/envs/coda/lib/python3.6/site-packages/pyspark/rdd.py", line 816, in collect
    sock_info = self.ctx._jvm.PythonRDD.collectAndServe(self._jrdd.rdd())
  File "/anaconda3/envs/coda/lib/python3.6/site-packages/py4j/java_gateway.py", line 1257, in __call__
    answer, self.gateway_client, self.target_id, self.name)
  File "/anaconda3/envs/coda/lib/python3.6/site-packages/py4j/protocol.py", line 328, in get_return_value
    format(target_id, ".", name), value)
py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: java.lang.IllegalArgumentException: Unsupported class file major version 55

Chỉnh sửa Spark 3.0 hỗ trợ Java 11, vì vậy bạn sẽ cần nâng cấp

Spark chạy trên Java 8/11, Scala 2.12, Python 2.7 + / 3.4 + và R 3.1+. Hỗ trợ Java 8 trước phiên bản 8u92 không được dùng nữa kể từ Spark 3.0.0

Câu trả lời ban đầu

Cho đến khi Spark hỗ trợ Java 11 hoặc cao hơn (hy vọng sẽ được đề cập trong tài liệu mới nhất khi có), bạn phải thêm cờ để đặt phiên bản Java của mình thành Java 8.

Kể từ Spark 2.4.x

Spark chạy trên Java 8 , Python 2.7 + / 3.4 + và R 3.1+. Đối với API Scala, Spark 2.4.4 sử dụng Scala 2.12. Bạn sẽ cần sử dụng phiên bản Scala tương thích (2.12.x)

Trên Mac / Unix, hãy xem asdf-java để cài đặt các Jav khác nhau

Trên máy Mac, tôi có thể làm điều này trong tôi .bashrc,

export JAVA_HOME=$(/usr/libexec/java_home -v 1.8)

Trên Windows, hãy kiểm tra Chocolately, nhưng nghiêm túc chỉ sử dụng WSL2 hoặc Docker để chạy Spark.

Bạn cũng có thể đặt điều này spark-env.shthay vì đặt biến cho toàn bộ hồ sơ của mình.

Và, tất nhiên, điều này có nghĩa là bạn sẽ cần cài đặt Java 8 ngoài Java 11 hiện có của bạn

Tôi gặp sự cố này khi chạy Jupyter Notebook và Spark bằng Java 11. Tôi đã cài đặt và định cấu hình cho Java 8 bằng các bước sau.

Cài đặt Java 8:

$ sudo apt install openjdk-8-jdk

Vì tôi đã cài đặt Java 11, sau đó tôi đặt Java mặc định của mình thành phiên bản 8 bằng cách sử dụng:

$ sudo update-alternatives --config java

Chọn Java 8 và sau đó xác nhận các thay đổi của bạn:

$ java -version

Đầu ra phải tương tự như:

openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-8u191-b12-2ubuntu0.18.04.1-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

Bây giờ tôi có thể chạy Spark thành công trong Máy tính xách tay Jupyter. Các bước trên dựa trên hướng dẫn sau: https://www.digitalocean.com/community/tutorials/how-to-install-java-with-apt-on-ubuntu-18-04

Tôi thấy rằng việc thêm các vị trí tia lửa qua findspark và java8 với os vào đầu của kịch bản là giải pháp đơn giản nhất:

import findspark
import os
spark_location='/opt/spark-2.4.3/' # Set your own
java8_location= '/usr/lib/jvm/java-8-openjdk-amd64' # Set your own
os.environ['JAVA_HOME'] = java8_location
findspark.init(spark_home=spark_location) 

Vấn đề nghe là PySpark yêu cầu Java 8 cho một số chức năng. Spark 2.2.1 gặp sự cố với Java 9 và hơn thế nữa. Giải pháp được đề xuất là cài đặt Java 8.

bạn có thể cài đặt riêng java-8 và đặt nó làm java mặc định của bạn và thử lại.

để cài đặt java 8,

sudo apt install openjdk-8-jdk

để thay đổi phiên bản java mặc định, hãy làm theo điều này . bạn có thể sử dụng lệnh

 update-java-alternatives --list

để liệt kê tất cả các phiên bản java có sẵn.

đặt một mặc định bằng cách chạy lệnh:

sudo update-alternatives --config java

để chọn phiên bản java bạn muốn. cung cấp số chính xác trong danh sách được cung cấp. sau đó cheak phiên bản java của bạn java -versionvà nó sẽ được cập nhật. Đặt cả biến JAVA_HOME.

để đặt JAVA_HOME, Bạn phải tìm thư mục và phiên bản Java cụ thể. Cho phép thảo luận SO này để có được ý tưởng đầy đủ về việc thiết lập biến home java. vì chúng tôi sẽ sử dụng java 8, đường dẫn thư mục của chúng tôi là /usr/lib/jvm/java-8-openjdk-amd64/. chỉ cần vào /usr/lib/jvmthư mục và kiểm tra xem đâu là thư mục có sẵn. sử dụng ls -lđể xem các thư mục và các liên kết mềm của chúng, vì các thư mục này có thể là lối tắt cho một số phiên bản java. sau đó vào thư mục chính của bạn cd ~và chỉnh sửa tệp bashrc

cd ~
gedit .bashrc

sau đó Thêm dòng dưới đây vào tệp, lưu và thoát.

## SETTING JAVA HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

sau đó, để thực hiện những gì bạn đã làm, hãy nhập source ~/.bashrc và chạy trong thiết bị đầu cuối

Trên windows (Windows 10), bạn có thể giải quyết sự cố bằng cách cài đặt jdk-8u201-windows-x64.exe và đặt lại biến môi trường hệ thống về phiên bản chính xác của JAVA JDK:

JAVA_HOME -> C: \ Program Files \ Java \ jdk1.8.0_201.

Đừng quên khởi động lại thiết bị đầu cuối nếu không quá trình đặt lại biến môi trường không thực hiện được.

Đối với người dùng Debian 10 'buster', Java 8 JRE có sẵn trong nvidia-openjdk-8-jregói.

Cài đặt nó với

sudo apt install nvidia-openjdk-8-jre

Sau đó đặt JAVA_HOMEkhi chạy pyspark, ví dụ:

JAVA_HOME=/usr/lib/jvm/nvidia-java-8-openjdk-amd64/ pyspark

Tôi chỉ muốn thêm hai xu của tôi vào đây vì nó sẽ tiết kiệm vài giờ thời gian cho những người đang sử dụng PyCharm (đặc biệt là cấu hình chạy). Sau khi thay đổi của bạn .bashrchoặc .bash_profiletrỏ đến Java 8 bằng cách sửa đổi các biến env của JAVA_HOME và PATH (giống như hầu hết mọi người ở đây đã đề xuất), bạn sẽ nhận thấy rằng khi bạn chạy Spark của mình bằng cách sử dụng cấu hình chạy của PyCharm, nó vẫn không hoạt động đúng. Java. Có vẻ như có một số vấn đề với PyCharm (Tôi đang sử dụng PyCharm Professional 2020.2 trong Mac Catalina). Ngoài ra, khi bạn chạy nó bằng terminal của PyCharm, nó hoạt động tốt. Điều đó xác nhận có điều gì đó không ổn với PyCharm. Để cấu hình chạy của PyCharm nhận JAVA mới, tôi phải thêm biến môi trường JAVA_HOME một cách cụ thể vào cấu hình chạy như hình dưới đây-

va no đa hoạt động!

Một tùy chọn khác cũng hoạt động là kiểm tra Include system environment variables optiontrong Environment Variablescửa sổ trong cấu hình chạy (xem ảnh chụp màn hình ở trên) và khởi động lại PyCharm

Tôi gặp vấn đề tương tự trong windows và tôi đã thêm JAVA_HOME vào đường dẫn biến môi trường:

JAVA_HOME: C: \ Program Files \ Java \ jdk-11.0.1

Xin chào thực sự để đảm bảo rằng bạn đang đặt đúng SPARK_HOME PATH, bạn có thể sử dụng tập lệnh python này để định vị nó: https://github.com/apache/spark/blob/master/python/pyspark/find_spark_home.py

python3 find_spark_home.py 

/usr/local/lib/python3.7/site-packages/pyspark

Trên máy Mac của tôi, trên thiết bị đầu cuối:

vim ~/.bashrc

và thêm đường dẫn:

export JAVA_HOME=/Library/java/JavaVirtualMachines/adoptopenjdk-8.jdk/contents/Home/

export SPARK_HOME=/usr/local/lib/python3.7/site-packages/pyspark

export PYSPARK_PYTHON=/usr/local/bin/python3

và cuối cùng là áp dụng thay đổi

source ~/.bashrc

Trên macOS: cài đặt Java8 trên máy tính xách tay của bạn bằng các lệnh sau:

brew tap AdoptOpenJDK/openjdk
brew cask install adoptopenjdk8

Sự cố này xảy ra do phiên bản Java bạn đã đặt trên biến môi trường JAVA_HOME.

Đường dẫn JAVA CŨ: /usr/lib/jvm/java-1.11.0-openjdk-amd64

Giải pháp: Đặt JAVA_HOME thành / usr / lib / jvm / java-8-openjdk-amd64

Nó sẽ hoạt động !!!

Lưu ý Lỗi của tôi là:

Tệp "/home/tms/myInstallDir/spark-2.4.5-bin-hadoop2.7/python/pyspark/rdd.py", dòng 816, trong collection sock_info = self.ctx._jvm.PythonRDD.collectAndServe (self._jrdd .rdd ()) Tệp "/home/tms/myInstallDir/spark-2.4.5-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", dòng 1257, trong lệnh gọi Tệp "/home/tms/myInstallDir/spark-2.4.5-bin-hadoop2.7/python/pyspark/sql/utils.py", dòng 79, trong deco nâng IllegalArgumentException (s.split (':', 1) [1], stackTrace) pyspark.sql.utils.IllegalArgumentException: u'Unsupported class file major version 55 '