Cách chạy ứng dụng pyspark trong dấu nhắc lệnh của windows 8

Tôi có một kịch bản python được viết bằng Spark Context và tôi muốn chạy nó. Tôi đã cố gắng tích hợp IPython với Spark, nhưng tôi không thể làm điều đó. Vì vậy, tôi đã cố gắng đặt đường dẫn tia lửa [Thư mục cài đặt / thùng] làm biến môi trường và được gọi là lệnh spark-submit trong dấu nhắc cmd. Tôi tin rằng nó đang tìm kiếm bối cảnh tia lửa, nhưng nó tạo ra một lỗi thực sự lớn. Ai đó có thể vui lòng giúp tôi vấn đề này?

Đường dẫn biến môi trường: C: /Users/Name/Spark-1.4; C: /Users/Name/Spark-1.4/bin

Sau đó, trong dấu nhắc cmd: spark-submit script.py

Tôi khá mới với Spark và đã tìm ra cách tích hợp với IPython trên Windows 10 và 7. Đầu tiên, hãy kiểm tra các biến môi trường của bạn để tìm Python và Spark. Đây là của tôi: SPARK_HOME: C: \ spark-1.6.0-bin-hadoop2.6 \ Tôi sử dụng Enth think Canopy, vì vậy Python đã được tích hợp trong đường dẫn hệ thống của tôi. Tiếp theo, khởi chạy Python hoặc IPython và sử dụng mã sau đây. Nếu bạn gặp lỗi, hãy kiểm tra những gì bạn nhận được cho 'spark_home'. Nếu không, nó sẽ chạy tốt.

import os

import sys

spark_home = os.environ.get('SPARK_HOME', None)

if not spark_home:

raise ValueError('SPARK_HOME environment variable is not set')

sys.path.insert(0, os.path.join(spark_home, 'python'))

sys.path.insert(0, os.path.join(spark_home, 'C:/spark-1.6.0-bin-hadoop2.6/python/lib/py4j-0.9-src.zip')) ## may need to adjust on your system depending on which Spark version you're using and where you installed it.

execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

Kiểm tra nếu liên kết này có thể giúp bạn ra ngoài.

Johnnyboycurtis trả lời làm việc cho tôi. Nếu bạn đang sử dụng python 3, hãy sử dụng mã bên dưới. Mã của anh ấy không hoạt động trong python 3. Tôi chỉ chỉnh sửa dòng mã cuối cùng của anh ấy.

import os
import sys


spark_home = os.environ.get('SPARK_HOME', None)
print(spark_home)
if not spark_home:
    raise ValueError('SPARK_HOME environment variable is not set')
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'C:/spark-1.6.1-bin-hadoop2.6/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip')) ## may need to adjust on your system depending on which Spark version you're using and where you installed it.


filename=os.path.join(spark_home, 'python/pyspark/shell.py')
exec(compile(open(filename, "rb").read(), filename, 'exec'))

Cuối cùng, tôi đã giải quyết vấn đề. Tôi đã phải đặt vị trí pyspark trong biến PATH và vị trí py4j-0.8.2.1-src.zip trong biến PYTHONPATH.