Câu hỏi được gắn thẻ «apache-spark»

Hầu hết các bộ dữ liệu nguồn mở được định dạng tốt, tức là mỗi thông báo email được phân tách tốt như bộ dữ liệu email enron. Nhưng trong thế giới thực, rất khó để tách một email hàng đầu khỏi một chuỗi các email. Ví dụ xem xét …

7 classification  scikit-learn  apache-spark  preprocessing  sentiment-analysis 

Là một phần của dự án phân tích dữ liệu lớn, tôi đang làm việc, Tôi cần thực hiện PCA trên một số dữ liệu, sử dụng hệ thống điện toán đám mây. Trong trường hợp của tôi, tôi đang sử dụng Amazon EMR cho công việc và đặc biệt …

7 data-mining  bigdata  apache-spark  pca  distributed 

Tôi đang sử dụng LogisticRegressionWithLBFGSđể đào tạo một phân loại nhiều lớp. Có cách nào để có được xác suất của tất cả các lớp (không chỉ lớp ứng viên hàng đầu) khi tôi kiểm tra mô hình trên các mẫu mới chưa thấy? PS Tôi không nhất thiết phải …

7 classification  apache-spark  multiclass-classification 

Tôi đang sử dụng Spark (1.5.1) từ máy tính xách tay IPython trên macbook pro. Sau khi cài đặt Spark và Anaconda, tôi khởi động IPython từ một thiết bị đầu cuối bằng cách thực thi : IPYTHON_OPTS="notebook" pyspark. Điều này mở ra một trang web liệt kê tất cả …

7 apache-spark  pyspark  ipython  anaconda 

Tôi đã so sánh các mô hình hồi quy logistic trên R ( glm) và trên Spark ( LogisticRegressionWithLBFGS) trên bộ dữ liệu của 390 obs. trong số 14 biến. Các kết quả hoàn toàn khác nhau trong đánh chặn và trọng lượng. Làm thế nào để giải thích điều …

7 machine-learning  r  logistic-regression  apache-spark 

Vì vậy, tôi đang sử dụng Spark để phân tích tình cảm và tôi liên tục gặp lỗi với các bộ nối tiếp mà nó sử dụng (tôi nghĩ) để truyền các đối tượng python xung quanh. PySpark worker failed with exception: Traceback (most recent call last): File "/Users/abdul/Desktop/RSI/spark-1.0.1-bin- hadoop1/python/pyspark/worker.py", …

7 apache-spark  pyspark  sentiment-analysis