Câu hỏi được gắn thẻ «pyspark»

API Spark Python (PySpark) đưa ra mô hình lập trình apache-spark cho Python.


1
Tôi nên sử dụng bao nhiêu tế bào LSTM?
Có bất kỳ quy tắc nào (hoặc quy tắc thực tế) liên quan đến số lượng tế bào LSTM tối thiểu, tối đa và "hợp lý" mà tôi nên sử dụng không? Cụ thể tôi có liên quan đến BasicLSTMCell từ TensorFlow và num_unitstài sản. Hãy giả sử rằng tôi …
12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

4
Nhập nội dung tệp csv vào các tệp dữ liệu pyspark
Làm cách nào tôi có thể nhập tệp .csv vào tệp dữ liệu pyspark? Tôi thậm chí đã cố gắng đọc tệp csv trong Pandas và sau đó chuyển đổi nó thành một cơ sở dữ liệu tia lửa bằng cách sử dụng createDataFrame, nhưng nó vẫn hiển thị một …
12 pyspark 




1
Spark, tối ưu tách một RDD thành hai
Tôi có một bộ dữ liệu lớn mà tôi cần chia thành các nhóm theo các thông số cụ thể. Tôi muốn công việc xử lý hiệu quả nhất có thể. Tôi có thể hình dung hai cách làm như vậy Tùy chọn 1 - Tạo bản đồ từ RDD …



1
Tạo dự đoán trực giao (không tương quan) với một biến đã cho
Tôi có một Xma trận, một ybiến và một biến khác ORTHO_VAR. Tôi cần dự đoán ybiến bằng cách sử dụng X, tuy nhiên, các dự đoán từ mô hình đó cần phải trực giao ORTHO_VARtrong khi càng tương quan với ycàng tốt. Tôi muốn các dự đoán được tạo …
8 correlation  machine-learning  dataset  logistic-regression  prediction  linear-regression  prediction  dummy-variables  neural-network  image-classification  python  k-nn  python  neural-network  neural-network  deep-learning  keras  tensorflow  image-classification  tensorflow  reinforcement-learning  policy-gradients  machine-learning  decision-trees  neural-network  overfitting  data-analysis  metric  python  scikit-learn  distance  scipy  machine-learning  python  scikit-learn  decision-trees  logistic-regression  keras  image-classification  implementation  machine-learning  python  scikit-learn  random-forest  decision-trees  machine-learning  feature-selection  feature-engineering  word2vec  word-embeddings  natural-language-process  scikit-learn  time-series  clustering  k-means  python  cross-validation  pyspark  statistics  cross-validation  multiclass-classification  evaluation  machine-learning  nlp  machine-translation  neural-network  deep-learning  keras  tensorflow  image-classification  machine-learning  python  similarity  distance  lstm  text  named-entity-recognition  machine-learning  keras  optimization  gan  learning-rate  neural-network  data-mining  dataset  databases  books  neural-network  rnn 


1
Sử dụng Apache Spark để làm ML. Tiếp tục nhận được lỗi nối tiếp
Vì vậy, tôi đang sử dụng Spark để phân tích tình cảm và tôi liên tục gặp lỗi với các bộ nối tiếp mà nó sử dụng (tôi nghĩ) để truyền các đối tượng python xung quanh. PySpark worker failed with exception: Traceback (most recent call last): File "/Users/abdul/Desktop/RSI/spark-1.0.1-bin- hadoop1/python/pyspark/worker.py", …
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.