Câu hỏi được gắn thẻ «hadoop»

Một trong những ví dụ chính được sử dụng để chứng minh sức mạnh của MapReduce là điểm chuẩn Terasort . Tôi gặp khó khăn khi hiểu những điều cơ bản về thuật toán sắp xếp được sử dụng trong môi trường MapReduce. Đối với tôi, việc sắp xếp chỉ …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Chúng được cho là bình đẳng? nhưng, tại sao hadoop fslệnh "" hiển thị hdfs filestrong khi hdfs dfslệnh "" hiển thị tệp cục bộ? đây là thông tin phiên bản hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Được tổng hợp bởi jenkins vào Thứ Hai ngày …

109 hadoop  hdfs 

Tôi gặp lỗi sau khi khởi động nút tên cho bản phát hành hadoop-2.2 mới nhất. Tôi không tìm thấy tệp exe winutils trong thư mục bin hadoop. Tôi đã thử các lệnh dưới đây $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to …

108 hadoop 

Đã đóng cửa. Câu hỏi này không đáp ứng các nguyên tắc về Stack Overflow . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để nó đúng chủ đề cho Stack Overflow. Đã đóng cửa 4 năm trước . …

98 c#  .net  hadoop  mapreduce 

Tôi đang cố gắng chạy đơn giản NaiveBayesClassiferbằng hadoop, gặp lỗi này Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Mã: Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// …

96 java  hadoop  io 

Tôi biết du -shtrong các hệ thống tệp Linux phổ biến. Nhưng làm thế nào để làm điều đó với HDFS?

96 hadoop  command-line  directory  hdfs 

Có bất kỳ sự phụ thuộc nào giữa Spark và Hadoop không? Nếu không, có bất kỳ tính năng nào tôi sẽ bỏ lỡ khi chạy Spark mà không có Hadoop không?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

Tôi dự định sử dụng một trong các định dạng tệp hadoop cho dự án liên quan đến hadoop của mình. Tôi hiểu rằng parquet hiệu quả cho truy vấn dựa trên cột và avro để quét toàn bộ hoặc khi chúng tôi cần tất cả dữ liệu cột! Trước …

91 hadoop  avro  parquet 

Làm cách nào để tìm phiên bản Hive mà tôi đang sử dụng từ dấu nhắc lệnh. Dưới đây là chi tiết- Tôi đang sử dụng Putty để kết nối với bảng hive và truy cập các bản ghi trong bảng. Vì vậy, những gì tôi đã làm là - …

88 hadoop  hive 

Tôi đang chạy một vài thử nghiệm trên các định dạng lưu trữ có sẵn với Hive và sử dụng Parquet và ORC làm các tùy chọn chính. Tôi đã bao gồm ORC một lần với nén mặc định và một lần với Snappy. Tôi đã đọc nhiều tài liệu …

87 hadoop  hive  parquet  snappy  orc 

Trong khi cài đặt hadoop trong máy cục bộ của mình, tôi gặp lỗi sau ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 …

86 linux  hadoop  ssh 

Trong Hadoop v1, tôi đã chỉ định mỗi 7 khe cắm bản đồ và trình thu gọn với kích thước 1GB, trình liên kết và trình giảm tốc của tôi chạy tốt. Máy mình có bộ nhớ 8G, vi xử lý 8 nhân. Bây giờ với YARN, khi chạy cùng …

85 hadoop  mapreduce  yarn  mrv2 

Như hiện tại, câu hỏi này không phù hợp với định dạng Hỏi & Đáp của chúng tôi. Chúng tôi hy vọng câu trả lời sẽ được hỗ trợ bởi sự kiện, tài liệu tham khảo hoặc chuyên môn, nhưng câu hỏi này có thể sẽ thu hút sự tranh …

84 nosql  hadoop  cassandra  hbase  data-processing 

Trong Hadoop khi nào các tác vụ giảm bắt đầu? Chúng có bắt đầu sau khi hoàn thành một tỷ lệ phần trăm (ngưỡng) nhất định của người lập bản đồ không? Nếu vậy, ngưỡng này có cố định không? Loại ngưỡng nào thường được sử dụng?

81 hadoop  mapreduce  reduce 

chúng tôi muốn đưa kết quả của truy vấn Hive vào tệp CSV. Tôi nghĩ lệnh sẽ trông như thế này: insert overwrite directory '/home/output.csv' select books from table; Khi tôi chạy nó, nó nói rằng nó hoàn thành thành công nhưng tôi không bao giờ có thể tìm thấy …

81 database  hadoop  hive  hiveql