Câu hỏi được gắn thẻ «hdfs»

Tôi muốn đọc một CSV trong tia lửa và chuyển đổi nó thành DataFrame và lưu trữ nó trong HDFS với df.registerTempTable("table_name") Tôi đã thử: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Lỗi mà tôi nhận được: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, …

140 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Các đặc điểm của sàn gỗ Apache là: Tự mô tả Định dạng cột Không phụ thuộc vào ngôn ngữ So với Avro, Sequence Files, RC File, v.v. Tôi muốn có một cái nhìn tổng quan về các định dạng. Tôi đã đọc: Cách Impala hoạt động với Định dạng …

136 file  hadoop  hdfs  avro  parquet 

Cách sao chép tệp từ HDFS sang hệ thống tệp cục bộ. Không có vị trí vật lý của một tệp trong tệp, thậm chí không có thư mục. làm thế nào tôi có thể di chuyển chúng đến địa phương của tôi để xác nhận thêm. Tôi đã thử …

135 hadoop  copy  hdfs 

Đây là loại câu hỏi ngây thơ nhưng tôi chưa quen với mô hình NoQuery và không biết nhiều về nó. Vì vậy, nếu ai đó có thể giúp tôi hiểu rõ sự khác biệt giữa HBase và Hadoop hoặc nếu đưa ra một số gợi ý có thể giúp …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. không thể tạo bất cứ thứ gì trong hdfs tôi đã làm root# bin/hadoop fs -safemode leave Nhưng hiển thị safemode: Unknown command vấn đề là gì Giải pháp

122 hadoop  hdfs 

Theo Hadoop - The Definitive Guide Các bản ghi logic mà FileInputFormats xác định thường không nằm gọn trong các khối HDFS. Ví dụ, các bản ghi logic của TextInputFormat là các dòng, sẽ vượt qua ranh giới HDFS thường xuyên hơn không. Điều này không liên quan đến hoạt …

119 hadoop  split  mapreduce  block  hdfs 

Trong lập trình Map Reduce, giai đoạn giảm có xáo trộn, sắp xếp và giảm bớt như các phần con của nó. Sắp xếp là một công việc tốn kém. Mục đích của giai đoạn xáo trộn và sắp xếp trong bộ rút gọn trong Lập trình rút gọn bản …

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Chúng được cho là bình đẳng? nhưng, tại sao hadoop fslệnh "" hiển thị hdfs filestrong khi hdfs dfslệnh "" hiển thị tệp cục bộ? đây là thông tin phiên bản hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Được tổng hợp bởi jenkins vào Thứ Hai ngày …

109 hadoop  hdfs 

Tôi biết du -shtrong các hệ thống tệp Linux phổ biến. Nhưng làm thế nào để làm điều đó với HDFS?

96 hadoop  command-line  directory  hdfs