Câu hỏi được gắn thẻ «hadoop»

Tôi hiện đang định cấu hình hadoop trên máy chủ chạy CentO . Khi tôi chạy start-dfs.shhoặc stop-dfs.sh, tôi gặp lỗi sau: WARN produc.NativeCodeLoader: Không thể tải thư viện hadoop gốc cho nền tảng của bạn ... bằng cách sử dụng các lớp dựng sẵn-java khi áp dụng Tôi đang …

269 java  linux  hadoop  hadoop2  java.library.path 

Đã đóng cửa . Câu hỏi này dựa trên ý kiến . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để có thể trả lời bằng sự kiện và trích dẫn bằng cách chỉnh sửa bài đăng này . …

256 hadoop  hive  apache-pig 

Tôi đang cố gắng tìm hiểu mối quan hệ của số lượng lõi và số lượng nhân viên thực thi khi chạy một công việc Spark trên YARN. Môi trường thử nghiệm như sau: Số nút dữ liệu: 3 Thông số máy nút dữ liệu: CPU: Core i7-4790 (# lõi: …

192 hadoop  apache-spark  yarn 

Những lợi ích của việc sử dụng Hadoop hoặc HBase hoặc Hive là gì? Theo hiểu biết của tôi, HBase tránh sử dụng map-less và có bộ lưu trữ hướng theo cột trên đỉnh HDFS. Hive là một giao diện giống như sql cho Hadoop và HBase . Tôi cũng …

185 hadoop  hbase  hive  apache-pig 

Tôi đã cài đặt Spark bằng hướng dẫn AWS EC2 và tôi có thể khởi chạy chương trình tốt bằng cách sử dụng bin/pysparktập lệnh để đến dấu nhắc tia lửa và cũng có thể thực hiện thành công nhanh chóng bắt đầu. Tuy nhiên, tôi không thể tìm ra …

144 python  scala  apache-spark  hadoop  pyspark 

Tôi muốn đọc một CSV trong tia lửa và chuyển đổi nó thành DataFrame và lưu trữ nó trong HDFS với df.registerTempTable("table_name") Tôi đã thử: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Lỗi mà tôi nhận được: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, …

140 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Các đặc điểm của sàn gỗ Apache là: Tự mô tả Định dạng cột Không phụ thuộc vào ngôn ngữ So với Avro, Sequence Files, RC File, v.v. Tôi muốn có một cái nhìn tổng quan về các định dạng. Tôi đã đọc: Cách Impala hoạt động với Định dạng …

136 file  hadoop  hdfs  avro  parquet 

Cách sao chép tệp từ HDFS sang hệ thống tệp cục bộ. Không có vị trí vật lý của một tệp trong tệp, thậm chí không có thư mục. làm thế nào tôi có thể di chuyển chúng đến địa phương của tôi để xác nhận thêm. Tôi đã thử …

135 hadoop  copy  hdfs 

Đây là loại câu hỏi ngây thơ nhưng tôi chưa quen với mô hình NoQuery và không biết nhiều về nó. Vì vậy, nếu ai đó có thể giúp tôi hiểu rõ sự khác biệt giữa HBase và Hadoop hoặc nếu đưa ra một số gợi ý có thể giúp …

130 hadoop  nosql  hbase  hdfs  difference 

Tôi biết cả hai được thực hiện trên một cột trong bảng nhưng mỗi thao tác khác nhau như thế nào.

129 hadoop  hive 

Trong nhiều tình huống thực tế khi bạn áp dụng MapReduce, các thuật toán cuối cùng kết thúc là một số bước MapReduce. tức là Map1, Giảm1, Map2, Giảm2, v.v. Vì vậy, bạn có đầu ra từ mức giảm cuối cùng cần thiết làm đầu vào cho bản đồ tiếp …

124 hadoop  mapreduce 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. không thể tạo bất cứ thứ gì trong hdfs tôi đã làm root# bin/hadoop fs -safemode leave Nhưng hiển thị safemode: Unknown command vấn đề là gì Giải pháp

122 hadoop  hdfs 

Theo Hadoop - The Definitive Guide Các bản ghi logic mà FileInputFormats xác định thường không nằm gọn trong các khối HDFS. Ví dụ, các bản ghi logic của TextInputFormat là các dòng, sẽ vượt qua ranh giới HDFS thường xuyên hơn không. Điều này không liên quan đến hoạt …

119 hadoop  split  mapreduce  block  hdfs 

Trong lập trình Map Reduce, giai đoạn giảm có xáo trộn, sắp xếp và giảm bớt như các phần con của nó. Sắp xếp là một công việc tốn kém. Mục đích của giai đoạn xáo trộn và sắp xếp trong bộ rút gọn trong Lập trình rút gọn bản …

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Bất cứ ai có thể cho tôi biết sự khác biệt giữa bảng bên ngoài của Hive và bảng bên trong. Tôi biết sự khác biệt đến khi bỏ bàn xuống. Tôi không hiểu ý bạn vì dữ liệu và siêu dữ liệu bị xóa trong bảng nội bộ và …

110 hadoop  hive  hiveql