Câu hỏi được gắn thẻ «mapreduce»

Tôi biết cách "biến đổi" một Java đơn giản Listtừ Y-> Z, tức là: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Bây giờ tôi muốn làm về cơ bản giống với Bản đồ, nghĩa là: INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 …

209 java  mapreduce  java-8  java-stream  collectors 

Vì hiện tại, câu hỏi này không phù hợp với định dạng Hỏi và Đáp của chúng tôi. Chúng tôi hy vọng câu trả lời sẽ được hỗ trợ bởi các sự kiện, tài liệu tham khảo hoặc chuyên môn, nhưng câu hỏi này có thể sẽ thu hút tranh …

202 mapreduce 

Liên quan đến CouchDB của tôi câu hỏi . Bất cứ ai cũng có thể giải thích MapReduce theo cách mà một người tê có thể hiểu được?

166 frameworks  mapreduce  glossary 

Những kịch bản nào sẽ đảm bảo việc sử dụng thuật toán " Bản đồ và thu nhỏ "? Có một triển khai .NET của thuật toán này?

152 c#  mapreduce 

Trong nhiều tình huống thực tế khi bạn áp dụng MapReduce, các thuật toán cuối cùng kết thúc là một số bước MapReduce. tức là Map1, Giảm1, Map2, Giảm2, v.v. Vì vậy, bạn có đầu ra từ mức giảm cuối cùng cần thiết làm đầu vào cho bản đồ tiếp …

124 hadoop  mapreduce 

Theo Hadoop - The Definitive Guide Các bản ghi logic mà FileInputFormats xác định thường không nằm gọn trong các khối HDFS. Ví dụ, các bản ghi logic của TextInputFormat là các dòng, sẽ vượt qua ranh giới HDFS thường xuyên hơn không. Điều này không liên quan đến hoạt …

119 hadoop  split  mapreduce  block  hdfs 

Trong lập trình Map Reduce, giai đoạn giảm có xáo trộn, sắp xếp và giảm bớt như các phần con của nó. Sắp xếp là một công việc tốn kém. Mục đích của giai đoạn xáo trộn và sắp xếp trong bộ rút gọn trong Lập trình rút gọn bản …

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Một trong những ví dụ chính được sử dụng để chứng minh sức mạnh của MapReduce là điểm chuẩn Terasort . Tôi gặp khó khăn khi hiểu những điều cơ bản về thuật toán sắp xếp được sử dụng trong môi trường MapReduce. Đối với tôi, việc sắp xếp chỉ …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Đã đóng cửa. Câu hỏi này không đáp ứng các nguyên tắc về Stack Overflow . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để nó đúng chủ đề cho Stack Overflow. Đã đóng cửa 4 năm trước . …

98 c#  .net  hadoop  mapreduce 

Có bất kỳ sự phụ thuộc nào giữa Spark và Hadoop không? Nếu không, có bất kỳ tính năng nào tôi sẽ bỏ lỡ khi chạy Spark mà không có Hadoop không?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

Khi sử dụng $inmệnh đề MongoDB , thứ tự của các tài liệu trả về có luôn tương ứng với thứ tự của đối số mảng không?

87 mongodb  mongoose  mapreduce  mongodb-query  aggregation-framework 

Trong Hadoop v1, tôi đã chỉ định mỗi 7 khe cắm bản đồ và trình thu gọn với kích thước 1GB, trình liên kết và trình giảm tốc của tôi chạy tốt. Máy mình có bộ nhớ 8G, vi xử lý 8 nhân. Bây giờ với YARN, khi chạy cùng …

85 hadoop  mapreduce  yarn  mrv2 

Tôi nghe nói nhiều về bản đồ / thu nhỏ, đặc biệt là trong bối cảnh hệ thống máy tính song song khổng lồ của Google. Chính xác thì nó là gì?

84 language-agnostic  mapreduce 

Trong Hadoop khi nào các tác vụ giảm bắt đầu? Chúng có bắt đầu sau khi hoàn thành một tỷ lệ phần trăm (ngưỡng) nhất định của người lập bản đồ không? Nếu vậy, ngưỡng này có cố định không? Loại ngưỡng nào thường được sử dụng?

81 hadoop  mapreduce  reduce 

Hiện tại, tôi có một công việc Hadoop tạo ra các quầy với một cái tên khá lớn. Ví dụ, sau một: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Bộ đếm này được cắt ngắn trên giao diện web và khi getName()gọi phương thức. Tôi đã phát hiện ra rằng Hadoop có giới hạn về tên …

79 java  hadoop  mapreduce  yarn