Vì vậy, tôi đã nhìn vào Hadoop với sự quan tâm sâu sắc và thành thật mà nói, tôi bị cuốn hút, mọi thứ không trở nên mát mẻ hơn.
Vấn đề nhỏ duy nhất của tôi là tôi là nhà phát triển C # và nó sử dụng Java.
Không phải là tôi không hiểu Java nhiều vì tôi đang tìm kiếm Hadoop.net hoặc NHadoop hoặc dự án .NET áp dụng phương pháp Google MapReduce . Có ai biết về một trong những?
Câu trả lời:
Bạn đã xem cách sử dụng chưa tính năng phát trực tuyến của Hadoop chưa?
Tôi sử dụng nó trong python mọi lúc :-).
Tôi bắt đầu thấy rằng cách tiếp cận không đồng nhất thường là tốt nhất và có vẻ như những người khác cũng đang làm như vậy.
Nếu bạn nhìn vào các dự án như bộ đệm giao thức hoặc tiết kiệm của facebook, bạn sẽ thấy rằng đôi khi tốt nhất là sử dụng một ứng dụng được viết bằng ngôn ngữ khác và xây dựng chất kết dính bằng ngôn ngữ bạn thích.
Xem http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx hoặc http://msdn.microsoft.com/en-us/library/dd179423.aspx
Gần đây, MySpace đã phát hành khung công tác .NET MapReduce của họ, Qizmt , dưới dạng Nguồn mở, vì vậy đây cũng là một đối thủ tiềm năng trong không gian này.
Tôi đã trả lời câu hỏi của bạn trong câu hỏi của tôi ở đây
Để nói điều đó ở đây trong nguồn:
Microsoft đã bỏ thay thế của mình ( Dryad ) để ủng hộ Hadoop. Năm tới, họ sẽ phát hành MS SQL Server 2012 với tích hợp Hadoop. Hỗ trợ Azure và Windows Sever đang được phát triển ngay cả khi chúng tôi nói.
Nó sẽ ra mắt vào nửa đầu năm 2012.
Hadoop là nền tảng BigData số 1 và sẽ được hỗ trợ bởi mã nguồn mở và nguồn độc quyền (Java, .Net, Python, ...) ngay cả Oracle cũng đang áp dụng nó.
Nếu bạn đang phát triển một thứ gì đó, bạn nên đợi nếu bạn đang sử dụng nền tảng .Net.
Thông tin thêm về những gì có thể sẽ có sẵn tại đây
Tôi có thể nói rằng DryadLinq là thứ gần nhất mà .NET dân gian của chúng tôi phải Hadoop. Nhưng nó phụ thuộc vào những gì bạn muốn sử dụng hadoop cho. Nếu bạn đang tìm kiếm hệ thống tệp phân phối tự bảo trì (DFS) được tối ưu hóa thì DryadLINQ không phải là thứ bạn đang tìm kiếm. Nó tương tự như DFS nhưng bạn phải tự xây dựng các phân vùng và phân phối từng phân vùng.
Điều đó đang được nói, nếu khía cạnh thực thi phân tán của Hadoop mà bạn đang tìm kiếm hơn DryadLINQ thực sự tuyệt vời (và không, tôi không liên kết với MS). Miễn là bạn có thiết lập cụm Microsoft HPC thì việc bắt đầu với DryadLINQ thực sự dễ dàng.
Mã bạn viết thực sự chỉ là mã LINQ thẳng, ngoại trừ việc thay vì thực thi LINQ, IEnumerable<T>bạn phải thực thi nó trênPartitionedTable<T> (cấu trúc dữ liệu phân tán tự xây dựng).
Điều thực sự thú vị về DryadLINQ là thời gian quay nhanh (thử, kiểm tra, điều chỉnh, lặp lại) khi phát triển các thuật toán. Bạn chỉ cần viết mã LINQ để thực hiện các tính toán của mình và DryadLINQ sẽ đảm nhiệm toàn bộ phần thực thi được phân phối. Đó là chất tương tự tự nhiên nhất mà tôi từng gặp giúp việc viết mã để xử lý phân tán giống như viết mã cho quá trình xử lý đơn lẻ.
Bạn có thể xem xét một cái gì đó giống như RavenDb, nó cung cấp hỗ trợ rất tốt cho MapReduce đối với kích thước dữ liệu khá lớn. vì nó được xây dựng trong .Net nên một API ứng dụng khách LINQ thích hợp sẽ có sẵn.
Để bắt đầu, bạn có thể đọc bài đăng blog của tôi .
Có thể tốt hơn nếu sử dụng Apache Hadoop và phát trực tuyến vì Apache Hadoop đang được tích cực phát triển và duy trì bởi những gã khổng lồ trong ngành như Yahoo và Facebook. Vì vậy, nó có thể làm những gì bạn mong đợi nó làm.
Nếu bạn cần một giải pháp trong .NET, vui lòng kiểm tra Myspace implement @ MySpace Qizmt - MySpace's Open Source Mapreduce Framework
Microsoft đang trong quá trình triển khai HDInsight , được coi là "bản phân phối Hadoop tương thích với Apache 100%" của họ.
Nó có sẵn trên cả Windows Server và dịch vụ Windows Azure.
Microsoft Research có dự án Daytona http://research.microsoft.com/en-us/projects/daytona/
Bạn có thể tải xuống. Có một mẫu WordCount trong C #.
Bây giờ bạn có thể sử dụng Hadoop trực tiếp từ .NET Microsoft đã phát hành một SDK để làm điều đó.
https://hadoopsdk.codeplex.com/
Tất nhiên điều này có nghĩa là sử dụng mạng Hadoop dựa trên java. Nhưng có vấn đề gì không nếu máy chủ đang chạy trong java? Tôi chắc chắn rằng ai đó có thể cố gắng chuyển nó nhưng tôi không nghĩ đó là một ý tưởng hay vì các công ty đã ủng hộ phiên bản java và tôi không nghĩ rằng cổng .NET sẽ được chú ý như vậy.
Hãy xem trên:
http://www.windowsazure.com/en-us/services/hdinsight/
Nó là một triển khai của Hadoop cho Azure và bạn có thể sử dụng .NET để truy cập nó.
Trong nội bộ, Microsoft đã sử dụng Cosmos. Điều này đã được cung cấp bên ngoài Microsoft thông qua Azure. Nó được đặt tên là Azure Data Lake Analytics và Azure Data Lake Store . Phân tích Azure Data Lake là loại Yarn như một dịch vụ và Azure Data Lake Store WebHDFS như một dịch vụ. Phiên bản đầu tiên của Azure Data Lake Analytics chỉ lưu trữ U-SQL một ngôn ngữ dựa trên Transact-SQL + C #.
Có một triển khai MapReduce khá dễ thương cho .NET tại: http://mapsharp.codeplex.com/
dryad / linq đang được sản xuất và sẽ sớm được phát hành: http://blogs.technet.com/b/windowshpc/archive/2011/07/07/annonating-linq-to-hpc-beta-2.aspx sử dụng kết hợp với Microsoft HPC để có giải pháp dựa trên cụm, mạnh mẽ để phân loại dữ liệu phi cấu trúc
Như những người khác đã đề cập, DryadLINQ là một khung lập trình cho phép các nhà phát triển viết các truy vấn LINQ và thực thi chúng trên một cụm, theo cách tương tự như MapReduce. Dự án DryadLINQ gần đây đã được phát hành theo giấy phép Apache trên GitHub và bản phát hành bao gồm hỗ trợ chạy trên các cụm YARN (bao gồm cả các cụm Azure HDInsight).