Sử dụng Zookeeper trong thế giới thực [đã đóng cửa]

Tôi đã xem Zookeeper gần đây và tự hỏi liệu có ai đang sử dụng nó hiện tại không và họ đang sử dụng nó để lưu trữ cụ thể là gì.

Trường hợp sử dụng phổ biến nhất là dành cho thông tin cấu hình, nhưng bạn đang lưu trữ loại dữ liệu nào và bao nhiêu dữ liệu?

Việc triển khai Apache CXF của DOSGi sử dụng Zookeeper cho kho đăng ký dịch vụ của nó. Các vùng chứa riêng lẻ có một gói phần mềm phân phối (dsw) lắng nghe tất cả các sự kiện dịch vụ và khi trạng thái dịch vụ thay đổi có một thuộc tính chỉ ra phân phối. Dsw nói chuyện với gói khám phá, trong trường hợp triển khai tham chiếu, sử dụng người giữ vườn thú để lưu trữ dịch vụ dưới dạng các nút tạm thời. Các trường hợp khác sẽ tìm kiếm các thay đổi đối với cấu trúc nút và đăng ký proxy trên hệ thống cục bộ của chúng. Kết quả cuối cùng là bạn có thể viết mã thành OSGi đơn giản và kết thúc với phân phối minh bạch.

Các dự án phần mềm miễn phí được hỗ trợ bởi ZooKeeper:

• AdroitLogic UltraESB
• Akka
• Khung giao tiếp Eclipse
• Eclipse Gyrex
• GoldenOrb
• Juju
• Katta
• KeptCollections
• Mesos
• Neo4j
• Norbert
• Talend ESB
• redis_failover

Các dự án Apache được hỗ trợ bởi ZooKeeper:

• Apache Accumulo
• Apache BookKeeper
• Apache CXF DOSGi
• Apache Flume
• Apache Hadoop MapReduce
• Apache HBase
• Apache Hedwig
• Apache Kafka
• Apache S4
• Apache Solr

Nguồn: https://cwiki.apache.org/confluence/display/ZOOKEEPER/PoweredBy

HBase sử dụng Zookeeper để điều phối các hoạt động mà "nút đầu" của nó chịu trách nhiệm trước phiên bản hiện tại. Việc chuyển sang sử dụng Zookeeper có nghĩa là điều khiển trung tâm không còn là một điểm thất bại.

Zookeeper rất linh hoạt; đây là một ví dụ về việc sử dụng nó để tạo một hàng đợi đồng thời phân tán:

http://blog.cloudera.com/blog/2009/05/building-a-distributed-concurrent-queue-with-apache-zookeeper/

Tất nhiên, bạn cũng có thể sử dụng nó để tạo khóa tài nguyên, v.v. trong hệ thống phân tán.

Câu hỏi cũ, nhưng vì trang này xuất hiện đầu tiên trên tìm kiếm của Google về các trường hợp sử dụng của người giữ vườn thú, tôi nghĩ tốt nhất là nên đưa ra một danh sách cập nhật

1. wikipedia
2. wiki của người giữ vườn thú
3. người dùng thực

Norbert là một ví dụ điển hình từ hệ thống sản xuất có khả năng mở rộng. Tôi nói chung, nó tích hợp Netty, Bộ đệm giao thức và Zookeeper vào một khung công tác nhẹ để chạy các dịch vụ theo nhóm. Bộ đệm giao thức được sử dụng để chỉ định API dịch vụ của bạn, Netty triển khai các trừu tượng hóa lớp truyền tải và Zookeeper về cơ bản là một dịch vụ khám phá có khả năng chịu lỗi.

Mỗi khi một cá thể dịch vụ được khởi động, Norbert sẽ đăng ký nó như một thể hiện có sẵn của một loại dịch vụ cụ thể. Từ góc độ triển khai, nó tạo ra hai cây Zookeeper:

• "/ ServiceName / thành viên" liệt kê tất cả các phiên bản đã biết của dịch vụ
• "/ ServiceName / available" liệt kê các phiên bản hiện có của dịch vụ

Thuộc tính quan trọng nhất cho mỗi nút là url sử dụng để kết nối với phiên bản dịch vụ tương ứng. Nó cho phép cân bằng tải phía máy khách - một máy khách Norbert tìm thấy danh sách các url cho một tên dịch vụ nhất định và cố gắng kết nối với một trong số chúng theo thứ tự nào đó (ví dụ: round-robin hoặc random).

Có một bài báo hay ZooKeeper - Vua điều phối về ZooKeeper tại Elastic Cloud.

Ví dụ: tại Found, chúng tôi sử dụng ZooKeeper rộng rãi để khám phá, phân bổ tài nguyên, bầu cử lãnh đạo và các thông báo có mức độ ưu tiên cao. Trong bài viết này, chúng tôi sẽ giới thiệu cho bạn về Vua điều phối này và xem xét kỹ cách chúng tôi sử dụng ZooKeeper tại Found

Solr cũng đang làm việc để tích hợp ZooKeeper . Tại đây, bạn có thể thấy chúng đang sử dụng cho cấu hình động, sharding, loại bỏ SPOF (bầu cử chủ / nô lệ), tái cân bằng, v.v.

• Storm được sử dụng bởi một số công ty (Twitter và Groupon là hai trong số những công ty được biết đến nhiều hơn) và dựa vào Zookeeper.
• Kafka được Linkedin sử dụng và dựa vào Zookeeper.

Storm sử dụng Zookeeper để lưu trữ tất cả trạng thái để nó có thể phục hồi sau khi ngừng hoạt động trong bất kỳ dịch vụ thành phần (phân tán) nào của nó.

Điều này cho phép các dịch vụ thành phần không có trạng thái và chỉ cần tải xuống hoặc đồng bộ hóa với máy chủ Zookeeper khi cần dữ liệu cấu hình. Nếu bạn đã từng phải khôi phục một máy chủ sản xuất, bạn sẽ biết điều này có thể gây đau đầu như thế nào!

Người tiêu dùng trong hàng đợi Kafka có thể sử dụng Zookeeper để lưu trữ thông tin (mốc nước cao) về những gì đã được tiêu thụ từ hàng đợi.

Trong trường hợp của tôi, chúng tôi đang lưu trữ các tệp cấu hình trong nhóm người giữ vườn thú để sử dụng cụm. Chúng tôi đang sử dụng lược đồ leader -> follower. Vì vậy, khi một người trông coi sở thú xuống, chúng tôi được chuyển sang một người khác (chế độ sao chép)

Zookeeper được sử dụng cho nhiều thứ khác ngoài cấu hình. Đây là danh sách chính thức của các nguyên mẫu phân tán thực hiện bằng cách sử dụng Zookeeper.

https://zookeeper.apache.org/doc/current/recipes.html

Neo4j sử dụng Zookeeper máy chủ doanh nghiệp Tính khả dụng cao của họ! http://docs.neo4j.org/chunked/milestone/ha.html

datomic sử dụng apache Zookeeper để quản lý lưu trữ dữ liệu dựa trên riak .

Vì Riak chỉ hỗ trợ tính nhất quán cuối cùng tại thời điểm này, hệ thống Datomic chạy trên Riak cũng sử dụng Apache ZooKeeper, một dịch vụ điều phối rất sẵn có. Datomic sử dụng ZooKeeper để điều phối chuyển đổi dự phòng giao dịch viên và cho một số ít khóa trên mỗi cơ sở dữ liệu cần được cập nhật với CAS. nguồn: http://blog.datomic.com/2012/11/riak-and-couchbase-support.html

Dưới đây là một số chi tiết về cách HBase sử dụng ZooKeeper , bao gồm thông tin về cách họ dự định sử dụng nó trong tương lai. Nói chung, họ sử dụng nó để loại bỏ SPOF trên các máy chủ khu vực thông qua bầu cử Lãnh đạo được thực hiện bằng ZooKeeper.