Bất cứ ai có thể cho tôi biết sự khác biệt giữa bảng bên ngoài của Hive và bảng bên trong. Tôi biết sự khác biệt đến khi bỏ bàn xuống. Tôi không hiểu ý bạn vì dữ liệu và siêu dữ liệu bị xóa trong bảng nội bộ và chỉ siêu dữ liệu bị xóa trong bảng bên ngoài. Bất cứ ai có thể giải thích cho tôi về các nút làm ơn.
Câu trả lời:
Hive có một cơ sở dữ liệu quan hệ trên nút chính mà nó sử dụng để theo dõi trạng thái. Ví dụ, khi bạn CREATE TABLE FOO(foo string) LOCATION 'hdfs://tmp/';, lược đồ bảng này được lưu trữ trong cơ sở dữ liệu.
Nếu bạn có một bảng được phân vùng, các phân vùng được lưu trữ trong cơ sở dữ liệu (điều này cho phép hive sử dụng danh sách các phân vùng mà không cần vào hệ thống tệp và tìm chúng, v.v.). Những thứ này là 'siêu dữ liệu'.
Khi bạn thả một bảng nội bộ, nó sẽ giảm dữ liệu và nó cũng làm giảm siêu dữ liệu.
Khi bạn thả một bảng bên ngoài, nó chỉ làm giảm dữ liệu meta. Điều đó có nghĩa là hive hiện không biết gì về dữ liệu đó. Nó không chạm vào dữ liệu của chính nó.
Bảng Hive có thể được tạo dưới dạng BÊN NGOÀI hoặc NỘI BỘ. Đây là một lựa chọn ảnh hưởng đến cách dữ liệu được tải, kiểm soát và quản lý.
Sử dụng bảng BÊN NGOÀI khi:
Sử dụng bảng NỘI BỘ khi:
Dữ liệu là tạm thời.
Bạn muốn Hive quản lý hoàn toàn vòng đời của bảng và dữ liệu.
Đối với Bảng bên ngoài, Hive lưu trữ dữ liệu trong VỊ TRÍ được chỉ định trong quá trình tạo bảng (thường không nằm trong thư mục kho). Nếu bảng bên ngoài bị xóa, thì siêu dữ liệu bảng sẽ bị xóa nhưng không xóa dữ liệu.
Đối với bảng Internal, Hive lưu trữ dữ liệu vào thư mục kho của nó. Nếu bảng bị xóa thì cả siêu dữ liệu bảng và dữ liệu sẽ bị xóa.
Sự khác biệt giữa bảng Nội bộ và Bảng bên ngoài:
Đối với bảng bên ngoài -
Bảng bên ngoài lưu trữ các tệp trên máy chủ HDFS nhưng các bảng hoàn toàn không được liên kết với tệp nguồn.
Nếu bạn xóa một bảng bên ngoài, tệp vẫn còn trên máy chủ HDFS.
Ví dụ: nếu bạn tạo một bảng bên ngoài có tên “table_test” trong HIVE bằng HIVE-QL và liên kết bảng với tệp “tệp” , thì việc xóa “table_test” khỏi HIVE sẽ không xóa “tệp” khỏi HDFS .
Các tệp bảng bên ngoài có thể truy cập được đối với bất kỳ ai có quyền truy cập vào cấu trúc tệp HDFS và do đó bảo mật cần được quản lý ở cấp tệp / thư mục HDFS.
Dữ liệu siêu dữ liệu được duy trì trên nút chính và việc xóa bảng bên ngoài khỏi HIVE chỉ xóa siêu dữ liệu chứ không phải dữ liệu / tệp.
Đối với bảng nội bộ-
- Được lưu trữ trong một thư mục dựa trên cài đặt trong
hive.metastore.warehouse.dir, theo mặc định, các bảng nội bộ được lưu trữ trong thư mục sau “/ user / hive / kho”, bạn có thể thay đổi nó bằng cách cập nhật vị trí trong tệp cấu hình.- Xóa bảng sẽ xóa siêu dữ liệu và dữ liệu từ nút chính và HDFS tương ứng.
- Bảo mật tệp bảng nội bộ chỉ được kiểm soát thông qua HIVE. Bảo mật cần được quản lý trong HIVE, có thể là ở cấp giản đồ (tùy thuộc vào tổ chức).
Hive có thể có các bảng bên trong hoặc bên ngoài, đây là lựa chọn ảnh hưởng đến cách dữ liệu được tải, kiểm soát và quản lý.
Sử dụng bảng BÊN NGOÀI khi:
Sử dụng bảng NỘI BỘ khi:
Nguồn:
Dữ liệu bảng nội bộ được lưu trữ trong thư mục kho, trong khi dữ liệu bảng bên ngoài được lưu trữ tại vị trí bạn đã đề cập trong quá trình tạo bảng.
Vì vậy, khi bạn xóa một bảng bên trong, nó sẽ xóa lược đồ cũng như dữ liệu trong thư mục kho, nhưng đối với một bảng bên ngoài, đó chỉ là lược đồ mà bạn sẽ mất.
Vì vậy, khi bạn muốn một bảng bên ngoài khôi phục lại bạn sau khi xóa nó, có thể tạo lại một bảng với cùng một lược đồ và trỏ nó đến vị trí dữ liệu ban đầu. Hy vọng nó đã rõ ràng bây giờ.
Sự khác biệt duy nhất về hành vi (không phải mục đích sử dụng) dựa trên nghiên cứu và thử nghiệm hạn chế của tôi cho đến nay (sử dụng Hive 1.1.0 -cdh5.12.0) dường như là khi một bảng bị bỏ
(LƯU Ý: Xem Phần 'Bảng được quản lý và Bảng bên ngoài' trong https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL liệt kê một số điểm khác biệt khác mà tôi không hoàn toàn hiểu)
Tôi tin rằng Hive chọn vị trí cần tạo bảng dựa trên thứ tự ưu tiên sau từ trên xuống dưới
Khi tùy chọn "Vị trí" không được sử dụng trong quá trình "tạo bảng tổ", quy tắc ưu tiên trên được sử dụng. Điều này có thể áp dụng cho cả bảng Bên trong và bảng Bên ngoài. Điều này có nghĩa là một bảng Nội bộ không nhất thiết phải nằm trong thư mục Kho và có thể nằm ở bất kỳ nơi nào khác.
Lưu ý: Tôi có thể đã bỏ lỡ một số trường hợp, nhưng dựa trên khả năng khám phá hạn chế của tôi, hoạt động của cả bảng Internal và Extenal dường như giống nhau ngoại trừ một điểm khác biệt (xóa dữ liệu) được mô tả ở trên. Tôi đã thử các trường hợp sau cho cả bảng Nội bộ và Bảng bên ngoài.
Trong các bảng bên ngoài, nếu bạn thả nó, nó chỉ xóa lược đồ của bảng, dữ liệu bảng tồn tại ở vị trí thực. Vì vậy, để xóa dữ liệu, hãy sử dụng tên bảng hadoop fs - rmr. Tổ ong bảng được quản lý sẽ có toàn quyền kiểm soát các bảng. Trong các bảng bên ngoài, người dùng sẽ có quyền kiểm soát nó.
Các bảng bên trong hữu ích nếu bạn muốn Hive quản lý toàn bộ vòng đời dữ liệu của mình bao gồm cả việc xóa, trong khi các bảng bên ngoài hữu ích khi các tệp đang được sử dụng bên ngoài Hive.
Bảng tổ ong bên ngoài có ưu điểm là nó không xóa các tập tin khi chúng ta thả bảng, chúng ta có thể thiết lập các định dạng hàng với các cài đặt khác nhau, như serde .... phân định
Cũng nên nhớ rằng Hive là một kho dữ liệu lớn. Khi bạn muốn xóa một bảng, bạn không muốn mất hàng Gigabyte hoặc Terabyte dữ liệu. Việc tạo, di chuyển và sao chép dữ liệu ở quy mô đó có thể tốn nhiều thời gian. Khi bạn thả tổ ong bảng 'Được quản lý' cũng sẽ thùng rác dữ liệu của nó. Khi bạn thả bảng 'Bên ngoài', chỉ định nghĩa giản đồ từ siêu cửa hàng hive bị xóa. Dữ liệu trên hdfs vẫn còn.
Hãy xem xét tình huống này phù hợp nhất với Bảng bên ngoài:
Một công việc MapReduce (MR) lọc một tệp nhật ký khổng lồ để lấy ra ncác tệp nhật ký phụ (ví dụ: mỗi tệp nhật ký phụ chứa một nhật ký loại thông báo cụ thể) và đầu ra tức là ncác tệp nhật ký phụ được lưu trữ trong hdfs.
Các tệp nhật ký này sẽ được tải vào các bảng Hive để thực hiện phân tích sâu hơn, trong trường hợp này, tôi khuyên bạn nên sử dụng (các) Bảng bên ngoài, bởi vì các tệp nhật ký thực tế được tạo và sở hữu bởi một quy trình bên ngoài, tức là một công việc MR bên cạnh bạn có thể tránh thêm bước tải từng tệp nhật ký đã tạo vào bảng Hive tương ứng.
hive chỉ lưu trữ dữ liệu meta ở vùng di căn và dữ liệu gốc ở bên ngoài tổ ong khi chúng tôi sử dụng bảng bên ngoài, chúng tôi có thể cung cấp vị trí '' bằng cách này, dữ liệu ban đầu của chúng tôi sẽ không ảnh hưởng khi chúng tôi bỏ bảng
Khi đã có dữ liệu trong HDFS, một bảng Hive bên ngoài có thể được tạo để mô tả dữ liệu. Nó được gọi là BÊN NGOÀI vì dữ liệu trong bảng bên ngoài được chỉ định trong thuộc tính VỊ TRÍ thay vì thư mục kho mặc định.
Khi giữ dữ liệu trong các bảng nội bộ, Hive quản lý đầy đủ vòng đời của bảng và dữ liệu. Điều này có nghĩa là dữ liệu sẽ bị xóa sau khi bảng nội bộ bị xóa. Nếu bảng bên ngoài bị xóa, siêu dữ liệu bảng sẽ bị xóa nhưng dữ liệu được giữ lại. Hầu hết thời gian, một bảng bên ngoài được ưu tiên để tránh xóa nhầm dữ liệu cùng với các bảng.
Đối với các bảng được quản lý, Hive kiểm soát vòng đời của dữ liệu của chúng. Hive lưu trữ dữ liệu cho các bảng được quản lý trong một thư mục con trong thư mục được xác định bởi hive.metastore.warehouse.dir theo mặc định.
Khi chúng tôi thả một bảng được quản lý, Hive sẽ xóa dữ liệu trong bảng, nhưng các bảng được quản lý ít thuận tiện hơn cho việc chia sẻ với các công cụ khác. Ví dụ: giả sử chúng tôi có dữ liệu được tạo và sử dụng chủ yếu bởi Pig, nhưng chúng tôi muốn chạy một số truy vấn đối với dữ liệu đó, nhưng không cấp cho Hive quyền sở hữu dữ liệu.
Tại thời điểm đó, bảng bên ngoài được định nghĩa trỏ đến dữ liệu đó, nhưng không có quyền sở hữu nó.
Trong Hive Chúng ta cũng có thể tạo một bảng bên ngoài. Nó yêu cầu Hive tham chiếu đến dữ liệu ở vị trí hiện có bên ngoài thư mục kho. Bỏ bảng bên ngoài sẽ xóa siêu dữ liệu nhưng không xóa dữ liệu.
Tôi muốn thêm điều đó
Nói một cách đơn giản, có hai điều:
Hive có thể quản lý những thứ trong kho tức là nó sẽ không xóa dữ liệu ra khỏi kho. Khi chúng tôi xóa bảng:
1) Đối với bảng nội bộ, dữ liệu được quản lý nội bộ trong kho. Vì vậy, sẽ bị xóa.
2) Đối với các bảng bên ngoài, dữ liệu được quản lý vĩnh viễn từ kho. Vì vậy, không thể bị xóa và các khách hàng khác sau đó hive cũng có thể sử dụng nó.