Chọn n hàng ngẫu nhiên từ bảng SQL Server

Tôi đã có một bảng SQL Server với khoảng 50.000 hàng trong đó. Tôi muốn chọn khoảng 5.000 hàng trong số đó một cách ngẫu nhiên. Tôi đã nghĩ ra một cách phức tạp, tạo một bảng tạm thời với cột "số ngẫu nhiên", sao chép bảng của tôi vào đó, lặp qua bảng tạm thời và cập nhật từng hàng với RAND(), sau đó chọn từ bảng đó trong đó cột số ngẫu nhiên < 0,1. Tôi đang tìm kiếm một cách đơn giản hơn để làm điều đó, trong một tuyên bố duy nhất nếu có thể.

Bài viết này đề nghị sử dụng NEWID()chức năng. Điều đó có vẻ đầy hứa hẹn, nhưng tôi không thể thấy làm thế nào tôi có thể chọn một tỷ lệ hàng nhất định.

Bất cứ ai từng làm điều này trước đây? Có ý kiến ​​gì không?

select top 10 percent * from [yourtable] order by newid()

Đáp lại bình luận "thùng rác tinh khiết" liên quan đến các bảng lớn: bạn có thể làm như thế này để cải thiện hiệu suất.

select  * from [yourtable] where [yourPk] in 
(select top 10 percent [yourPk] from [yourtable] order by newid())

Chi phí của việc này sẽ là quét chính các giá trị cộng với chi phí tham gia, mà trên một bảng lớn với một lựa chọn tỷ lệ nhỏ là hợp lý.

Tùy thuộc vào nhu cầu của bạn, TABLESAMPLEsẽ giúp bạn có được hiệu suất gần như ngẫu nhiên và tốt hơn. cái này có sẵn trên máy chủ MS SQL 2005 trở lên.

TABLESAMPLE sẽ trả về dữ liệu từ các trang ngẫu nhiên thay vì các hàng ngẫu nhiên và do đó, thậm chí không lấy lại dữ liệu mà nó sẽ không trả về.

Trên một cái bàn rất lớn tôi đã thử

select top 1 percent * from [tablename] order by newid()

mất hơn 20 phút.

select * from [tablename] tablesample(1 percent)

mất 2 phút.

Hiệu suất cũng sẽ cải thiện trên các mẫu nhỏ hơn trong TABLESAMPLEkhi nó sẽ không với newid().

Xin lưu ý rằng điều này không ngẫu nhiên như newid()phương pháp nhưng sẽ cung cấp cho bạn một mẫu tốt.

Xem trang MSDN .

newid () / order by sẽ hoạt động, nhưng sẽ rất tốn kém cho các tập kết quả lớn vì nó phải tạo id cho mỗi hàng, sau đó sắp xếp chúng.

TABLESAMPLE () tốt từ quan điểm hiệu suất, nhưng bạn sẽ nhận được kết quả (tất cả các hàng trên một trang sẽ được trả về).

Để có một mẫu ngẫu nhiên thực sự tốt hơn, cách tốt nhất là lọc ra các hàng ngẫu nhiên. Tôi đã tìm thấy mẫu mã sau trong Bài viết trực tuyến Giới hạn bộ bài viết của SQL Server bằng cách sử dụng TABLESAMPLE :

Nếu bạn thực sự muốn một mẫu ngẫu nhiên của các hàng riêng lẻ, hãy sửa đổi truy vấn của bạn để lọc ra các hàng ngẫu nhiên, thay vì sử dụng TABLESAMPLE. Ví dụ: truy vấn sau sử dụng hàm NEWID để trả về khoảng một phần trăm các hàng của bảng Sales.SalesOrderDetail:

SELECT * FROM Sales.SalesOrderDetail
WHERE 0.01 >= CAST(CHECKSUM(NEWID(),SalesOrderID) & 0x7fffffff AS float)
              / CAST (0x7fffffff AS int)

Cột SalesOrderID được bao gồm trong biểu thức CHECKSUM để NEWID () đánh giá một lần trên mỗi hàng để đạt được lấy mẫu trên cơ sở mỗi hàng. Biểu thức CAST (CHECKSUM (NEWID (), SalesOrderID) & 0x7fffffff AS float / CAST (0x7fffffff AS int) ước tính giá trị float ngẫu nhiên trong khoảng từ 0 đến 1.

Khi chạy với bảng có 1.000.000 hàng, đây là kết quả của tôi:

SET STATISTICS TIME ON
SET STATISTICS IO ON

/* newid()
   rows returned: 10000
   logical reads: 3359
   CPU time: 3312 ms
   elapsed time = 3359 ms
*/
SELECT TOP 1 PERCENT Number
FROM Numbers
ORDER BY newid()

/* TABLESAMPLE
   rows returned: 9269 (varies)
   logical reads: 32
   CPU time: 0 ms
   elapsed time: 5 ms
*/
SELECT Number
FROM Numbers
TABLESAMPLE (1 PERCENT)

/* Filter
   rows returned: 9994 (varies)
   logical reads: 3359
   CPU time: 641 ms
   elapsed time: 627 ms
*/    
SELECT Number
FROM Numbers
WHERE 0.01 >= CAST(CHECKSUM(NEWID(), Number) & 0x7fffffff AS float) 
              / CAST (0x7fffffff AS int)

SET STATISTICS IO OFF
SET STATISTICS TIME OFF

Nếu bạn có thể thoát khỏi việc sử dụng TABLESAMPLE, nó sẽ mang lại cho bạn hiệu suất tốt nhất. Nếu không, sử dụng phương thức newid () / filter. newid () / order by nên là giải pháp cuối cùng nếu bạn có tập kết quả lớn.

Chọn hàng ngẫu nhiên từ một bảng lớn trên MSDN có một giải pháp đơn giản, được khớp nối rõ ràng để giải quyết các mối quan tâm về hiệu suất quy mô lớn.

  SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

Liên kết này có một so sánh thú vị giữa Orderby (NEWID ()) và các phương thức khác cho các bảng có 1, 7 và 13 triệu hàng.

Thông thường, khi các câu hỏi về cách chọn các hàng ngẫu nhiên được hỏi trong các nhóm thảo luận, truy vấn NEWID được đề xuất; nó đơn giản và hoạt động rất tốt cho các bảng nhỏ.

SELECT TOP 10 PERCENT *
  FROM Table1
  ORDER BY NEWID()

Tuy nhiên, truy vấn NEWID có một nhược điểm lớn khi bạn sử dụng nó cho các bảng lớn. Mệnh đề ORDER BY làm cho tất cả các hàng trong bảng được sao chép vào cơ sở dữ liệu tempdb, nơi chúng được sắp xếp. Điều này gây ra hai vấn đề:

1. Các hoạt động phân loại thường có chi phí cao liên quan đến nó. Sắp xếp có thể sử dụng rất nhiều đĩa I / O và có thể chạy trong một thời gian dài.
2. Trong trường hợp xấu nhất, tempdb có thể hết dung lượng. Trong trường hợp tốt nhất, tempdb có thể chiếm một lượng lớn dung lượng đĩa sẽ không bao giờ được thu hồi nếu không có lệnh thu nhỏ thủ công.

Những gì bạn cần là một cách để chọn các hàng ngẫu nhiên sẽ không sử dụng tempdb và sẽ không bị chậm hơn nhiều khi bảng trở nên lớn hơn. Đây là một ý tưởng mới về cách làm điều đó:

SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

Ý tưởng cơ bản đằng sau truy vấn này là chúng tôi muốn tạo một số ngẫu nhiên trong khoảng từ 0 đến 99 cho mỗi hàng trong bảng và sau đó chọn tất cả các hàng có số ngẫu nhiên nhỏ hơn giá trị của phần trăm được chỉ định. Trong ví dụ này, chúng tôi muốn khoảng 10 phần trăm các hàng được chọn ngẫu nhiên; do đó, chúng tôi chọn tất cả các hàng có số ngẫu nhiên nhỏ hơn 10.

Vui lòng đọc toàn bộ bài viết trong MSDN .

Nếu bạn (không giống như OP) cần một số lượng hồ sơ cụ thể (điều này làm cho cách tiếp cận CHECKSUM trở nên khó khăn) và mong muốn một mẫu ngẫu nhiên hơn TABLESAMPLE tự cung cấp và cũng muốn tốc độ tốt hơn CHECKSUM, bạn có thể thực hiện với việc sáp nhập Các phương thức TABLESAMPLE và NEWID (), như thế này:

DECLARE @sampleCount int = 50
SET STATISTICS TIME ON

SELECT TOP (@sampleCount) * 
FROM [yourtable] TABLESAMPLE(10 PERCENT)
ORDER BY NEWID()

SET STATISTICS TIME OFF

Trong trường hợp của tôi, đây là sự thỏa hiệp đơn giản nhất giữa tính ngẫu nhiên (thực sự không phải vậy, tôi biết) và tốc độ. Thay đổi tỷ lệ phần trăm TABLESAMPLE (hoặc hàng) phù hợp - tỷ lệ phần trăm càng cao, mẫu càng ngẫu nhiên, nhưng mong đợi tốc độ giảm tuyến tính. (Lưu ý rằng TABLESAMPLE sẽ không chấp nhận một biến)

Chỉ cần đặt hàng bảng theo một số ngẫu nhiên và thu được 5.000 hàng đầu tiên bằng cách sử dụng TOP.

SELECT TOP 5000 * FROM [Table] ORDER BY newid();

CẬP NHẬT

Chỉ cần thử nó và một newid()cuộc gọi là đủ - không cần tất cả các diễn viên và tất cả các toán học.

Đây là sự kết hợp giữa ý tưởng hạt giống ban đầu và tổng kiểm tra, theo tôi sẽ cho kết quả ngẫu nhiên đúng mà không phải trả chi phí cho NEWID ():

SELECT TOP [number] 
FROM table_name
ORDER BY RAND(CHECKSUM(*) * RAND())

Trong MySQL bạn có thể làm điều này:

SELECT `PRIMARY_KEY`, rand() FROM table ORDER BY rand() LIMIT 5000;

Chưa thấy biến thể này trong các câu trả lời. Tôi đã có một ràng buộc bổ sung khi tôi cần, được cung cấp một hạt giống ban đầu, để chọn cùng một bộ hàng mỗi lần.

Đối với MS SQL:

Ví dụ tối thiểu:

select top 10 percent *
from table_name
order by rand(checksum(*))

Thời gian thực hiện chuẩn hóa: 1,00

Ví dụ về NewId ():

select top 10 percent *
from table_name
order by newid()

Thời gian thực hiện chuẩn hóa: 1,02

NewId()chậm hơn đáng kể so với rand(checksum(*)), vì vậy bạn có thể không muốn sử dụng nó đối với các bộ hồ sơ lớn.

Lựa chọn với Seed ban đầu:

declare @seed int
set @seed = Year(getdate()) * month(getdate()) /* any other initial seed here */

select top 10 percent *
from table_name
order by rand(checksum(*) % @seed) /* any other math function here */

Nếu bạn cần chọn cùng một bộ đã cho một hạt giống, điều này dường như hoạt động.

Thử cái này:

SELECT TOP 10 Field1, ..., FieldN
FROM Table1
ORDER BY NEWID()

Nó xuất hiện newid () không thể được sử dụng trong mệnh đề where, vì vậy giải pháp này yêu cầu một truy vấn bên trong:

SELECT *
FROM (
    SELECT *, ABS(CHECKSUM(NEWID())) AS Rnd
    FROM MyTable
) vw
WHERE Rnd % 100 < 10        --10%

Tôi đã sử dụng nó trong truy vấn con và nó trả về cho tôi cùng một hàng trong truy vấn con

 SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

sau đó tôi đã giải quyết với việc bao gồm cả biến bảng cha ở đâu

SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              Where Mytable.ID>0
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

Lưu ý nơi kết án

Ngôn ngữ xử lý phía máy chủ đang sử dụng (ví dụ: PHP, .net, v.v.) không được chỉ định, nhưng nếu là PHP, hãy lấy số bắt buộc (hoặc tất cả các bản ghi) và thay vì ngẫu nhiên trong truy vấn sử dụng hàm xáo trộn của PHP. Tôi không biết .net có chức năng tương đương không nhưng nếu có thì hãy sử dụng chức năng đó nếu bạn đang sử dụng .net

ĐẶT HÀNG B RNG RAND () có thể có một hình phạt hiệu suất khá cao, tùy thuộc vào số lượng hồ sơ có liên quan.

Điều này làm việc cho tôi:

SELECT * FROM table_name
ORDER BY RANDOM()
LIMIT [number]