Cách tối ưu để nối / gộp các chuỗi

Tôi đang tìm cách tổng hợp các chuỗi từ các hàng khác nhau thành một hàng duy nhất. Tôi đang tìm cách thực hiện việc này ở nhiều nơi khác nhau, vì vậy có một chức năng hỗ trợ việc này sẽ rất tốt. Tôi đã thử các giải pháp bằng cách sử dụng COALESCEvà FOR XML, nhưng họ không cắt nó cho tôi.

Tổng hợp chuỗi sẽ làm một cái gì đó như sau:

id | Name                    Result: id | Names
-- - ----                            -- - -----
1  | Matt                            1  | Matt, Rocks
1  | Rocks                           2  | Stylus
2  | Stylus

Tôi đã xem xét các hàm tổng hợp do CLR định nghĩa để thay thế COALESCEvà FOR XML, nhưng rõ ràng SQL Azure không hỗ trợ nội dung do CLR định nghĩa, đó là một điều khó khăn đối với tôi vì tôi biết có thể sử dụng nó sẽ giải quyết được rất nhiều vấn đề cho tôi.

Có workaround có thể, hoặc các phương pháp tối ưu tương tự (mà có thể không được như tối ưu như CLR, nhưng hey Tôi sẽ đưa những gì tôi có thể nhận được) mà tôi có thể sử dụng để tổng hợp công cụ của tôi?

GIẢI PHÁP

Định nghĩa về tối ưu có thể khác nhau, nhưng đây là cách nối các chuỗi từ các hàng khác nhau bằng Transact SQL thông thường, sẽ hoạt động tốt trong Azure.

;WITH Partitioned AS
(
    SELECT 
        ID,
        Name,
        ROW_NUMBER() OVER (PARTITION BY ID ORDER BY Name) AS NameNumber,
        COUNT(*) OVER (PARTITION BY ID) AS NameCount
    FROM dbo.SourceTable
),
Concatenated AS
(
    SELECT 
        ID, 
        CAST(Name AS nvarchar) AS FullName, 
        Name, 
        NameNumber, 
        NameCount 
    FROM Partitioned 
    WHERE NameNumber = 1

    UNION ALL

    SELECT 
        P.ID, 
        CAST(C.FullName + ', ' + P.Name AS nvarchar), 
        P.Name, 
        P.NameNumber, 
        P.NameCount
    FROM Partitioned AS P
        INNER JOIN Concatenated AS C 
                ON P.ID = C.ID 
                AND P.NameNumber = C.NameNumber + 1
)
SELECT 
    ID,
    FullName
FROM Concatenated
WHERE NameNumber = NameCount

GIẢI TRÌNH

Cách tiếp cận này bao gồm ba bước:

1. Đánh số các hàng bằng cách sử dụng OVERvà PARTITIONnhóm và sắp xếp chúng khi cần thiết cho việc nối. Kết quả là PartitionedCTE. Chúng tôi giữ số lượng hàng trong mỗi phân vùng để lọc kết quả sau này.

2. Sử dụng CTE đệ quy ( Concatenated) lặp qua số hàng ( NameNumbercột) thêm Namegiá trị vào FullNamecột.

3. Lọc ra tất cả các kết quả trừ những kết quả có kết quả cao nhất NameNumber.

Xin lưu ý rằng để làm cho truy vấn này có thể dự đoán được, người ta phải xác định cả nhóm (ví dụ: trong kịch bản của bạn các hàng với cùng một IDđược nối) và sắp xếp (tôi giả sử rằng bạn chỉ cần sắp xếp chuỗi theo thứ tự bảng chữ cái trước khi nối).

Tôi đã nhanh chóng thử nghiệm giải pháp trên SQL Server 2012 với dữ liệu sau:

INSERT dbo.SourceTable (ID, Name)
VALUES 
(1, 'Matt'),
(1, 'Rocks'),
(2, 'Stylus'),
(3, 'Foo'),
(3, 'Bar'),
(3, 'Baz')

Kết quả truy vấn:

ID          FullName
----------- ------------------------------
2           Stylus
3           Bar, Baz, Foo
1           Matt, Rocks

Các phương pháp sử dụng FOR XML PATH như bên dưới có thực sự chậm không? Itzik Ben-Gan viết rằng phương pháp này có hiệu suất tốt trong cuốn sách Truy vấn T-SQL của mình (Theo quan điểm của tôi, ông Ben-Gan là một nguồn đáng tin cậy).

create table #t (id int, name varchar(20))

insert into #t
values (1, 'Matt'), (1, 'Rocks'), (2, 'Stylus')

select  id
        ,Names = stuff((select ', ' + name as [text()]
        from #t xt
        where xt.id = t.id
        for xml path('')), 1, 2, '')
from #t t
group by id

Đối với những người trong chúng tôi, những người đã tìm thấy điều này và không sử dụng Cơ sở dữ liệu Azure SQL:

STRING_AGG()trong PostgreSQL, SQL Server 2017 và Azure SQL
https://www.postgresql.org/docs/current/static/functions-aggregate.html
https://docs.microsoft.com/en-us/sql/t-sql/ functions / string-agg-transact-sql

GROUP_CONCAT()trong MySQL
http://dev.mysql.com/doc/refman/5.7/en/group-by-functions.html# Chức năng_group-concat

(Cảm ơn @Brianjorden và @milanio về bản cập nhật Azure)

Mã ví dụ:

select Id
, STRING_AGG(Name, ', ') Names 
from Demo
group by Id

SQL Fiddle: http://sqlfiddle.com/#!18/89251/1

Mặc dù câu trả lời @serge là đúng nhưng tôi đã so sánh mức tiêu thụ thời gian của anh ấy với xmlpath và tôi thấy xmlpath nhanh hơn. Tôi sẽ viết mã so sánh và bạn có thể tự mình kiểm tra. Đây là cách @serge:

DECLARE @startTime datetime2;
DECLARE @endTime datetime2;
DECLARE @counter INT;
SET @counter = 1;

set nocount on;

declare @YourTable table (ID int, Name nvarchar(50))

WHILE @counter < 1000
BEGIN
    insert into @YourTable VALUES (ROUND(@counter/10,0), CONVERT(NVARCHAR(50), @counter) + 'CC')
    SET @counter = @counter + 1;
END

SET @startTime = GETDATE()

;WITH Partitioned AS
(
    SELECT 
        ID,
        Name,
        ROW_NUMBER() OVER (PARTITION BY ID ORDER BY Name) AS NameNumber,
        COUNT(*) OVER (PARTITION BY ID) AS NameCount
    FROM @YourTable
),
Concatenated AS
(
    SELECT ID, CAST(Name AS nvarchar) AS FullName, Name, NameNumber, NameCount FROM Partitioned WHERE NameNumber = 1

    UNION ALL

    SELECT 
        P.ID, CAST(C.FullName + ', ' + P.Name AS nvarchar), P.Name, P.NameNumber, P.NameCount
    FROM Partitioned AS P
        INNER JOIN Concatenated AS C ON P.ID = C.ID AND P.NameNumber = C.NameNumber + 1
)
SELECT 
    ID,
    FullName
FROM Concatenated
WHERE NameNumber = NameCount

SET @endTime = GETDATE();

SELECT DATEDIFF(millisecond,@startTime, @endTime)
--Take about 54 milliseconds

Và đây là cách xmlpath:

DECLARE @startTime datetime2;
DECLARE @endTime datetime2;
DECLARE @counter INT;
SET @counter = 1;

set nocount on;

declare @YourTable table (RowID int, HeaderValue int, ChildValue varchar(5))

WHILE @counter < 1000
BEGIN
    insert into @YourTable VALUES (@counter, ROUND(@counter/10,0), CONVERT(NVARCHAR(50), @counter) + 'CC')
    SET @counter = @counter + 1;
END

SET @startTime = GETDATE();

set nocount off
SELECT
    t1.HeaderValue
        ,STUFF(
                   (SELECT
                        ', ' + t2.ChildValue
                        FROM @YourTable t2
                        WHERE t1.HeaderValue=t2.HeaderValue
                        ORDER BY t2.ChildValue
                        FOR XML PATH(''), TYPE
                   ).value('.','varchar(max)')
                   ,1,2, ''
              ) AS ChildValues
    FROM @YourTable t1
    GROUP BY t1.HeaderValue

SET @endTime = GETDATE();

SELECT DATEDIFF(millisecond,@startTime, @endTime)
--Take about 4 milliseconds

Cập nhật: Ms SQL Server 2017+, Cơ sở dữ liệu Azure SQL

Bạn có thể sử dụng: STRING_AGG.

Cách sử dụng khá đơn giản đối với yêu cầu của OP:

SELECT id, STRING_AGG(name, ', ') AS names
FROM some_table
GROUP BY id

Đọc thêm

Chà, câu trả lời cũ của tôi đã bị xóa đúng (còn nguyên bên dưới), nhưng nếu có ai đó tình cờ hạ cánh ở đây trong tương lai, thì có một tin tốt. Họ cũng đã chèn STRING_AGG () trong Cơ sở dữ liệu Azure SQL. Điều đó sẽ cung cấp chức năng chính xác được yêu cầu ban đầu trong bài đăng này với hỗ trợ gốc và được tích hợp sẵn. @hrobky đã đề cập điều này trước đây như một tính năng của SQL Server 2016 vào thời điểm đó.

--- Bài cũ: Ở đây không đủ uy tín để trả lời trực tiếp @hrobky, nhưng STRING_AGG trông rất tuyệt, tuy nhiên hiện tại nó chỉ khả dụng trong SQL Server 2016 vNext. Hy vọng rằng nó cũng sẽ sớm được chuyển sang Azure SQL Datababse ..

Bạn có thể sử dụng + = để nối các chuỗi, ví dụ:

declare @test nvarchar(max)
set @test = ''
select @test += name from names

nếu bạn chọn @test, nó sẽ cung cấp cho bạn tất cả các tên được nối

Tôi thấy câu trả lời của Serge rất hứa hẹn, nhưng tôi cũng gặp phải các vấn đề về hiệu suất với nó như đã viết. Tuy nhiên, khi tôi cấu trúc lại nó để sử dụng các bảng tạm thời và không bao gồm các bảng CTE kép, hiệu suất đã giảm từ 1 phút 40 giây xuống dưới giây cho 1000 bản ghi kết hợp. Đây là phần mềm dành cho bất kỳ ai cần thực hiện việc này mà không có FOR XML trên các phiên bản SQL Server cũ hơn:

DECLARE @STRUCTURED_VALUES TABLE (
     ID                 INT
    ,VALUE              VARCHAR(MAX) NULL
    ,VALUENUMBER        BIGINT
    ,VALUECOUNT         INT
);

INSERT INTO @STRUCTURED_VALUES
SELECT   ID
        ,VALUE
        ,ROW_NUMBER() OVER (PARTITION BY ID ORDER BY VALUE) AS VALUENUMBER
        ,COUNT(*) OVER (PARTITION BY ID)    AS VALUECOUNT
FROM    RAW_VALUES_TABLE;

WITH CTE AS (
    SELECT   SV.ID
            ,SV.VALUE
            ,SV.VALUENUMBER
            ,SV.VALUECOUNT
    FROM    @STRUCTURED_VALUES SV
    WHERE   VALUENUMBER = 1

    UNION ALL

    SELECT   SV.ID
            ,CTE.VALUE + ' ' + SV.VALUE AS VALUE
            ,SV.VALUENUMBER
            ,SV.VALUECOUNT
    FROM    @STRUCTURED_VALUES SV
    JOIN    CTE 
        ON  SV.ID = CTE.ID
        AND SV.VALUENUMBER = CTE.VALUENUMBER + 1

)
SELECT   ID
        ,VALUE
FROM    CTE
WHERE   VALUENUMBER = VALUECOUNT
ORDER BY ID
;