Cách sử dụng UTF-8 Collation trong cơ sở dữ liệu SQL Server?

Tôi đã di chuyển cơ sở dữ liệu từ mysql sang SQL Server (chính trị), cơ sở dữ liệu mysql ban đầu sử dụng UTF8.

Bây giờ tôi đọc /dba/7346/sql-server-2005-2008-utf-8-collation-charset rằng SQL Server 2008 không hỗ trợ utf8, đây có phải là một trò đùa?

Máy chủ SQL lưu trữ nhiều cơ sở dữ liệu, chủ yếu được mã hóa bằng tiếng Latinh. Vì db được di chuyển nhằm mục đích xuất bản web nên tôi muốn giữ mã hóa utf8. Tôi đã bỏ lỡ điều gì đó hoặc tôi có cần mã hóa / dec ở cấp ứng dụng không?

Không! Nó không phải là một trò đùa.

Hãy xem tại đây: http://msdn.microsoft.com/en-us/library/ms186939.aspx

Các kiểu dữ liệu ký tự là dữ liệu có độ dài cố định, nchar hoặc độ dài thay đổi, nvarchar, Unicode và sử dụng bộ ký tự UNICODE UCS-2.

Và cũng ở đây: http://en.wikipedia.org/wiki/UTF-16

UCS-2 cũ hơn (Bộ ký tự chung 2 byte) là kiểu mã hóa ký tự tương tự đã được thay thế bằng UTF-16 trong phiên bản 2.0 của tiêu chuẩn Unicode vào tháng 7 năm 1996.

UTF-8 không phải là một bộ ký tự, nó là một mã hóa. Bộ ký tự cho UTF-8 là Unicode. Nếu bạn muốn lưu trữ văn bản Unicode, bạn sử dụng nvarcharkiểu dữ liệu.

Nếu cơ sở dữ liệu sử dụng UTF-8 để lưu trữ văn bản, bạn vẫn không lấy văn bản ra dưới dạng dữ liệu UTF-8 được mã hóa, bạn sẽ lấy nó ra dưới dạng văn bản được giải mã.

Bạn có thể dễ dàng lưu trữ văn bản được mã hóa UTF-8 trong cơ sở dữ liệu, nhưng sau đó bạn không lưu trữ nó dưới dạng văn bản, bạn lưu trữ nó dưới dạng dữ liệu nhị phân ( varbinary).

Có vẻ như điều này cuối cùng sẽ được hỗ trợ trong SQL Server 2019! SQL Server 2019 - có gì mới?

Từ BOL:

Hỗ trợ UTF-8

Hỗ trợ đầy đủ cho mã hóa ký tự UTF-8 được sử dụng rộng rãi dưới dạng mã hóa nhập hoặc xuất, hoặc đối chiếu cấp cơ sở dữ liệu hoặc cấp cột cho dữ liệu văn bản. UTF-8 được phép vào CHARvà VARCHARkiểu dữ liệu, và được kích hoạt khi tạo hoặc thay đổi đối chiếu của một đối tượng để một collation với UTF8hậu tố.

Ví dụ, LATIN1_GENERAL_100_CI_AS_SCđể LATIN1_GENERAL_100_CI_AS_SC_UTF8. UTF-8 chỉ khả dụng cho các đối chiếu Windows hỗ trợ các ký tự bổ sung, như được giới thiệu trong SQL Server 2012. NCHARvà chỉ NVARCHARcho phép mã hóa UTF-16 và không thay đổi.

Tính năng này có thể giúp tiết kiệm dung lượng đáng kể, tùy thuộc vào bộ ký tự được sử dụng. Ví dụ, thay đổi một kiểu dữ liệu cột hiện có với chuỗi ASCII từ NCHAR(10)để CHAR(10)sử dụng UTF-8 cho phép đối chiếu, chuyển thành giảm gần 50% trong các yêu cầu lưu trữ. Việc giảm này là do NCHAR(10)yêu cầu 22 byte để lưu trữ, trong khi CHAR(10)yêu cầu 12 byte cho cùng một chuỗi Unicode.

Cập nhật 2019-05-14:

Tài liệu dường như đã được cập nhật ngay bây giờ và giải thích các tùy chọn của chúng tôi trong MSSQL 2019 trong phần " Hỗ trợ đối chiếu và Unicode ".

Cập nhật 2019-07-24:

Bài viết của Pedro Lopes - Giám đốc Chương trình Cấp cao @ Microsoft về việc giới thiệu hỗ trợ UTF-8 cho Cơ sở dữ liệu Azure SQL

Lưu ý rằng như của Microsoft SQL Server 2016, UTF-8 được hỗ trợ bởi bcp, BULK_INSERTvà OPENROWSET.

Phụ lục 2016-12-21: SQL Server 2016 SP1 hiện cho phép Nén Unicode (và hầu hết các tính năng trước đây chỉ dành cho Doanh nghiệp) cho tất cả các phiên bản của MS SQL bao gồm Standard và Express. Điều này không giống như hỗ trợ UTF-8, nhưng nó mang lại lợi ích tương tự nếu mục tiêu là giảm dung lượng ổ đĩa cho các bảng chữ cái phương Tây.

Hai UDF để đối phó với UTF-8 trong T-SQL:

CREATE Function UcsToUtf8(@src nvarchar(MAX)) returns varchar(MAX) as
begin
    declare @res varchar(MAX)='', @pi char(8)='%[^'+char(0)+'-'+char(127)+']%', @i int, @j int
    select @i=patindex(@pi,@src collate Latin1_General_BIN)
    while @i>0
    begin
        select @j=unicode(substring(@src,@i,1))
        if @j<0x800     select @res=@res+left(@src,@i-1)+char((@j&1984)/64+192)+char((@j&63)+128)
        else            select @res=@res+left(@src,@i-1)+char((@j&61440)/4096+224)+char((@j&4032)/64+128)+char((@j&63)+128)
        select @src=substring(@src,@i+1,datalength(@src)-1), @i=patindex(@pi,@src collate Latin1_General_BIN)
    end
    select @res=@res+@src
    return @res
end

CREATE Function Utf8ToUcs(@src varchar(MAX)) returns nvarchar(MAX) as
begin
    declare @i int, @res nvarchar(MAX)=@src, @pi varchar(18)
    select @pi='%[à-ï][€-¿][€-¿]%',@i=patindex(@pi,@src collate Latin1_General_BIN)
    while @i>0 select @res=stuff(@res,@i,3,nchar(((ascii(substring(@src,@i,1))&31)*4096)+((ascii(substring(@src,@i+1,1))&63)*64)+(ascii(substring(@src,@i+2,1))&63))), @src=stuff(@src,@i,3,'.'), @i=patindex(@pi,@src collate Latin1_General_BIN)
    select @pi='%[Â-ß][€-¿]%',@i=patindex(@pi,@src collate Latin1_General_BIN)
    while @i>0 select @res=stuff(@res,@i,2,nchar(((ascii(substring(@src,@i,1))&31)*64)+(ascii(substring(@src,@i+1,1))&63))), @src=stuff(@src,@i,2,'.'),@i=patindex(@pi,@src collate Latin1_General_BIN)
    return @res
end