Làm cách nào để xuất dữ liệu dưới định dạng CSV từ SQL Server bằng sqlcmd?

Tôi có thể dễ dàng chuyển dữ liệu vào một tệp văn bản như:

sqlcmd -S myServer -d myDB -E -Q "select col1, col2, col3 from SomeTable" 
     -o "MyData.txt"

Tuy nhiên, tôi đã xem các tệp trợ giúp SQLCMDnhưng chưa thấy tùy chọn nào dành riêng cho CSV.

Có cách nào để chuyển dữ liệu từ bảng vào tệp văn bản CSV bằng cách sử dụng SQLCMDkhông?

Bạn có thể chạy một cái gì đó như thế này:

sqlcmd -S MyServer -d myDB -E -Q "select col1, col2, col3 from SomeTable" 
       -o "MyData.csv" -h-1 -s"," -w 700

• -h-1 xóa tiêu đề tên cột khỏi kết quả
  
• -s"," đặt ngăn cách cột thành,
  
• -w 700 đặt chiều rộng của hàng thành 700 ký tự (cái này sẽ cần phải rộng bằng hàng dài nhất hoặc nó sẽ quấn đến dòng tiếp theo)

Với PowerShell, bạn có thể giải quyết vấn đề một cách gọn gàng bằng cách chuyển Invoke-Sqlcmd vào Export-Csv.

#Requires -Module SqlServer
Invoke-Sqlcmd -Query "SELECT * FROM DimDate;" `
              -Database AdventureWorksDW2012 `
              -Server localhost |
Export-Csv -NoTypeInformation `
           -Path "DimDate.csv" `
           -Encoding UTF8

SQL Server 2016 bao gồm mô-đun SqlServer chứa Invoke-Sqlcmdcmdlet, bạn sẽ có ngay cả khi bạn chỉ cài đặt SSMS 2016. Trước đó, SQL Server 2012 đã bao gồm mô-đun SQLPS cũ , sẽ thay đổi thư mục hiện tại thành SQLSERVER:\khi mô-đun lần đầu tiên được sử dụng (trong số các lỗi khác), vì vậy, bạn cần thay đổi #Requiresdòng trên thành:

Push-Location $PWD
Import-Module -Name SQLPS
# dummy query to catch initial surprise directory change
Invoke-Sqlcmd -Query "SELECT 1" `
              -Database  AdventureWorksDW2012 `
              -Server localhost |Out-Null
Pop-Location
# actual Invoke-Sqlcmd |Export-Csv pipeline

Để điều chỉnh ví dụ cho SQL Server 2008 và 2008 R2, hãy xóa #Requireshoàn toàn dòng và sử dụng tiện ích sqlps.exe thay vì máy chủ PowerShell tiêu chuẩn.

Invoke-Sqlcmd là PowerShell tương đương với sqlcmd.exe. Thay vì văn bản, nó xuất ra các đối tượng System.Data.DataRow .

Các -Querythông số hoạt động như -Qtham số của sqlcmd.exe. Truyền cho nó một truy vấn SQL mô tả dữ liệu bạn muốn xuất.

Các -Databasethông số hoạt động như -dtham số của sqlcmd.exe. Truyền cho nó tên của cơ sở dữ liệu chứa dữ liệu sẽ được xuất.

Các -Serverthông số hoạt động như -Stham số của sqlcmd.exe. Truyền cho nó tên của máy chủ chứa dữ liệu sẽ được xuất.

Xuất-CSV là một lệnh ghép ngắn PowerShell nối tiếp các đối tượng chung thành CSV. Nó xuất xưởng với PowerShell.

Các -NoTypeInformationtham số ngăn chặn thêm đầu ra đó không phải là một phần của định dạng CSV. Theo mặc định, lệnh ghép ngắn viết một tiêu đề với thông tin loại. Nó cho phép bạn biết loại đối tượng khi bạn giải tuần tự hóa nó sau này Import-Csv, nhưng nó gây nhầm lẫn các công cụ mong đợi CSV tiêu chuẩn.

Các -Paththông số hoạt động như -otham số của sqlcmd.exe. Đường dẫn đầy đủ cho giá trị này là an toàn nhất nếu bạn bị mắc kẹt khi sử dụng mô-đun SQLPS cũ .

Các -Encodingthông số hoạt động như -fhoặc -utham số của sqlcmd.exe. Theo mặc định, Export-Csv chỉ xuất các ký tự ASCII và thay thế tất cả các ký tự khác bằng dấu chấm hỏi. Thay vào đó, hãy sử dụng UTF8 để bảo toàn tất cả các ký tự và luôn tương thích với hầu hết các công cụ khác.

Ưu điểm chính của giải pháp này so với sqlcmd.exe hoặc bcp.exe là bạn không phải hack lệnh để xuất CSV hợp lệ. Lệnh ghép ngắn Xuất-Csv xử lý tất cả cho bạn.

Nhược điểm chính là Invoke-Sqlcmdđọc toàn bộ kết quả trước khi đưa nó dọc theo đường ống. Đảm bảo bạn có đủ bộ nhớ cho toàn bộ tập kết quả bạn muốn xuất.

Nó có thể không hoạt động trơn tru cho hàng tỷ hàng. Nếu đó là một vấn đề, bạn có thể thử các công cụ khác hoặc cuộn phiên bản hiệu quả của riêng bạn Invoke-Sqlcmdbằng cách sử dụng lớp System.Data.SqlClient.SqlDataReader .

sqlcmd -S myServer -d myDB -E -o "MyData.txt" ^
    -Q "select bar from foo" ^
    -W -w 999 -s","

Dòng cuối cùng chứa các tùy chọn dành riêng cho CSV.

• -W   xóa dấu cách từ mỗi trường riêng lẻ
• -s","   đặt ngăn cách cột thành dấu phẩy (,)
• -w 999   đặt chiều rộng hàng thành 999 ký tự

Câu trả lời của scottm rất gần với những gì tôi sử dụng, nhưng tôi thấy đây -Wlà một bổ sung thực sự hay: Tôi không cần phải cắt khoảng trắng khi tôi sử dụng CSV ở nơi khác.

Cũng xem tài liệu tham khảo MSDN sqlcmd . Nó đặt /?đầu ra của tùy chọn để xấu hổ.

Đây không phải bcplà dành cho?

bcp "select col1, col2, col3 from database.schema.SomeTable" queryout  "c:\MyData.txt"  -c -t"," -r"\n" -S ServerName -T

Chạy này từ dòng lệnh của bạn để kiểm tra cú pháp.

bcp /?

Ví dụ:

usage: bcp {dbtable | query} {in | out | queryout | format} datafile
  [-m maxerrors]            [-f formatfile]          [-e errfile]
  [-F firstrow]             [-L lastrow]             [-b batchsize]
  [-n native type]          [-c character type]      [-w wide character type]
  [-N keep non-text native] [-V file format version] [-q quoted identifier]
  [-C code page specifier]  [-t field terminator]    [-r row terminator]
  [-i inputfile]            [-o outfile]             [-a packetsize]
  [-S server name]          [-U username]            [-P password]
  [-T trusted connection]   [-v version]             [-R regional enable]
  [-k keep null values]     [-E keep identity values]
  [-h "load hints"]         [-x generate xml format file]
  [-d database name]

Xin lưu ý rằng bcpkhông thể xuất các tiêu đề cột.

Xem: trang tài liệu bcp Utility .

Ví dụ từ trang trên:

bcp.exe MyTable out "D:\data.csv" -T -c -C 65001 -t , ...

Một lưu ý cho bất cứ ai muốn làm điều này nhưng cũng có các tiêu đề cột, đây là giải pháp mà tôi đã sử dụng một tệp bó:

sqlcmd -S servername -U username -P password -d database -Q "set nocount on; set ansi_warnings off; sql query here;" -o output.tmp -s "," -W
type output.tmp | findstr /V \-\,\- > output.csv
del output.tmp

Thao tác này sẽ đưa các kết quả ban đầu (bao gồm các dấu phân cách ----, ---- giữa các tiêu đề và dữ liệu) vào một tệp tạm thời, sau đó xóa dòng đó bằng cách lọc ra thông qua findstr. Lưu ý rằng nó không hoàn hảo vì nó lọc -,-raititit sẽ không hoạt động nếu chỉ có một cột trong đầu ra và nó cũng sẽ lọc ra các dòng hợp pháp có chứa chuỗi đó.

Câu trả lời này được xây dựng dựa trên giải pháp từ @ iain-Eld, hoạt động tốt ngoại trừ trường hợp cơ sở dữ liệu lớn (như được chỉ ra trong giải pháp của anh ấy). Toàn bộ bảng cần phải nằm gọn trong bộ nhớ hệ thống của bạn và đối với tôi đây không phải là một tùy chọn. Tôi nghi ngờ giải pháp tốt nhất sẽ sử dụng System.Data.SqlClient.SqlDataReader và trình tuần tự CSV tùy chỉnh ( xem ví dụ ở đây ) hoặc một ngôn ngữ khác với trình điều khiển MS SQL và tuần tự hóa CSV. Theo tinh thần của câu hỏi ban đầu có lẽ đang tìm kiếm một giải pháp không phụ thuộc, mã PowerShell bên dưới hoạt động với tôi. Nó rất chậm và không hiệu quả, đặc biệt là trong việc khởi tạo mảng dữ liệu $ và gọi Export-Csv ở chế độ chắp thêm cho mỗi dòng $ chunk_size.

$chunk_size = 10000
$command = New-Object System.Data.SqlClient.SqlCommand
$command.CommandText = "SELECT * FROM <TABLENAME>"
$command.Connection = $connection
$connection.open()
$reader = $command.ExecuteReader()

$read = $TRUE
while($read){
    $counter=0
    $DataTable = New-Object System.Data.DataTable
    $first=$TRUE;
    try {
        while($read = $reader.Read()){

            $count = $reader.FieldCount
            if ($first){
                for($i=0; $i -lt $count; $i++){
                    $col = New-Object System.Data.DataColumn $reader.GetName($i)
                    $DataTable.Columns.Add($col)
                }
                $first=$FALSE;
            }

            # Better way to do this?
            $data=@()
            $emptyObj = New-Object System.Object
            for($i=1; $i -le $count; $i++){
                $data +=  $emptyObj
            }

            $reader.GetValues($data) | out-null
            $DataRow = $DataTable.NewRow()
            $DataRow.ItemArray = $data
            $DataTable.Rows.Add($DataRow)
            $counter += 1
            if ($counter -eq $chunk_size){
                break
            }
        }
        $DataTable | Export-Csv "output.csv" -NoTypeInformation -Append
    }catch{
        $ErrorMessage = $_.Exception.Message
        Write-Output $ErrorMessage
        $read=$FALSE
        $connection.Close()
        exit
    }
}
$connection.close()

Tùy chọn thay thế với BCP:

exec master..xp_cmdshell 'BCP "sp_who" QUERYOUT C:\av\sp_who.txt -S MC0XENTC -T -c '

Thường sqlcmdđi kèm với bcptiện ích (như một phần của mssql-tools) xuất theo mặc định CSV.

Sử dụng:

bcp {dbtable | query} {in | out | queryout | format} datafile

Ví dụ:

bcp.exe MyTable out data.csv

Để kết xuất tất cả các bảng vào các tệp CSV tương ứng, đây là tập lệnh Bash :

#!/usr/bin/env bash
# Script to dump all tables from SQL Server into CSV files via bcp.
# @file: bcp-dump.sh
server="sql.example.com" # Change this.
user="USER" # Change this.
pass="PASS" # Change this.
dbname="DBNAME" # Change this.
creds="-S '$server' -U '$user' -P '$pass' -d '$dbname'"
sqlcmd $creds -Q 'SELECT * FROM sysobjects sobjects' > objects.lst
sqlcmd $creds -Q 'SELECT * FROM information_schema.routines' > routines.lst
sqlcmd $creds -Q 'sp_tables' | tail -n +3 | head -n -2 > sp_tables.lst
sqlcmd $creds -Q 'SELECT name FROM sysobjects sobjects WHERE xtype = "U"' | tail -n +3 | head -n -2 > tables.lst

for table in $(<tables.lst); do
  sqlcmd $creds -Q "exec sp_columns $table" > $table.desc && \
  bcp $table out $table.csv -S $server -U $user -P $pass -d $dbname -c
done

Một câu trả lời ở trên gần như đã giải quyết nó cho tôi nhưng nó không tạo ra một CSV được phân tích chính xác.

Đây là phiên bản của tôi:

sqlcmd -S myurl.com -d MyAzureDB -E -s, -W -i mytsql.sql | findstr /V /C:"-" /B > parsed_correctly.csv

Có người nói rằng sqlcmdđã lỗi thời vì một số lựa chọn thay thế PowerShell đang quên rằng điều đó sqlcmdkhông chỉ dành cho Windows. Tôi đang dùng Linux (và khi ở trên Windows, tôi vẫn tránh PS).

Đã nói tất cả, tôi thấy bcpdễ dàng hơn.

Vì sau 2 lý do, bạn nên chạy giải pháp của tôi trong CMD:

1. Có thể có dấu ngoặc kép trong truy vấn

2. Đăng nhập tên người dùng và mật khẩu đôi khi cần thiết để truy vấn một phiên bản SQL Server từ xa

   sqlcmd -U [your_User]  -P[your_password] -S [your_remote_Server] -d [your_databasename]  -i "query.txt" -o "output.csv" -s"," -w 700

Bạn có thể làm điều đó một cách hackish. Cẩn thận sử dụng sqlcmdhack. Nếu dữ liệu có dấu ngoặc kép hoặc dấu phẩy, bạn sẽ gặp rắc rối.

Bạn có thể sử dụng một tập lệnh đơn giản để thực hiện đúng:

'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
' Data Exporter                                                 '
'                                                               '
' Description: Allows the output of data to CSV file from a SQL '
'       statement to either Oracle, SQL Server, or MySQL        '
' Author: C. Peter Chen, http://dev-notes.com                   '
' Version Tracker:                                              '
'       1.0   20080414 Original version                         '
'   1.1   20080807 Added email functionality                '
'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
option explicit
dim dbType, dbHost, dbName, dbUser, dbPass, outputFile, email, subj, body, smtp, smtpPort, sqlstr

'''''''''''''''''
' Configuration '
'''''''''''''''''
dbType = "oracle"                 ' Valid values: "oracle", "sqlserver", "mysql"
dbHost = "dbhost"                 ' Hostname of the database server
dbName = "dbname"                 ' Name of the database/SID
dbUser = "username"               ' Name of the user
dbPass = "password"               ' Password of the above-named user
outputFile = "c:\output.csv"      ' Path and file name of the output CSV file
email = "email@me.here"           ' Enter email here should you wish to email the CSV file (as attachment); if no email, leave it as empty string ""
  subj = "Email Subject"          ' The subject of your email; required only if you send the CSV over email
  body = "Put a message here!"    ' The body of your email; required only if you send the CSV over email
  smtp = "mail.server.com"        ' Name of your SMTP server; required only if you send the CSV over email
  smtpPort = 25                   ' SMTP port used by your server, usually 25; required only if you send the CSV over email
sqlStr = "select user from dual"  ' SQL statement you wish to execute
'''''''''''''''''''''
' End Configuration '
'''''''''''''''''''''



dim fso, conn

'Create filesystem object 
set fso = CreateObject("Scripting.FileSystemObject")

'Database connection info
set Conn = CreateObject("ADODB.connection")
Conn.ConnectionTimeout = 30
Conn.CommandTimeout = 30
if dbType = "oracle" then
    conn.open("Provider=MSDAORA.1;User ID=" & dbUser & ";Password=" & dbPass & ";Data Source=" & dbName & ";Persist Security Info=False")
elseif dbType = "sqlserver" then
    conn.open("Driver={SQL Server};Server=" & dbHost & ";Database=" & dbName & ";Uid=" & dbUser & ";Pwd=" & dbPass & ";")
elseif dbType = "mysql" then
    conn.open("DRIVER={MySQL ODBC 3.51 Driver}; SERVER=" & dbHost & ";PORT=3306;DATABASE=" & dbName & "; UID=" & dbUser & "; PASSWORD=" & dbPass & "; OPTION=3")
end if

' Subprocedure to generate data.  Two parameters:
'   1. fPath=where to create the file
'   2. sqlstr=the database query
sub MakeDataFile(fPath, sqlstr)
    dim a, showList, intcount
    set a = fso.createtextfile(fPath)

    set showList = conn.execute(sqlstr)
    for intcount = 0 to showList.fields.count -1
        if intcount <> showList.fields.count-1 then
            a.write """" & showList.fields(intcount).name & ""","
        else
            a.write """" & showList.fields(intcount).name & """"
        end if
    next
    a.writeline ""

    do while not showList.eof
        for intcount = 0 to showList.fields.count - 1
            if intcount <> showList.fields.count - 1 then
                a.write """" & showList.fields(intcount).value & ""","
            else
                a.write """" & showList.fields(intcount).value & """"
            end if
        next
        a.writeline ""
        showList.movenext
    loop
    showList.close
    set showList = nothing

    set a = nothing
end sub

' Call the subprocedure
call MakeDataFile(outputFile,sqlstr)

' Close
set fso = nothing
conn.close
set conn = nothing

if email <> "" then
    dim objMessage
    Set objMessage = CreateObject("CDO.Message")
    objMessage.Subject = "Test Email from vbs"
    objMessage.From = email
    objMessage.To = email
    objMessage.TextBody = "Please see attached file."
    objMessage.AddAttachment outputFile

    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/sendusing") = 2
    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserver") = smtp
    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserverport") = smtpPort

objMessage.Configuration.Fields.Update

    objMessage.Send
end if

'You're all done!!  Enjoy the file created.
msgbox("Data Writer Done!")

^{Nguồn: Viết đầu ra SQL sang CSV bằng VBScript .}