Làm cách nào để sao chép từ tệp CSV sang bảng PostgreSQL với tiêu đề trong tệp CSV?

Tôi muốn sao chép tệp CSV vào bảng Postgres. Có khoảng 100 cột trong bảng này, vì vậy tôi không muốn viết lại chúng nếu tôi không cần thiết.

Tôi đang sử dụng \copy table from 'table.csv' delimiter ',' csv;lệnh nhưng không có bảng được tạo, tôi nhận được ERROR: relation "table" does not exist. Nếu tôi thêm một bảng trống, tôi không gặp lỗi, nhưng không có gì xảy ra. Tôi đã thử lệnh này hai hoặc ba lần và không có đầu ra hoặc thông báo, nhưng bảng không được cập nhật khi tôi kiểm tra nó qua PGAdmin.

Có cách nào để nhập một bảng với các tiêu đề được bao gồm như tôi đang cố gắng làm không?

Điều này đã hiệu quả. Hàng đầu tiên có tên cột trong đó.

COPY wheat FROM 'wheat_crop_data.csv' DELIMITER ';' CSV HEADER

Với thư viện Python pandas, bạn có thể dễ dàng tạo tên cột và suy ra kiểu dữ liệu từ tệp csv.

from sqlalchemy import create_engine
import pandas as pd

engine = create_engine('postgresql://user:pass@localhost/db_name')
df = pd.read_csv('/path/to/csv_file')
df.to_sql('pandas_db', engine)

Các if_existstham số có thể được thiết lập để thay thế hoặc append vào một bảng hiện có, ví dụ df.to_sql('pandas_db', engine, if_exists='replace'). Điều này cũng hoạt động cho các loại tệp đầu vào bổ sung, tài liệu ở đây và ở đây .

Thay thế bằng thiết bị đầu cuối không có sự cho phép

Các tài liệu pg tại GHI CHÚ nói

Đường dẫn sẽ được diễn giải liên quan đến thư mục làm việc của tiến trình máy chủ (thường là thư mục dữ liệu của cụm), không phải thư mục làm việc của máy khách.

Vì vậy, về mặt địa lý, sử dụng psqlhoặc bất kỳ máy khách nào, ngay cả trong một máy chủ cục bộ, bạn cũng gặp vấn đề ... Và, nếu bạn đang thể hiện lệnh COPY cho người dùng khác, chẳng hạn. tại Github README, người đọc sẽ gặp vấn đề ...

Cách duy nhất để thể hiện đường dẫn tương đối với quyền của máy khách là sử dụng STDIN ,

Khi STDIN hoặc STDOUT được chỉ định, dữ liệu được truyền qua kết nối giữa máy khách và máy chủ.

như đã nhớ ở đây :

psql -h remotehost -d remote_mydb -U myuser -c \
   "copy mytable (column1, column2) from STDIN with delimiter as ','" \
   < ./relative_path/file.csv

Tôi đã sử dụng chức năng này trong một thời gian mà không gặp vấn đề gì. Bạn chỉ cần cung cấp số cột có trong tệp csv và nó sẽ lấy tên tiêu đề từ hàng đầu tiên và tạo bảng cho bạn:

create or replace function data.load_csv_file
    (
        target_table  text, -- name of the table that will be created
        csv_file_path text,
        col_count     integer
    )

    returns void

as $$

declare
    iter      integer; -- dummy integer to iterate columns with
    col       text; -- to keep column names in each iteration
    col_first text; -- first column name, e.g., top left corner on a csv file or spreadsheet

begin
    set schema 'data';

    create table temp_table ();

    -- add just enough number of columns
    for iter in 1..col_count
    loop
        execute format ('alter table temp_table add column col_%s text;', iter);
    end loop;

    -- copy the data from csv file
    execute format ('copy temp_table from %L with delimiter '','' quote ''"'' csv ', csv_file_path);

    iter := 1;
    col_first := (select col_1
                  from temp_table
                  limit 1);

    -- update the column names based on the first row which has the column names
    for col in execute format ('select unnest(string_to_array(trim(temp_table::text, ''()''), '','')) from temp_table where col_1 = %L', col_first)
    loop
        execute format ('alter table temp_table rename column col_%s to %s', iter, col);
        iter := iter + 1;
    end loop;

    -- delete the columns row // using quote_ident or %I does not work here!?
    execute format ('delete from temp_table where %s = %L', col_first, col_first);

    -- change the temp table name to the name given as parameter, if not blank
    if length (target_table) > 0 then
        execute format ('alter table temp_table rename to %I', target_table);
    end if;
end;

$$ language plpgsql;

Bạn có thể sử dụng d6tstack để tạo bảng cho bạn và nhanh hơn pd.to_sql () vì nó sử dụng các lệnh nhập DB gốc. Nó hỗ trợ Postgres cũng như MYSQL và MS SQL.

import pandas as pd
df = pd.read_csv('table.csv')
uri_psql = 'postgresql+psycopg2://usr:pwd@localhost/db'
d6tstack.utils.pd_to_psql(df, uri_psql, 'table')

Nó cũng hữu ích để nhập nhiều CSV, giải quyết các thay đổi lược đồ dữ liệu và / hoặc xử lý trước với gấu trúc (ví dụ: cho ngày tháng) trước khi ghi vào db, xem thêm trong sổ tay ví dụ

d6tstack.combine_csv.CombinerCSV(glob.glob('*.csv'), 
    apply_after_read=apply_fun).to_psql_combine(uri_psql, 'table')