Làm cách nào để đọc tệp .xlsx bằng Thư viện gấu trúc trong iPython?


102

Tôi muốn đọc tệp .xlsx bằng Thư viện Pandas của python và chuyển dữ liệu vào bảng postgreSQL.

Tất cả những gì tôi có thể làm cho đến bây giờ là:

import pandas as pd
data = pd.ExcelFile("*File Name*")

Bây giờ tôi biết rằng bước này đã được thực thi thành công, nhưng tôi muốn biết cách tôi có thể phân tích cú pháp tệp excel đã được đọc để tôi có thể hiểu cách dữ liệu trong excel ánh xạ với dữ liệu trong dữ liệu biến.
Tôi đã biết rằng dữ liệu là một đối tượng Dataframe nếu tôi không nhầm. Vì vậy, làm cách nào để phân tích cú pháp đối tượng khung dữ liệu này để trích xuất từng dòng từng hàng.


8
df = pd.ExcelFile ('Tên tệp'). phân tích cú pháp ('trang 1'); xem docs pandas.pydata.org/pandas-docs/dev/io.html#excel-files
Jeff

Câu trả lời:


162

Tôi thường tạo một từ điển chứa một DataFramecho mỗi trang tính:

xl_file = pd.ExcelFile(file_name)

dfs = {sheet_name: xl_file.parse(sheet_name) 
          for sheet_name in xl_file.sheet_names}

Cập nhật: Trong phiên bản gấu trúc 0.21.0+, bạn sẽ nhận được hành vi này rõ ràng hơn bằng cách chuyển sheet_name=Noneđến read_excel:

dfs = pd.read_excel(file_name, sheet_name=None)

Trong 0,20 và trước đó, điều này sheetnamethay vì sheet_name(điều này hiện không được chấp nhận thay vì điều trên):

dfs = pd.read_excel(file_name, sheetname=None)

Cảm ơn Andy. Điều này đã hiệu quả. Bây giờ bước tiếp theo của tôi từ đây là viết nó vào cơ sở dữ liệu postgreSQL. Thư viện nào là tốt nhất để được sử dụng? SQLAlchemy?
Sabareesh Kappagantu

Hmmm nếu bạn nói mysql - Tôi biết câu trả lời , postgres có thể hoạt động tương tự ... mặc dù không phải 100%. (Sẽ là một câu hỏi hay.)
Andy Hayden

Tôi có cách để làm điều đó. Tôi đã sử dụng Sqlalchemy. Bạn đã đúng, nó khá giống với mysql. Nó liên quan đến việc tạo ra một công cụ và sau đó thu thập siêu dữ liệu và thử nghiệm với dữ liệu. Cảm ơn một lần nữa Andy! :) Đánh giá cao sự giúp đỡ.
Sabareesh Kappagantu

1
pandas.DataFrame.to_sqlcó thể có ích. Để đọc, bạn có thể sử dụng dp.pycác đối tượng Pandas DataFrame trả về.
Finn Årup Nielsen

Tôi đang cố gắng đạt được điều gì đó tương tự, nhưng bằng cách sử dụng 2 tệp excel xlsx để tạo một khung dữ liệu. Tôi tự hỏi liệu bạn có thể xem và hỗ trợ tôi cách tiếp tục vấn đề này không, tôi đã yêu cầu trợ giúp bằng cách tạo một câu hỏi khác stackoverflow.com / question / 16888888 /… @AndyHayden
Deepak M

25
from pandas import read_excel
# find your sheet name at the bottom left of your excel file and assign 
# it to my_sheet 
my_sheet = 'Sheet1' # change it to your sheet name
file_name = 'products_and_categories.xlsx' # change it to the name of your excel file
df = read_excel(file_name, sheet_name = my_sheet)
print(df.head()) # shows headers with top 5 rows

11

read_excelPhương thức của DataFrame giống như read_csvphương thức:

dfs = pd.read_excel(xlsx_file, sheetname="sheet1")


Help on function read_excel in module pandas.io.excel:

read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None, names=None, parse_cols=None, parse_dates=False, date_parser=None, na_values=None, thousands=None, convert_float=True, has_index_names=None, converters=None, true_values=None, false_values=None, engine=None, squeeze=False, **kwds)
    Read an Excel table into a pandas DataFrame

    Parameters
    ----------
    io : string, path object (pathlib.Path or py._path.local.LocalPath),
        file-like object, pandas ExcelFile, or xlrd workbook.
        The string could be a URL. Valid URL schemes include http, ftp, s3,
        and file. For file URLs, a host is expected. For instance, a local
        file could be file://localhost/path/to/workbook.xlsx
    sheetname : string, int, mixed list of strings/ints, or None, default 0

        Strings are used for sheet names, Integers are used in zero-indexed
        sheet positions.

        Lists of strings/integers are used to request multiple sheets.

        Specify None to get all sheets.

        str|int -> DataFrame is returned.
        list|None -> Dict of DataFrames is returned, with keys representing
        sheets.

        Available Cases

        * Defaults to 0 -> 1st sheet as a DataFrame
        * 1 -> 2nd sheet as a DataFrame
        * "Sheet1" -> 1st sheet as a DataFrame
        * [0,1,"Sheet5"] -> 1st, 2nd & 5th sheet as a dictionary of DataFrames
        * None -> All sheets as a dictionary of DataFrames

    header : int, list of ints, default 0
        Row (0-indexed) to use for the column labels of the parsed
        DataFrame. If a list of integers is passed those row positions will
        be combined into a ``MultiIndex``
    skiprows : list-like
        Rows to skip at the beginning (0-indexed)
    skip_footer : int, default 0
        Rows at the end to skip (0-indexed)
    index_col : int, list of ints, default None
        Column (0-indexed) to use as the row labels of the DataFrame.
        Pass None if there is no such column.  If a list is passed,
        those columns will be combined into a ``MultiIndex``
    names : array-like, default None
        List of column names to use. If file contains no header row,
        then you should explicitly pass header=None
    converters : dict, default None
        Dict of functions for converting values in certain columns. Keys can
        either be integers or column labels, values are functions that take one
        input argument, the Excel cell content, and return the transformed
        content.
    true_values : list, default None
        Values to consider as True

        .. versionadded:: 0.19.0

    false_values : list, default None
        Values to consider as False

        .. versionadded:: 0.19.0

    parse_cols : int or list, default None
        * If None then parse all columns,
        * If int then indicates last column to be parsed
        * If list of ints then indicates list of column numbers to be parsed
        * If string then indicates comma separated list of column names and
          column ranges (e.g. "A:E" or "A,C,E:F")
    squeeze : boolean, default False
        If the parsed data only contains one column then return a Series
    na_values : scalar, str, list-like, or dict, default None
        Additional strings to recognize as NA/NaN. If dict passed, specific
        per-column NA values. By default the following values are interpreted
        as NaN: '', '#N/A', '#N/A N/A', '#NA', '-1.#IND', '-1.#QNAN', '-NaN', '-nan',
    '1.#IND', '1.#QNAN', 'N/A', 'NA', 'NULL', 'NaN', 'nan'.
    thousands : str, default None
        Thousands separator for parsing string columns to numeric.  Note that
        this parameter is only necessary for columns stored as TEXT in Excel,
        any numeric columns will automatically be parsed, regardless of display
        format.
    keep_default_na : bool, default True
        If na_values are specified and keep_default_na is False the default NaN
        values are overridden, otherwise they're appended to.
    verbose : boolean, default False
        Indicate number of NA values placed in non-numeric columns
    engine: string, default None
        If io is not a buffer or path, this must be set to identify io.
        Acceptable values are None or xlrd
    convert_float : boolean, default True
        convert integral floats to int (i.e., 1.0 --> 1). If False, all numeric
        data will be read in as floats: Excel stores all numbers as floats
        internally
    has_index_names : boolean, default None
        DEPRECATED: for version 0.17+ index names will be automatically
        inferred based on index_col.  To read Excel output from 0.16.2 and
        prior that had saved index names, use True.

    Returns
    -------
    parsed : DataFrame or Dict of DataFrames
        DataFrame from the passed in Excel file.  See notes in sheetname
        argument for more information on when a Dict of Dataframes is returned.

6

Thay vì sử dụng tên trang tính, trong trường hợp bạn không biết hoặc không thể mở tệp excel để kiểm tra trong ubuntu (trong trường hợp của tôi là Python 3.6.7, ubuntu 18.04), tôi sử dụng tham số index_col (index_col = 0 cho tờ đầu tiên)

import pandas as pd
file_name = 'some_data_file.xlsx' 
df = pd.read_excel(file_name, index_col=0)
print(df.head()) # print the first 5 rows

1
Bạn cũng có thể sử dụng sheet_name=0hoặc đặt tên cho trang tính thay vì 0.
Plajerity

1
Đúng nó hoạt động. Nó cần xlrd phụ thuộc mặc dù. (pip3.7.4.exe cài đặt xlrd trên Windows)
Harry

5

Gán tên tệp bảng tính cho file

Tải bảng tính

In tên trang tính

Tải trang tính vào DataFrame theo tên: df1

file = 'example.xlsx'
xl = pd.ExcelFile(file)
print(xl.sheet_names)
df1 = xl.parse('Sheet1')

2

Nếu bạn sử dụng read_excel()trên tệp được mở bằng hàm open(), hãy đảm bảo thêm rbvào hàm đang mở để tránh lỗi mã hóa

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.