Bất kỳ trợ giúp nào về vấn đề này sẽ được đánh giá rất cao.

Vì vậy, về cơ bản tôi muốn chạy một truy vấn đến cơ sở dữ liệu SQL của mình và lưu trữ dữ liệu trả về dưới dạng cấu trúc dữ liệu Pandas.

Tôi đã đính kèm mã cho truy vấn.

Tôi đang đọc tài liệu về Pandas, nhưng tôi gặp sự cố khi xác định loại trả về của truy vấn của mình.

Tôi đã cố gắng in kết quả truy vấn, nhưng nó không cung cấp bất kỳ thông tin hữu ích nào.

Cảm ơn!!!!

from sqlalchemy import create_engine

engine2 = create_engine('mysql://THE DATABASE I AM ACCESSING')
connection2 = engine2.connect()
dataid = 1022
resoverall = connection2.execute("
  SELECT 
      sum(BLABLA) AS BLA,
      sum(BLABLABLA2) AS BLABLABLA2,
      sum(SOME_INT) AS SOME_INT,
      sum(SOME_INT2) AS SOME_INT2,
      100*sum(SOME_INT2)/sum(SOME_INT) AS ctr,
      sum(SOME_INT2)/sum(SOME_INT) AS cpc
   FROM daily_report_cooked
   WHERE campaign_id = '%s'", %dataid)

Vì vậy, tôi muốn hiểu định dạng / kiểu dữ liệu của biến "cộng hưởng" của tôi là gì và cách đặt nó với cấu trúc dữ liệu PANDAS.

Đây là mã ngắn nhất sẽ thực hiện công việc:

from pandas import DataFrame
df = DataFrame(resoverall.fetchall())
df.columns = resoverall.keys()

Bạn có thể tìm hiểu kỹ hơn và phân tích các kiểu như trong câu trả lời của Paul.

Chỉnh sửa: Tháng 3 năm 2015

Như đã lưu ý bên dưới, gấu trúc hiện sử dụng SQLAlchemy để đọc từ ( read_sql ) và chèn vào ( to_sql ) cơ sở dữ liệu. Những điều sau đây sẽ hoạt động

import pandas as pd

df = pd.read_sql(sql, cnxn)

Câu trả lời trước: Qua mikebmassey từ một câu hỏi tương tự

import pyodbc
import pandas.io.sql as psql

cnxn = pyodbc.connect(connection_info) 
cursor = cnxn.cursor()
sql = "SELECT * FROM TABLE"

df = psql.frame_query(sql, cnxn)
cnxn.close()

Nếu bạn đang sử dụng ORM của SQLAlchemy thay vì ngôn ngữ biểu thức, bạn có thể thấy mình muốn chuyển đổi một đối tượng kiểu sqlalchemy.orm.query.Querythành khung dữ liệu Pandas.

Cách tiếp cận rõ ràng nhất là lấy SQL được tạo từ thuộc tính câu lệnh của truy vấn, sau đó thực thi nó với read_sql() phương thức . Ví dụ: bắt đầu với một đối tượng Truy vấn được gọi là query:

df = pd.read_sql(query.statement, query.session.bind)

Chỉnh sửa 2014-09-30:

gấu trúc bây giờ có một read_sqlchức năng. Bạn chắc chắn muốn sử dụng nó thay thế.

Câu trả lời ban đầu:

Tôi không thể giúp bạn với SQLAlchemy - Tôi luôn sử dụng pyodbc, MySQLdb hoặc psychopg2 nếu cần. Nhưng khi làm như vậy, một hàm đơn giản như hàm dưới đây có xu hướng phù hợp với nhu cầu của tôi:

import decimal

import pydobc
import numpy as np
import pandas

cnn, cur = myConnectToDBfunction()
cmd = "SELECT * FROM myTable"
cur.execute(cmd)
dataframe = __processCursor(cur, dataframe=True)

def __processCursor(cur, dataframe=False, index=None):
    '''
    Processes a database cursor with data on it into either
    a structured numpy array or a pandas dataframe.

    input:
    cur - a pyodbc cursor that has just received data
    dataframe - bool. if false, a numpy record array is returned
                if true, return a pandas dataframe
    index - list of column(s) to use as index in a pandas dataframe
    '''
    datatypes = []
    colinfo = cur.description
    for col in colinfo:
        if col[1] == unicode:
            datatypes.append((col[0], 'U%d' % col[3]))
        elif col[1] == str:
            datatypes.append((col[0], 'S%d' % col[3]))
        elif col[1] in [float, decimal.Decimal]:
            datatypes.append((col[0], 'f4'))
        elif col[1] == datetime.datetime:
            datatypes.append((col[0], 'O4'))
        elif col[1] == int:
            datatypes.append((col[0], 'i4'))

    data = []
    for row in cur:
        data.append(tuple(row))

    array = np.array(data, dtype=datatypes)
    if dataframe:
        output = pandas.DataFrame.from_records(array)

        if index is not None:
            output = output.set_index(index)

    else:
        output = array

    return output

Trình kết nối MySQL

Đối với những người hoạt động với trình kết nối mysql, bạn có thể sử dụng mã này để bắt đầu. (Cảm ơn @Daniel Velkov)

Giới thiệu đã sử dụng:

• Truy vấn dữ liệu bằng trình kết nối / Python
• Kết nối với MYSQL bằng Python trong 3 bước

import pandas as pd
import mysql.connector

# Setup MySQL connection
db = mysql.connector.connect(
    host="<IP>",              # your host, usually localhost
    user="<USER>",            # your username
    password="<PASS>",        # your password
    database="<DATABASE>"     # name of the data base
)   

# You must create a Cursor object. It will let you execute all the queries you need
cur = db.cursor()

# Use all the SQL you like
cur.execute("SELECT * FROM <TABLE>")

# Put it all to a data frame
sql_data = pd.DataFrame(cur.fetchall())
sql_data.columns = cur.column_names

# Close the session
db.close()

# Show the data
print(sql_data.head())

Đây là mã tôi sử dụng. Hi vọng điêu nay co ich.

import pandas as pd
from sqlalchemy import create_engine

def getData():
  # Parameters
  ServerName = "my_server"
  Database = "my_db"
  UserPwd = "user:pwd"
  Driver = "driver=SQL Server Native Client 11.0"

  # Create the connection
  engine = create_engine('mssql+pyodbc://' + UserPwd + '@' + ServerName + '/' + Database + "?" + Driver)

  sql = "select * from mytable"
  df = pd.read_sql(sql, engine)
  return df

df2 = getData()
print(df2)

Đây là một câu trả lời ngắn gọn và rõ ràng cho vấn đề của bạn:

from __future__ import print_function
import MySQLdb
import numpy as np
import pandas as pd
import xlrd

# Connecting to MySQL Database
connection = MySQLdb.connect(
             host="hostname",
             port=0000,
             user="userID",
             passwd="password",
             db="table_documents",
             charset='utf8'
           )
print(connection)
#getting data from database into a dataframe
sql_for_df = 'select * from tabledata'
df_from_database = pd.read_sql(sql_for_df , connection)

1. Sử dụng MySQL-connector-python

# pip install mysql-connector-python

import mysql.connector
import pandas as pd

mydb = mysql.connector.connect(
    host = 'host',
    user = 'username',
    passwd = 'pass',
    database = 'db_name'
)
query = 'select * from table_name'
df = pd.read_sql(query, con = mydb)
print(df)

2. Sử dụng SQLAlchemy

# pip install pymysql
# pip install sqlalchemy

import pandas as pd
import sqlalchemy

engine = sqlalchemy.create_engine('mysql+pymysql://username:password@localhost:3306/db_name')

query = '''
select * from table_name
'''
df = pd.read_sql_query(query, engine)
print(df)

Giống như Nathan, tôi thường muốn kết xuất kết quả của Truy vấn sqlalchemy hoặc sqlsoup vào khung dữ liệu Pandas. Giải pháp của riêng tôi cho điều này là:

query = session.query(tbl.Field1, tbl.Field2)
DataFrame(query.all(), columns=[column['name'] for column in query.column_descriptions])

resoveralllà một đối tượng sqlalchemy ResultProxy. Bạn có thể đọc thêm về nó trong tài liệu sqlalchemy , phần sau giải thích cách sử dụng cơ bản để làm việc với Công cụ và Kết nối. Quan trọng ở đây resoveralllà dict như thế nào.

Gấu trúc thích các đối tượng dict like để tạo cấu trúc dữ liệu của nó, hãy xem tài liệu trực tuyến

Chúc may mắn với sqlalchemy và gấu trúc.

Đơn giản chỉ cần sử dụng pandasvà pyodbccùng nhau. Bạn sẽ phải sửa đổi chuỗi kết nối của mình ( connstr) theo thông số cơ sở dữ liệu của bạn.

import pyodbc
import pandas as pd

# MSSQL Connection String Example
connstr = "Server=myServerAddress;Database=myDB;User Id=myUsername;Password=myPass;"

# Query Database and Create DataFrame Using Results
df = pd.read_sql("select * from myTable", pyodbc.connect(connstr))

Tôi đã sử dụng pyodbcvới một số cơ sở dữ liệu doanh nghiệp (ví dụ: SQL Server, MySQL, MariaDB, IBM).

Câu hỏi này đã cũ, nhưng tôi muốn thêm hai xu của mình. Tôi đọc câu hỏi là "Tôi muốn chạy một truy vấn đến cơ sở dữ liệu SQL [của tôi] và lưu trữ dữ liệu trả về dưới dạng cấu trúc dữ liệu Pandas [DataFrame]."

Từ mã có vẻ như bạn có nghĩa là cơ sở dữ liệu mysql và giả sử bạn có nghĩa là gấu trúc DataFrame.

import MySQLdb as mdb
import pandas.io.sql as sql
from pandas import *

conn = mdb.connect('<server>','<user>','<pass>','<db>');
df = sql.read_frame('<query>', conn)

Ví dụ,

conn = mdb.connect('localhost','myname','mypass','testdb');
df = sql.read_frame('select * from testTable', conn)

Thao tác này sẽ nhập tất cả các hàng của testTable vào DataFrame.

Đây là của tôi. Đề phòng nếu bạn đang sử dụng "pymysql":

import pymysql
from pandas import DataFrame

host   = 'localhost'
port   = 3306
user   = 'yourUserName'
passwd = 'yourPassword'
db     = 'yourDatabase'

cnx    = pymysql.connect(host=host, port=port, user=user, passwd=passwd, db=db)
cur    = cnx.cursor()

query  = """ SELECT * FROM yourTable LIMIT 10"""
cur.execute(query)

field_names = [i[0] for i in cur.description]
get_data = [xx for xx in cur]

cur.close()
cnx.close()

df = DataFrame(get_data)
df.columns = field_names

pandas.io.sql.write_frame đã KHÔNG ĐƯỢC SỬ DỤNG. https://pandas.pydata.org/pandas-docs/version/0.15.2/generated/pandas.io.sql.write_frame.html

Nên đổi sang dùng pandas.DataFrame.to_sql https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_sql.html

Có một giải pháp khác. PYODBC thành Pandas - DataFrame không hoạt động - Hình dạng của các giá trị được truyền là (x, y), các chỉ số ngụ ý (w, z)

Kể từ Pandas 0,12 (tôi tin rằng) bạn có thể làm:

import pandas
import pyodbc

sql = 'select * from table'
cnn = pyodbc.connect(...)

data = pandas.read_sql(sql, cnn)

Trước 0.12, bạn có thể làm:

import pandas
from pandas.io.sql import read_frame
import pyodbc

sql = 'select * from table'
cnn = pyodbc.connect(...)

data = read_frame(sql, cnn)

Còn lâu từ bài trước nhưng có lẽ nó giúp ích cho ai đó ...

Cách rút gọn hơn Paul H:

my_dic = session.query(query.all())
my_df = pandas.DataFrame.from_dict(my_dic)

cách tốt nhất tôi làm điều này

db.execute(query) where db=db_class() #database class
    mydata=[x for x in db.fetchall()]
    df=pd.DataFrame(data=mydata)

Nếu loại kết quả là ResultSet , trước tiên bạn nên chuyển nó sang từ điển. Sau đó, các cột DataFrame sẽ được thu thập tự động.

Điều này hoạt động trên trường hợp của tôi:

df = pd.DataFrame([dict(r) for r in resoverall])