Tại sao mọi người thích Pandas hơn SQL?

Tôi đã sử dụng SQL từ năm 1996, vì vậy tôi có thể bị thiên vị. Tôi đã sử dụng rộng rãi MySQL và SQLite 3, nhưng cũng đã sử dụng Microsoft SQL Server và Oracle.

Phần lớn các hoạt động tôi đã thấy được thực hiện với Pandas có thể được thực hiện dễ dàng hơn với SQL. Điều này bao gồm lọc một tập dữ liệu, chọn các cột cụ thể để hiển thị, áp dụng hàm cho các giá trị, v.v.

SQL có lợi thế là có một trình tối ưu hóa và lưu giữ dữ liệu. SQL cũng có thông báo lỗi rõ ràng và dễ hiểu. Pandas có một API hơi khó hiểu, trong đó đôi khi nó phù hợp để sử dụng một lần duy nhất [ stuff ], những lúc khác bạn cần [[ stuff ]]và đôi khi bạn cần một .loc. Một phần của sự phức tạp của Pandas phát sinh từ thực tế là có quá nhiều quá tải đang diễn ra.

Vì vậy, tôi đang cố gắng để hiểu tại sao Pandas rất phổ biến.

Câu hỏi đầu tiên thực sự là tại sao mọi người làm việc hiệu quả hơn với trừu tượng DataFrame hơn là trừu tượng SQL thuần túy.

TLDR; SQL không hướng đến quá trình phát triển và gỡ lỗi (con người), DataFrames là.

Lý do chính là các tóm tắt DataFrame cho phép bạn xây dựng các câu lệnh SQL trong khi tránh dài dòng và lồng nhau không thể đọc được. Mô hình viết các thói quen lồng nhau, nhận xét chúng để kiểm tra chúng, và sau đó bỏ qua chúng được thay thế bằng các dòng chuyển đổi duy nhất. Bạn có thể tự nhiên chạy mọi thứ theo từng dòng trong một thay thế (ngay cả trong Spark) và xem kết quả.

Xem xét ví dụ, về việc thêm một cột được chuyển đổi mới (cột xâu chuỗi) vào một bảng, sau đó nhóm theo nó và thực hiện một số phép gộp. SQL trở nên khá xấu xí. Gấu trúc có thể giải quyết điều này nhưng thiếu một số thứ khi nói đến dữ liệu thực sự lớn hoặc trong các phân vùng cụ thể (có lẽ được cải thiện gần đây).

DataFrames nên được xem như là một API cấp cao cho các thói quen SQL, ngay cả khi với gấu trúc, chúng hoàn toàn không được kết xuất với một số trình hoạch định SQL.

-

Bạn có thể có nhiều cuộc thảo luận kỹ thuật xung quanh vấn đề này, nhưng tôi đang xem xét quan điểm người dùng bên dưới.

Một lý do đơn giản tại sao bạn có thể thấy nhiều câu hỏi hơn xung quanh thao tác dữ liệu của Pandas trái ngược với SQL là sử dụng SQL, theo định nghĩa, có nghĩa là sử dụng cơ sở dữ liệu và rất nhiều trường hợp sử dụng ngày nay chỉ đơn giản là yêu cầu bit dữ liệu cho ' nhiệm vụ một lần và thực hiện (từ .csv, web api, v.v.). Trong các trường hợp này, tải, lưu trữ, thao tác và trích xuất từ ​​cơ sở dữ liệu là không khả thi.

Tuy nhiên, xem xét các trường hợp trong trường hợp sử dụng có thể biện minh cho việc sử dụng Pandas hoặc SQL, bạn chắc chắn không sai. Nếu bạn muốn thực hiện nhiều tác vụ thao tác dữ liệu lặp đi lặp lại và duy trì kết quả đầu ra, tôi luôn khuyên bạn nên thử qua SQL trước. Từ những gì tôi đã thấy lý do tại sao nhiều người dùng, ngay cả trong những trường hợp này, không thông qua SQL là hai lần.

Thứ nhất, gấu trúc có lợi thế lớn hơn SQL là nó là một phần của vũ trụ Python rộng hơn, có nghĩa là trong một cú trượt tôi có thể tải, dọn dẹp, thao tác và trực quan hóa dữ liệu của mình (tôi thậm chí có thể thực thi SQL thông qua Pandas ...). Một điều khác, khá đơn giản là tất cả quá nhiều người dùng không biết mức độ của các khả năng của SQL. Mọi người mới bắt đầu học 'cú pháp trích xuất' của SQL (CHỌN, TỪ, Ở ĐÂU, v.v.) như một phương tiện để đưa dữ liệu của bạn từ DB đến nơi tiếp theo. Một số có thể chọn một số cú pháp nhóm và lặp trước nâng cao hơn. Nhưng sau đó, có xu hướng có một lỗ hổng kiến ​​thức khá lớn, cho đến khi bạn tìm đến các chuyên gia (DBA, Data Engineers, v.v.).

tl; dr: Nó thường tùy thuộc vào trường hợp sử dụng, sự thuận tiện hoặc lỗ hổng kiến ​​thức về phạm vi khả năng của SQL.

Có nhiều sự trùng lặp trong ứng dụng của hai điều này, đây là so sánh táo với cam.

pandas là một bộ công cụ phân tích dữ liệu được triển khai bằng Python, một ngôn ngữ lập trình có mục đích chung. SQL là ngôn ngữ dành riêng cho miền để truy vấn dữ liệu quan hệ (thường là trong hệ thống quản lý cơ sở dữ liệu quan hệ mà SQLite, MySQL, Oracle, SQL Server, PostgreQuery, v.v. là ví dụ).

SQL ngụ ý

• làm việc với dữ liệu trong RDBMS * có thể phù hợp hoặc không phù hợp với khối lượng công việc, ngay cả khi đó chỉ là một cơ sở dữ liệu SQLite nhỏ,
• kiến thức miền cơ sở dữ liệu (với tư cách là người dùng cuối, nhà phát triển và / hoặc quản trị viên; đề xuất rằng "SQL nhanh hơn" tôi thường thấy là một sự đơn giản hóa quá mức lớn) và
• khắc phục đường cong học tập không đáng kể trong việc sử dụng SQL một cách hiệu quả, đặc biệt là trong các ứng dụng chuyên môn như phân tích dữ liệu (trái ngược với việc tạo các báo cáo đơn giản về dữ liệu đơn giản).

* Thật đáng để nhấn mạnh thực tế rằng SQL rất đặc thù cho miền, nó trở nên ít liên quan hơn khi làm việc với các lựa chọn thay thế ngày càng phổ biến cho các cơ sở dữ liệu quan hệ như cơ sở dữ liệu NoQuery . Điều này thể hiện một sự thay đổi cơ bản trong cách lưu trữ và cấu trúc dữ liệu và thực sự không có cách nào phổ biến để truy cập nó giống như sự phát triển của tiêu chuẩn hóa SQL nhằm đạt được.

Mặt khác, Python (gấu trúc khá "pythonic" vì vậy nó đúng ở đây) rất linh hoạt và dễ tiếp cận với mọi người từ nhiều nguồn gốc khác nhau. Nó có thể được sử dụng như một "ngôn ngữ kịch bản", như một ngôn ngữ chức năng và ngôn ngữ OOP đầy đủ tính năng. Khả năng trực quan hóa và khả năng tương tác nguồn dữ liệu được tích hợp vào gấu trúc, nhưng bạn có thể tự do kết hợp bất cứ điều gì Python có thể làm vào quy trình công việc của bạn (đó là hầu hết mọi thứ); hệ sinh thái Python khoa học đã phình to và bao gồm các công cụ tuyệt vời như Jupyter Notebook và các thư viện scipy cần thiết như matplotlib và numpy (mà gấu trúc xây dựng). Các yếu tố quan trọng trong phân tích dữ liệu của gấu trúc là R-cảm ơn và bạn thường sẽ không tìm thấy các nhà thống kê ầm ĩ và suy nghĩ về việc họ có sử dụng R (hoặc có thể ngày càng nhiều gấu trúc hơn không) trong việc đưa mọi thứ vào cơ sở dữ liệu và viết các phân tích của họ bằng SQL.

Tôi không nói gấu trúc tốt hơn SQL hay ngược lại, nhưng SQL là một công cụ rất đặc trưng cho miền trong khi gấu trúc là một phần của hệ sinh thái khổng lồ, linh hoạt và dễ tiếp cận. Tôi làm việc với các hệ thống dữ liệu không gian địa lý, trong đó cơ sở dữ liệu quan hệ là một phần rất lớn và SQL là một công cụ mạnh mẽ và thiết yếu. Tuy nhiên, gấu trúc là một phần không kém phần quan trọng trong bộ công cụ hàng ngày của tôi và SQL thường được chuyển sang tìm nạp dữ liệu - có lẽ với một số tiền xử lý - vì vậy tôi có thể làm mọi thứ với gấu trúc.

Đầu tiên, gấu trúc không phổ biến lắm. Tôi sử dụng cả gấu trúc và SQL. Đầu tiên tôi cố gắng hiểu nhiệm vụ - nếu nó có thể được thực hiện bằng SQL, tôi thích SQL hơn vì nó hiệu quả hơn gấu trúc. Hãy thử làm việc trên một dữ liệu lớn (10.000.000 x 50). Cố gắng làm một số groupby hoạt động trong cả hai SQL và gấu trúc. Bạn sẽ hiểu.

Tôi sử dụng gấu trúc nơi nó có ích - như chia các giá trị cột thành một mảng và thực hiện một số nội dung trên đó (như chỉ chọn một số giá trị trong mảng đó). Bây giờ loại nhiệm vụ này tương đối khó mã hóa trong SQL, nhưng gấu trúc sẽ giảm bớt nhiệm vụ của bạn.

Tôi là một trong những người sẽ sử dụng (trong trường hợp của tôi) dplyr của R (ngôn ngữ, không nhất thiết là công cụ) trong mọi trường hợp nếu tôi có thể biết mặc dù tôi biết SQL của mình.

Lợi ích chính tôi thấy trong các đường ống Pandas / dplyr / data.table là các hoạt động là nguyên tử và có thể được đọc từ trên xuống dưới.

Trong SQL, bạn cần phân tích toàn bộ tập lệnh, nhảy xung quanh (cái gì được tổng hợp, cái gì được nối và làm thế nào - bên trái? Bên trong? Phải?, Có bộ lọc nào được áp dụng không?) Để nắm bắt hoàn toàn những gì đang xảy ra.

Trong Pandas et al, mỗi bước của đường ống đều khép kín, nó thực hiện một số thứ với dữ liệu đầu vào và trả về dữ liệu đầu ra, quá trình tuần tự này giúp dễ dàng lý giải về những gì đang xảy ra vì có một trạng thái được xác định rõ ràng cho từng hoạt động thay vì chỉ trên một mức truy vấn.

Và vâng, bạn có thể thực hiện các WITHcâu lệnh và như vậy nhưng nó đòi hỏi nhiều mã hơn và không rõ đối tượng nào đang được sử dụng so với đường ống.

Tôi khá mới mẻ với Pandas / Python nhưng đã có hơn 20 năm làm DBA SQL, kiến ​​trúc sư, quản trị viên, v.v. Tôi yêu Pandas và tôi đang thúc đẩy bản thân luôn cố gắng làm mọi thứ hoạt động ở Pandas trước khi trở lại với sự thoải mái của tôi, thế giới SQL ấm cúng.

Tại sao RDBMS lại tốt hơn: Ưu điểm của RDBMS là kinh nghiệm nhiều năm tối ưu hóa tốc độ truy vấn và hoạt động đọc dữ liệu. Điều ấn tượng là họ có thể làm điều này đồng thời cân bằng nhu cầu tối ưu hóa tốc độ ghi và quản lý truy cập đồng thời cao. Đôi khi các chi phí bổ sung này nghiêng lợi thế cho Pandas khi nói đến các trường hợp sử dụng đơn giản, một người dùng. Nhưng ngay cả khi đó, một DBA dày dạn có thể điều chỉnh cơ sở dữ liệu để được tối ưu hóa cao cho tốc độ đọc trên tốc độ ghi. DBA có thể tận dụng những thứ như tối ưu hóa lưu trữ dữ liệu, định cỡ trang đĩa chiến lược, điền / đệm trang, bộ điều khiển dữ liệu và chiến lược phân vùng đĩa, kế hoạch I / O được tối ưu hóa, ghim dữ liệu trong bộ nhớ, kế hoạch thực hiện được xác định trước, lập chỉ mục, nén dữ liệu , và nhiều cái khác. Tôi nhận được ấn tượng từ nhiều nhà phát triển Pandas mà họ không ' T hiểu được độ sâu có sẵn ở đó. Điều tôi nghĩ thường xảy ra là nếu nhà phát triển Pandas không bao giờ có dữ liệu đủ lớn để cần những tối ưu hóa này, họ sẽ không đánh giá cao thời gian họ có thể giúp bạn tiết kiệm. Thế giới RDBMS có 30 năm kinh nghiệm tối ưu hóa điều này vì vậy nếu cần tốc độ thô trên các bộ dữ liệu lớn, thì RDBMS có thể bị đánh bại.

Tại sao Python / Pandas tốt hơn: Điều đó nói rằng, tốc độ không phải là tất cả và trong nhiều trường hợp sử dụng không phải là yếu tố lái xe. Nó phụ thuộc vào cách bạn sử dụng dữ liệu, liệu nó có được chia sẻ hay không và bạn có quan tâm đến tốc độ xử lý hay không. RDBMS thường cứng nhắc hơn trong cấu trúc dữ liệu của họ và đặt gánh nặng lên nhà phát triển để có tính quyết định hơn với hình dạng dữ liệu. Gấu trúc cho phép bạn lỏng lẻo hơn ở đây. Ngoài ra, và đây là lý do yêu thích của tôi, bạn đang ở một ngôn ngữ lập trình thực sự. Ngôn ngữ lập trình cho phép bạn linh hoạt hơn rất nhiều để áp dụng logic nâng cao cho dữ liệu. Tất nhiên, cũng có hệ sinh thái phong phú của các mô-đun và khung bên thứ 3 mà SQL không thể đến gần. Có thể đi từ dữ liệu thô đến cách trình bày web hoặc trực quan hóa dữ liệu trong một cơ sở mã là RẤT thuận tiện. Nó cũng di động hơn nhiều. Bạn có thể chạy Python gần như bất cứ nơi nào, kể cả các sổ ghi chép công khai có thể mở rộng phạm vi kết quả của bạn để đến với mọi người nhanh hơn. Cơ sở dữ liệu không nổi trội về điều này.

Lời khuyên của tôi? Nếu bạn thấy mình tốt nghiệp với các bộ dữ liệu lớn hơn và lớn hơn, bạn nợ nó để đi sâu và tìm hiểu cách RDBMS có thể giúp đỡ. Tôi đã thấy hàng triệu hàng, tham gia nhiều bảng, tổng hợp các truy vấn được điều chỉnh từ 5 phút xuống còn 2 giây. Có sự hiểu biết này trong vành đai công cụ của bạn chỉ khiến bạn trở thành một nhà khoa học dữ liệu tròn trịa hơn. Bạn có thể có thể làm mọi thứ trong Pandas ngày hôm nay nhưng một ngày nào đó bạn có thể có một nhiệm vụ trong đó RDBMS là lựa chọn tốt nhất.

Những điều gấu trúc có thể làm, mà SQL không thể làm

1. df.describe()
2. Âm mưu, ví dụ df['population'].plot(kind='hist')
3. Sử dụng một khung dữ liệu trực tiếp để đào tạo các thuật toán học máy

Những điều Pandas có thể làm, tôi không biết rằng SQL cũng có thể làm được

1. Xuất sang csv : df.to_csv('foobar.sv'). Điều này rất quan trọng khi bạn muốn hiển thị một cái gì đó cho chủ doanh nghiệp muốn làm việc với Excel. Và có df.to_excelnhư vậy. Nhưng trong SQL, bạn có thể làm được SELECT a,b,a+b INTO OUTFILE '/tmp/result.txt' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' FROM test_table;(cảm ơn bạn, vy32!)

Điều duy nhất không được đề cập trong các câu trả lời mà tôi muốn đề cập là nó cũng phụ thuộc vào cách bạn sử dụng SQL. Lấy arcpy chẳng hạn. Vì một số lý do, không có hàm arcpy.da nào có tính năng thực thi nhiều. Điều này thực sự kỳ lạ bởi vì hầu hết các thư viện sql python khác đều có. Câu lệnh Where trong các hàm arcpy.da cũng bị giới hạn trong khoảng 120 ký tự. Điều này về cơ bản có nghĩa là nếu bạn có bất kỳ số lượng tương đối cao nào mà bạn đang cố gắng thực hiện với cơ sở dữ liệu của mình thì lựa chọn thực sự duy nhất của bạn là gọi hàm arcpy.da đã chọn của bạn nhiều lần, thay đổi câu lệnh where mỗi lần bạn làm. Có một vài thủ thuật bạn có thể sử dụng để làm cho quá trình này diễn ra nhanh hơn - ví dụ, bạn có thể lặp lại các đoạn dữ liệu của mình - nhưng theo nghĩa đen thì mỗi thủ thuật này chậm hơn nhiều so với chỉ sử dụng một arcpy.da. công cụ tìm kiếm để tải toàn bộ bảng của bạn vào khung dữ liệu của gấu trúc và sau đó thao tác với nó bằng cách sử dụng gấu trúc, gọn gàng và, nếu dữ liệu của bạn thực sự lớn như vậy. Tôi cần nhấn mạnh ở đây rằng gấu trúc không chỉ nhanh hơn một chút trong trường hợp này. Nó nhanh hơn một cách kinh tởm. Nó nhanh hơn nhiều đến nỗi tôi đã tự cười mình vì đã không làm điều đó sớm hơn. Sử dụng gấu trúc đã giảm một thời gian thực thi kịch bản xuống từ hơn một giờ - tôi quên nếu đây là bước nhảy từ 3,5 giờ hoặc từ 1,5 giờ - đến 12 phút theo nghĩa đen. Nhanh hơn nhiều đến nỗi tôi đã tự cười mình vì đã không làm điều đó sớm hơn. Sử dụng gấu trúc đã giảm một thời gian thực thi kịch bản xuống từ hơn một giờ - tôi quên nếu đây là bước nhảy từ 3,5 giờ hoặc từ 1,5 giờ - đến 12 phút theo nghĩa đen. Nhanh hơn nhiều đến nỗi tôi đã tự cười mình vì đã không làm điều đó sớm hơn. Sử dụng gấu trúc đã giảm một thời gian thực thi kịch bản xuống từ hơn một giờ - tôi quên nếu đây là bước nhảy từ 3,5 giờ hoặc từ 1,5 giờ - đến 12 phút theo nghĩa đen.

Một điều cần lưu ý là trong khi tôi có thể làm điều này với sql, nó sẽ khiến tôi mất nhiều thời gian hơn để học. Tôi sẽ phải học các hoạt động cụ thể cho sql trong Access - đó là nơi dữ liệu cho tập lệnh này kết thúc - - sql trong Access không mạnh như tôi cần khi tôi thực sự xem xét việc này - hoặc Tôi sẽ phải ghi tất cả dữ liệu của mình vào cơ sở dữ liệu sqlite3, thao tác trên đó và sau đó đưa nó vào Access. Mặc dù điều này có thể mang lại cho tôi kết quả hiệu suất tương tự, nhưng nó sẽ khiến kịch bản của tôi khó sửa đổi hơn trong tương lai.

Vì vậy, đôi khi Pandas và hoàn toàn tốt hơn so với việc sử dụng các tùy chọn sql bạn có theo ý của bạn . Tất cả mọi thứ tôi cần phải làm trong sql đã được thực hiện với một chức năng trong gấu trúc. Bạn cũng có thể sử dụng cú pháp sql với gấu trúc nếu bạn muốn. Có rất ít lý do để không sử dụng gấu trúc và sql song song.

Một điều nữa tôi muốn đề cập về Pandas và numpy là cả hai thư viện này đều do các cách tiếp cận dựa trên tập hợp tự nhiên. Bạn có thể lặp qua các tệp dữ liệu và xây dựng chuỗi với các thư viện này, nhưng thực sự rất khó để sửa đổi dữ liệu trong các cấu trúc như vậy, vì vậy bạn sẽ kết thúc việc viết mã hiệu quả hơn - dựa trên - với cả hai thư viện này vì nó dễ dàng hơn nhiều làm Được "hướng dẫn" nếu không sử dụng các cách tiếp cận dựa trên tập hợp không phải là điều tôi đã trải nghiệm với SQL.

Một điều lớn hơn tôi quên đề cập đến với Pandas. Tiền . Pandas là một công cụ mà rất nhiều công việc Khoa học dữ liệu muốn bạn biết cách sử dụng. Khá nhiều công việc Khoa học dữ liệu mà tôi đã xem đã trả nhiều hơn các công việc loại quản lý cơ sở dữ liệu. Ngoại lệ duy nhất mà tôi nhận thấy là trong Kỹ thuật dữ liệu, nhưng tôi đã thấy ít hơn những bài đăng công việc đó. Gấu trúc trông giống như nó làm cho bạn nhiều tiền hơn trong nháy mắt.

Tôi nghĩ rằng tôi sẽ thêm rằng tôi thực hiện nhiều phân tích dữ liệu dựa trên chuỗi thời gian, và gấu trúc resamplevà reindexphương pháp là vô giá để thực hiện điều này. Có, bạn có thể thực hiện những điều tương tự trong SQL (Tôi có xu hướng tạo một DateDimensionbảng để trợ giúp với các truy vấn liên quan đến ngày), nhưng tôi chỉ tìm thấy các phương thức gấu trúc dễ sử dụng hơn nhiều.

Ngoài ra, như những người khác đã nói, phần còn lại của mô hình của tôi là bằng Python và tôi thường có các cuộc gọi web hoặc tệp CSV.

Tôi sẽ cố gắng trả lời câu hỏi này dựa trên kinh nghiệm của riêng tôi. Ngược lại với các câu trả lời khác, tôi thích Sqlhọc sâu và những thứ liên quan đến dữ liệu lớn. Có rất nhiều lý do cho điều đó. Như nó có thể được nhìn thấy ở đây ,

Pandas cung cấp trải nghiệm phân tích dữ liệu trực quan, mạnh mẽ và nhanh chóng trên dữ liệu dạng bảng. Tuy nhiên, vì Pandas chỉ sử dụng một luồng thực thi và yêu cầu tất cả dữ liệu phải có trong bộ nhớ cùng một lúc, nên nó không mở rộng tốt cho các bộ dữ liệu vượt quá thang gigabyte.

$B ^+$

Một điểm khác biệt nữa là các hoạt động CRUD trong Sql có thể được áp dụng phân phối với các chính sách ủy quyền khác nhau không thể có trong gấu trúc.

Nó không có nghĩa là để nói cái nào tốt hơn, tất cả phụ thuộc vào nhiệm vụ của bạn. Đối với tính toán quy mô lớn, tôi thích Sql và đối với những người nhỏ, tôi thích gấu trúc.

Có những thứ khác không có trong gấu trúc thực sự quan trọng đối với trải nghiệm nhanh để trích xuất dữ liệu mà tôi sẽ đề cập sau. Để bây giờ, chỉ cần nhìn vào đây .

Panda phổ biến hơn vì python ở dạng máy tính xách tay jupyter là hộp công cụ phổ biến nhất được sử dụng bởi nhà khoa học dữ liệu trong khu vực mạng thần kinh. Python đang trở thành "ngôn ngữ". Thậm chí có thể sử dụng phụ trợ SQL nhưng bạn không bị ràng buộc với SQL chỉ với gấu trúc.

Không chính xác câu trả lời cho câu hỏi, nhưng vì bản thân tôi đã đến đây để tìm kiếm sự khác biệt trong ứng dụng thực tế:

https://pandas.pydata.org/pandas-docs/urdy/getting_started/comparison/comparison_with_sql.html