Cách tốt nhất để lưu trữ dữ liệu để phân tích thống kê trong R [đã đóng]

Tôi đã sử dụng các tệp văn bản để lưu trữ dữ liệu của mình cho R mà không gặp vấn đề gì trong một thời gian. Nhưng đối với một dự án gần đây, kích thước của các tệp đang trở nên quá lớn đối với các tệp văn bản thô để xử lý. Cách thay thế đơn giản nhất là gì?

Cách tiếp cận R tiêu chuẩn là sử dụng savevà load. Nếu bạn chạy savetrên khung dữ liệu của mình sau khi nhập và chú thích nó, bạn có thể chỉ định compress=TRUEvà bạn sẽ ngạc nhiên về việc nén và loadthời gian nhanh . Điều này đặc biệt hiệu quả nếu kích thước đối tượng nhỏ hơn khoảng 400MB. Nếu không, hãy xem một số gợi ý ở trên hoặc ffgói mạnh mẽ trong R.

Các Hmiscgói có giấy gói nhỏ Savevà Loadđể làm cho không đau ở trên thậm chí nhiều hơn:

mydata <- csv.get(...)  # Hmisc package, has several options
Save(mydata)   # writes mydata.rda to current working directory
....
Load(mydata)   # reads mydata.rda and creates mydata data frame

Hãy xem cơ sở dữ liệu SQLite3. Mỗi cơ sở dữ liệu là một tệp, vì vậy nó không yêu cầu thiết lập máy chủ cơ sở dữ liệu.

Để tạo cơ sở dữ liệu:

$ sqlite3 my_db.db3
> CREATE TABLE my_table ( col1 TEXT );

Để sử dụng với R, https://gist.github.com/lynaghk/1062939

Có một số tùy chọn chung.

• Bạn có thể nén văn bản.
• Bạn có thể đi nhị phân trên văn bản, không viết bằng ascii

Nén lớn là phụ thuộc dữ liệu.

Tôi đoán (và bạn không chỉ định nên tôi phải đoán) là bạn đang muốn lưu trữ dữ liệu giống như bảng tính trong một cái gì đó không phải là csv (được phân cách bằng dấu phẩy).

Một trong những định dạng yêu thích của tôi (tôi yêu MatLab) là hdf.

Dưới đây là thông tin liên quan đến R về HDF:

• truy cập thông qua các gói hdf5, h5r, Bioconductor's rhdf5, RNetCDF, ncdf và ncdf4
• http://www.hdfgroup.org/HDF5/whatishdf5.html

Nó là một định dạng lưu trữ dữ liệu siêu máy tính mật độ cao. Nó có thể rất nhanh và hiệu quả. Nó cũng (không ngạc nhiên) dày đặc hơn văn bản nén.

Các chức năng đọc tệp tiêu chuẩn trong R giờ đây sẽ tự động dễ dàng đọc các tệp được nén. Vì vậy, chỉ cần chạy nén gzip đơn giản trên dữ liệu của bạn và đọc như mọi khi, như thể đó là văn bản thuần túy.

read.table('myfile.gz')