Làm thế nào để tính toán các biện pháp trung tâm trong mạng 4 triệu cạnh bằng R?

Tôi có một tệp CSV với 4 triệu cạnh của một mạng được định hướng đại diện cho những người giao tiếp với nhau (ví dụ: John gửi tin nhắn cho Mary, Mary gửi tin nhắn cho Ann, John gửi một tin nhắn khác cho Mary, v.v.). Tôi muốn làm hai điều:

1. Tìm mức độ, giữa và (có thể) các biện pháp trung tâm eigenvector cho mỗi người.

2. Nhận một hình dung của mạng.

Tôi muốn làm điều này trên dòng lệnh trên máy chủ Linux vì máy tính xách tay của tôi không có nhiều năng lượng. Tôi đã cài đặt R trên máy chủ đó và thư viện statnet. Tôi tìm thấy bài đăng năm 2009 này của một người có thẩm quyền hơn tôi đang cố gắng làm điều tương tự và có vấn đề với nó. Vì vậy, tôi đã tự hỏi nếu có ai khác có bất kỳ gợi ý về cách làm điều này, tốt nhất là đưa tôi từng bước vì tôi chỉ biết cách tải tệp CSV và không có gì khác.

Chỉ cần cung cấp cho bạn một ý tưởng, đây là cách tệp CSV của tôi trông như sau:

$ head comments.csv
    "src","dest"
    "6493","139"
    "406705","369798"
$ wc -l comments.csv 
4210369 comments.csv

Những gì bạn có là một danh sách cạnh, có thể được chuyển đổi thành một đối tượng mạng bằng thư viện mạng. Dưới đây là một ví dụ sử dụng dữ liệu hư cấu.

library(network)

src <- c("A", "B", "C", "D", "E", "B", "A", "F")
dst <- c("B", "E", "A", "B", "B", "A", "F", "A")

edges <- cbind(src, dst)
Net <- as.network(edges, matrix.type = "edgelist")

summary(Net)
plot(Net)

Tuy nhiên, một cảnh báo là theo thứ tự: bạn có một mạng lưới rất lớn và tôi không chắc chắn một âm mưu sẽ là tất cả những thông tin đó. Nó có thể sẽ trông giống như một quả bóng sợi lớn. Tôi cũng không chắc các thư viện này xử lý tốt như thế nào với các bộ dữ liệu lớn như vậy. Tôi đề nghị bạn xem tài liệu về các thư viện mạng, statnet và ergm. Các Tạp chí phần mềm thống kê (v24 / 3) cung cấp một số bài viết về các thư viện này. Vấn đề có thể được tìm thấy ở đây:

http://www.jstatsoft.org/v24

Tôi không nghĩ rằng R là lựa chọn đầu tiên ở đây (có lẽ tôi đã sai). Bạn sẽ cần các mảng lớn ở đây để lập chỉ mục và chuẩn bị các tệp mạng của bạn ở định dạng dữ liệu phù hợp. Trước hết, tôi sẽ cố gắng sử dụng thư viện SNAP của Jure (Rob đề cập đến anh ấy trong bài viết ở trên) ; nó được viết bằng C ++ và hoạt động rất tốt trên các mạng lớn.

Gephi ( http://gephi.org/ ) có thể là một cách dễ dàng để khám phá dữ liệu. Bạn gần như chắc chắn có thể hình dung nó và thực hiện một số tính toán (mặc dù tôi đã không sử dụng nó trong một thời gian vì vậy tôi không thể nhớ tất cả các chức năng).

Từ kinh nghiệm trong quá khứ với mạng lưới 7 triệu nút, tôi nghĩ rằng trực quan hóa mạng hoàn chỉnh của bạn sẽ cho bạn một hình ảnh không thể giải thích được. Tôi có thể đề xuất các hình ảnh trực quan khác nhau bằng cách sử dụng các tập hợp con dữ liệu của bạn, chẳng hạn như chỉ sử dụng 10 nút hàng đầu với các liên kết trong hoặc ngoài nước nhiều nhất. Tôi đề nghị thứ hai của celenius về việc sử dụng gephi.

Nếu bạn quan tâm đến kích thước của mạng, bạn có thể thử igraphgói trong R. Và nếu điều đó hoạt động kém bên trong R, thì nó có thể hoạt động tốt hơn như mô-đun Python. Hoặc thậm chí là networkxgói cho Python

Bạn có nghi ngờ rằng mạng có một số lượng nhỏ các thành phần được kết nối rất lớn không? Nếu không, bạn có thể phân tách nó thành các thành phần riêng biệt, điều này sẽ giúp việc tính toán các phép đo trung tâm dễ dàng hơn nhiều.

Có một số gói phần mềm R người ta có thể sử dụng, bao gồm "sna" và "mạng". Một điều tôi không nhất thiết phải dựa vào nếu bạn gặp vấn đề về hiệu năng với sna là NetworkX. Tôi yêu NetworkX cho đến chết, và sử dụng nó cho hầu hết các phân tích của tôi, nhưng NetworkX khá tự hào vì là một triển khai Pythonic hoàn toàn đơn thuần. Nó không đặc biệt khai thác tốt mã được biên dịch trước nhanh chóng và sna thường vượt trội so với NetworkX bởi một biên độ đáng kể.