Làm thế nào để các trang web lớn như StackOverflow xử lý nhật ký truy cập của họ?

8

Tôi đang tự hỏi làm thế nào các trang web lớn như StackOverflow xử lý nhật ký truy cập của họ. Việc ghi vào đĩa theo mọi yêu cầu có vẻ hơi không kinh tế, nhưng Google Analytics có đáng tin cậy để sử dụng nó làm tài nguyên thông tin duy nhất của bạn không?

— Stephen Ostermiller
nguồn

Bạn có thể thiết lập Apache để đăng nhập vào cơ sở dữ liệu. Tôi tưởng tượng IIS là như nhau.

— Lèse majesté

2

Trên hệ thống * nix, bạn có thể sử dụng syslog-ng để lưu trữ thông điệp tường trình trên máy chủ nhật ký chuyên dụng cho (các) cụm cân bằng tải của bạn và sau đó sử dụng giải pháp phân tích nhật ký như Splunk để theo dõi mọi thứ - như đối với các trang web StackExchange thực sự chạy, có thể là một câu hỏi hay cho StackOverflow Meta .

— danlefree
nguồn

Có ai hỏi chưa sử dụng trao đổi ngăn xếp?

— theonlygusti

2

Có nhiều thông tin mà nhật ký máy chủ web chứa sẽ không bao giờ có sẵn cho Google Analytics, hai điều tôi có thể nghĩ đến:

Các lỗi như 404, v.v.
Truy cập vào các tệp phương tiện, như hình ảnh, v.v. (bao gồm các trang web bên ngoài liên kết đến hình ảnh của bạn)
Địa chỉ IP, mặc dù câu trả lời cho câu hỏi khác chỉ ra rằng nó có thể được đặt làm biến người dùng
URL giới thiệu đầy đủ, ví dụ: Google gửi liên kết từ tìm kiếm sản phẩm, tìm kiếm trên web, v.v. mỗi tìm kiếm có từ khóa nhưng Google Analytics không hiển thị các biến khác như &source=products, v.v.

Phải là nhiều thứ tôi không thể nghĩ ra ngay bây giờ.

Và cũng có các bản ghi lỗi; Theo tôi, điều quan trọng là một trang web phải hoạt động trơn tru. Không phải cái gì bạn sẽ bỏ qua.

— Evgeny
nguồn

Đúng vậy, nhưng làm thế nào để họ lưu trữ nhật ký của họ? Tập tin hoặc cơ sở dữ liệu theo đề xuất của Lèse majesté dường như nặng nề đối với tôi.

Trên thực tế, khi bạn gzip loại dữ liệu lặp đi lặp lại này ... nó sẽ nén rất tốt. Vì vậy, tôi tưởng tượng bạn chỉ có thể lưu trữ nó dưới dạng tệp văn bản nén và loại bỏ chúng sau một thời gian ... chỉ xoay vòng cơ bản của bạn.

— Evgeny

0

Tôi không thực sự nhìn vào các bản ghi này và cuối cùng xóa chúng hàng tháng. Tôi chỉ nhìn họ để xử lý sự cố. Đối với ứng dụng giám sát, sử dụng Google Analytics, CrazyEgg và những người khác làm rất tốt.

Trước khi các dịch vụ như vậy tồn tại, các bản ghi này rất có giá trị. Bây giờ, chúng là các công cụ phát triển tốt, nhưng tôi không biết bất kỳ đồng nghiệp hoặc bạn bè nào của tôi tích cực lưu trữ các nhật ký này hoặc phân tích chúng để lấy dữ liệu.

— Frank
nguồn