Sao lưu MySQL không ngừng hoạt động trên ngân sách

Kịch bản sao lưu MySQL hiện tại của tôi là sao chép db của chúng tôi sang máy chủ thứ hai và chạy mysqldump trên máy chủ đó để loại bỏ bất kỳ thời gian chết nào khỏi khóa bảng hoặc hàng. Điều này đang hoạt động tốt nhưng chi phí $ 150 mỗi tháng cho máy chủ thứ hai (lưu trữ tại Úc đắt hơn rất nhiều so với Hoa Kỳ.)

Tôi đã đọc rất nhiều câu hỏi ở đây về vấn đề này, hầu hết mọi người cần trợ giúp với các bản sao lưu theo lịch trình và không có gì không phải là thứ tôi cần. Tôi cần phải mysqldump (tốt nhất là cứ sau 4 giờ) mà không có thời gian chết. Db là ~ 7GB không nén, vì vậy mysqldump có thể mất một chút thời gian tùy thuộc vào máy chủ.

Tôi đã cân nhắc sao chép vào cùng một máy, nhưng tôi không muốn nô lệ ăn vào bộ nhớ rất cần thiết. Tôi không chắc mình có thể hạn chế sử dụng bộ nhớ trên cơ sở mỗi db không? Dù bằng cách nào, điều này sẽ đặt tải lên máy chủ trong khi nó hủy db.

Tôi mới đọc http://www.zmanda.com/quick-mysql-backup.html này và có vẻ tốt, $ 300 mỗi năm là ok, điều đó giúp tôi tiết kiệm rất nhiều.

Thật không may, tôi không thể sao chép sang RDS của Amazon nhưng tôi có thể sao chép sang phiên bản vi mô RC2 nhưng việc sao chép sẽ diễn ra qua mạng và ping là ~ 220ms.

Tôi thấy một vài người ở đây nói về ảnh chụp nhanh LVM có thể là một lựa chọn tốt. Tôi không biết nhiều về tùy chọn này tho.

Ý kiến ​​sẽ được đánh giá rất cao.

Nếu bạn sử dụng bảng innodb, bạn có thể sử dụng

http://www.percona.com/docs/wiki/percona-xtrabackup:start

Điều đó sẽ khiến một cơ sở dữ liệu của bạn có thể được nhập bởi các công cụ của họ mà không bị khóa. Tôi tin rằng nếu bạn có bảng myisam, nó khóa những cái đó.

Nếu bạn đang sử dụng innodb hoặc một phụ trợ khác có giao dịch đầy đủ, bạn có thể sử dụng mysqldump --single-transaction .... Tôi đã sử dụng điều này trên cơ sở dữ liệu khá lớn (~ 100GB) với kết quả tốt; nếu cơ sở dữ liệu đang tải nặng thì có thể mất hàng giờ nhưng nó vẫn hoạt động mà không khóa các bảng của bạn. Bản sao nói chung là tốt hơn nhưng đôi khi bạn muốn có một tệp kết xuất tốt đẹp. Hãy nhớ rằng bạn cũng có thể kết xuất một nô lệ sao chép mysql.

Từ trang mysqldump (lưu ý các cảnh báo về các hoạt động sẽ rò rỉ vào giao dịch):

 ·   --single-transaction

   This option sends a START TRANSACTION SQL statement to the server
   before dumping data. It is useful only with transactional tables
   such as InnoDB, because then it dumps the consistent state of the
   database at the time when BEGIN was issued without blocking any
   applications.

   When using this option, you should keep in mind that only InnoDB
   tables are dumped in a consistent state. For example, any MyISAM or
   MEMORY tables dumped while using this option may still change
   state.

   While a --single-transaction dump is in process, to ensure a valid
   dump file (correct table contents and binary log coordinates), no
   other connection should use the following statements: ALTER TABLE,
   CREATE TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE. A
   consistent read is not isolated from those statements, so use of
   them on a table to be dumped can cause the SELECT that is performed
   by mysqldump to retrieve the table contents to obtain incorrect
   contents or fail.

Tôi không thấy nhiều vấn đề khi sao chép kết nối có độ trễ cao với VPS giá rẻ ở Mỹ Độ trễ cao không thực sự là vấn đề lớn. Bản sao được thiết kế để có thể bắt kịp nhanh chóng ngay cả khi một nô lệ tụt lại hàng giờ , tức là nó có thể hoạt động không đồng bộ.

Miễn là bạn có thể chịu được băng thông lớn như vậy trong gói lưu trữ tại Úc.

Dưới đây là một phản hồi chi tiết hơn nhiều về việc độ trễ cao có quan trọng không

Trên thực tế, chỉ có thời gian để thực sự xuất cơ sở dữ liệu sẽ là thời gian chết. Làm điều đó trong một khoảng thời gian đủ chậm và không nên có bất kỳ vấn đề nào. Một bộ phận CNTT trên ngân sách đó thực sự mong đợi là gì?

Bạn sẽ có thể mysqldump một cơ sở dữ liệu 7GB trong 5-10 phút MAX, tắt khóa đọc / ghi và thời gian chết sẽ kết thúc. Sau đó, bạn có thể tìm thấy cách hiệu quả nhất về băng thông cho tệp 7GB đến máy chủ mới (đọc: CAO CẤP). Bạn có nhiều thời gian để chuyển tập tin và nhập vào MySQL trên máy chủ mới. Sau đó, nhập thông tin masterlog và bắt đầu sao chép. Nên là một miếng bánh!

Tài liệu về MySQL thật tuyệt vời : http://dev.mysql.com/doc/refman/5.0/en/replication.html

Tôi không chắc chắn tôi có thể hạn chế sử dụng bộ nhớ trên cơ sở mỗi db

Tất nhiên bạn có thể - bạn chỉ cần chạy nô lệ với một /etc/my.cnf khác

Bạn thậm chí có thể thực hiện các công cụ để thao tác ưu tiên lập lịch / mối quan hệ CPU trên chủ và nô lệ bằng cách sử dụng đẹp / renice và tasket (giả sử đó là máy chủ Linux).

nhưng việc sao chép sẽ diễn ra trên mạng và ping là ~ 220ms

Độ trễ khá nhiều không liên quan - điều quan trọng là băng thông - và băng thông cơ sở dữ liệu (giả sử bạn không sao chép dữ liệu phiên) là một số bậc có độ lớn nhỏ hơn băng thông HTTP.

Tôi cần [tạo một bản sao lưu nhất quán của cơ sở dữ liệu] (tốt nhất là cứ sau 4 giờ) mà không có thời gian chết

Nhưng các chiến lược bạn thảo luận không cho phép phục hồi bất cứ lúc nào như lúc đó.

Tôi nghĩ rằng tùy chọn rẻ nhất sẽ là nô lệ trên cùng một máy - và nếu nó ảnh hưởng xấu đến hiệu suất vượt quá những gì bạn có thể cấu hình lại thì hãy nâng cấp gói lưu trữ hiện tại.

Bạn cũng có thể xem xét việc chạy một nô lệ bị ngắt kết nối: bật nhật ký bin trên máy chủ hiện tại. Nhận một bản sao lưu, khôi phục bản sao lưu trên một máy cục bộ, sau đó sao chép nhật ký bin khi chúng được xoay và cuộn chúng về phía trước trên DBMS cục bộ .

Đề xuất của tôi:

1 - giữ tài khoản / máy chủ thứ hai của bạn và thực hiện sao chép vào cơ sở dữ liệu trong tài khoản / máy chủ ban đầu của bạn.

2 - dừng sao chép vào tài khoản / máy chủ thứ hai.

3 - hiệu suất màn hình trong vài ngày. Hãy chắc chắn rằng bạn theo dõi nó đủ lâu để bao gồm các khoảng thời gian bận rộn nhất của bạn.

4 - sẵn sàng chuyển sang thiết lập cũ của bạn nếu có vấn đề lớn về hiệu suất. Đây là lý do tại sao bạn giữ tài khoản thứ hai.

5 - mua thêm dung lượng / nâng cấp máy chủ trong tài khoản gốc của bạn. Điều này sẽ rẻ hơn so với trả tiền cho hai máy chủ tôi tin.

6 - hủy tài khoản thứ hai.

Chúc may mắn!