Làm thế nào nhân viên QA có thể kiểm tra logic bộ nhớ đệm mà họ không thể thấy?

Tôi vừa mới triển khai một lớp bộ đệm trong ứng dụng web của mình và bây giờ tôi đang tự hỏi làm thế nào QA có nghĩa vụ kiểm tra nó, vì bộ nhớ đệm trong suốt đối với người dùng.

Một ý tưởng tôi có là đặt đăng nhập vào các phương thức gọi mã tạo bộ đệm và ghi lại khi một đối tượng được kéo từ bộ đệm và khi nó yêu cầu giải trí từ cơ sở dữ liệu, sau đó người kiểm tra có thể xem nhật ký để xem, ví dụ, một đối tượng nhất định được tải lại từ db cứ sau 10 phút, thay vì mỗi lần xem trang.

Nhưng bất cứ ai có thể đề nghị một số thực hành tốt hơn cho tình huống này?

Một câu hỏi là liệu bộ nhớ cache có thực sự là một yêu cầu cần được kiểm tra bởi QA hay không. Bộ nhớ đệm cải thiện hiệu suất, vì vậy họ có thể kiểm tra sự khác biệt về hiệu suất để đảm bảo đáp ứng một số yêu cầu.

Nhưng ý tưởng tốt để có một số thử nghiệm xung quanh bộ nhớ đệm, bất cứ ai chịu trách nhiệm về nó. Chúng tôi sử dụng quầy hiệu suất. Nếu hệ thống bộ nhớ cache của bạn tận dụng những điều này, chúng rất đơn giản. Nếu có bất kỳ cách nào để có được số đếm từ chính bộ đệm, đó là một tùy chọn khác.

Sử dụng phương pháp của bạn là tốt đẹp quá. Nếu bất kỳ trong số này được bọc trong các bài kiểm tra tự động kiểm tra kết quả, thì không ai phải xem qua nhật ký để tìm câu trả lời.

Bạn đã triển khai bộ đệm (tôi giả sử) vì hệ thống không hoạt động đủ tốt. Đó là một cái gì đó có liên quan cho người dùng. Dưới đây là những điều mà QA có thể kiểm tra:

• Hệ thống, sau khi bộ nhớ cache được giới thiệu, vẫn đúng. Điều này có nghĩa là họ nên cố gắng lừa bộ đệm để cung cấp dữ liệu cũ, đây là điều mà QA có thể xác minh và đảm bảo không có gì khác bị hỏng.
• Rằng hệ thống hiện đáp ứng các ngưỡng hiệu suất mà nó không đáp ứng khi bạn quyết định cải thiện hiệu suất. Họ có thể so sánh các phép đo cũ và so sánh chúng với các phép đo mới.

Hãy nhớ rằng, người dùng (và, bằng phần mở rộng, QA) không quan tâm đến cách bạn giải quyết vấn đề. Họ chỉ quan tâm rằng vấn đề đã được giải quyết và không tạo ra vấn đề mới. Điều này đúng cho dù bạn đã triển khai bộ nhớ đệm, phân tích chuỗi được cải tiến, đã nâng cấp phần cứng hay rắc bụi thần tiên trên máy chủ.

Chôn logic kinh doanh quan trọng hoặc trạng thái hệ thống sâu trong một hộp đen làm cho việc xác minh hành vi hệ thống chính xác trở nên khó khăn. Dễ dàng kiểm tra toàn diện hoạt động của một thành phần trong hệ thống hơn toàn bộ hệ thống. Tôi ủng hộ việc phơi bày những thứ như vậy một cách rõ ràng thông qua một số cơ chế để nó có thể là đơn vị / hồi quy / tích hợp / QA được thử nghiệm theo một số cách có ý nghĩa.

Một tùy chọn với bộ đệm sẽ là hiển thị một trang đặc biệt cung cấp một số chi tiết về bộ đệm (nội dung, trạng thái, v.v.). Điều này có thể hỗ trợ gỡ lỗi trong phát triển và có khả năng trong sản xuất. QA cũng có thể sử dụng trang này để tạo các trường hợp thử nghiệm cho bộ đệm nếu chúng được cung cấp chi tiết về hành vi dự kiến ​​của bộ đệm. Sử dụng bộ đếm hiệu suất và / hoặc tệp nhật ký để ghi lại rõ ràng hành vi bộ đệm là một cách tiếp cận ít nhìn thấy nhưng khả thi hơn.

Lưu ý rằng phương pháp này không thay thế cho thử nghiệm hiệu năng từ đầu đến cuối. Đây là một cơ chế để đảm bảo bộ đệm hoạt động chính xác. Kiểm tra hiệu năng nên được sử dụng để xác định xem bộ nhớ đệm có ảnh hưởng đến hiệu suất không.

Cũng lưu ý rằng việc hoán đổi các thành phần của hệ thống với các thành phần mới thực hiện cùng giao diện như giới thiệu bộ đệm có thể là một sự thay đổi phức tạp và mất ổn định. Với ví dụ về bộ đệm, bạn đang đưa ra trạng thái ở trạng thái không trạng thái trước đây, điều này có thể tạo ra các lỗi khó tìm hoặc sao chép hơn. Thay đổi như vậy phải luôn đi kèm với kiểm tra hồi quy đầy đủ để xác minh hành vi hệ thống dự kiến.

Hiệu suất thử nghiệm, như được chỉ ra trong câu trả lời của Andy.

Tôi đã thấy rằng trở ngại lớn nhất trong việc thực hiện bộ nhớ đệm (và hiệu suất) tại nhiều tổ chức là thực sự có một môi trường nơi bạn có thể thực hiện kiểm tra hiệu năng tốt và chạy thử nghiệm cho các thử nghiệm hiệu suất và tải thế giới thực khác nhau.

Để có được điều này, bạn nên thiết lập một môi trường thử nghiệm hiệu suất , càng gần càng tốt, và cho phép chi phí, sản xuất gương. Đây có lẽ sẽ KHÔNG phải là môi trường phát triển hiện tại của bạn, nên nhỏ hơn và khép kín hơn để cho phép phát triển ứng dụng nhanh chóng. Các môi trường phát triển cũng có xu hướng sử dụng bộ nhớ đệm ít hơn và do đó không thể hiện sản xuất tốt để kiểm tra hiệu suất.

Trong môi trường thử nghiệm hiệu năng, ứng dụng sẽ chạy ở chế độ 'chế độ'. Bạn nên có nhiều máy chủ nếu sản xuất, nhóm kết nối cơ sở dữ liệu và bộ đệm ẩn nên được đặt cho môi trường sản xuất, v.v.

Bạn cũng sẽ muốn xem xét một công cụ để giúp kiểm tra tải.
jmeter là rất phổ biến mặc dù tôi thấy nó khá không thân thiện và nguyên thủy để sử dụng.
Một cách khác tôi đã sử dụng là chỉ url curlcủa một tập lệnh ruby.

Để rõ ràng

• kiểm tra hiệu suất dòng cơ sở là để kiểm tra thời gian MỘT yêu cầu thực hiện.
• kiểm tra tải tương tự như kiểm tra hiệu năng nhưng xem xét phản hồi khi hệ thống cũng đang tải từ các yêu cầu khác.

Bạn cũng có thể tìm thấy các liên kết sau hữu ích:

• Thực hành tốt nhất cho các phương pháp kiểm tra đơn vị sử dụng bộ đệm nhiều?
• Tải phương pháp kiểm tra cho bộ đệm
• Có cách nào để kiểm tra trang web sẽ hoạt động như thế nào khi tải không
• http://www.procata.com/cachetest/

Hãy nhớ để người kiểm tra khởi động lại máy chủ và kiểm tra xem dữ liệu họ đã nhập có còn ở đó không. Tôi thấy một hệ thống có nhiều tháng thử nghiệm, thất bại khi nó được thực hiện!

Phần khó nhất để kiểm tra là tuy nhiên dữ liệu được cập nhật, không bao giờ có có bất kỳ kết quả lỗi thời nào được trả về từ bộ đệm.

Điều này có thể được giúp đỡ một phần bằng cách luôn luôn sử dụng dữ liệu trong bộ đệm để điền vào trang xác nhận mà người dùng nhìn thấy sau khi họ đã thực hiện thay đổi. Ví dụ: không sử dụng đối tượng bạn đã sử dụng để cập nhật cơ sở dữ liệu, nhưng yêu cầu dữ liệu từ bộ đệm, sau đó yêu cầu nó từ cơ sở dữ liệu. Chậm hơn một chút, nhưng nhiều khả năng xuất hiện lỗi nhanh hơn.

Điều này thực sự có một câu trả lời rất đơn giản và nó có liên quan đến mức độ của bộ nhớ đệm. Những gì bạn sẽ quan sát khi bộ nhớ đệm là chính xác là sự vắng mặt của các yêu cầu tại mục tiêu của các yêu cầu. Vì vậy, nó đi xuống cụm từ QA bị hack là "kết quả mong đợi."

Nếu triển khai bộ đệm ở tầng web, thì tôi hy vọng rằng các mục theo bộ đệm sẽ chỉ hiển thị một lần cho mỗi phiên người dùng được kiểm tra (nếu triển khai bộ đệm của máy khách) hoặc một lần cho nhiều người dùng (nếu triển khai bộ đệm kiểu CDN). Nếu bạn đang triển khai bộ đệm ở tầng dữ liệu để có kết quả chung, thì tôi sẽ thấy tỷ lệ nhấn bộ đệm cao trong tầng bộ đệm của bạn cùng với việc không có truy vấn trong nhật ký hồ sơ cho tầng dữ liệu.

v.v ...

Một số thứ được kiểm tra tốt hơn bởi một lập trình viên, có lẽ là người đã viết mã, sử dụng các bài kiểm tra đơn vị. Kiểm tra tính chính xác của mã bộ nhớ đệm của bạn là một trong những điều đó. (Từ cách bạn đặt câu hỏi này, tôi cho rằng người QA của bạn coi ứng dụng là "hộp đen" và kiểm tra nó thông qua giao diện bên ngoài.)

Bộ nhớ đệm logic là thứ nên được nhà phát triển kiểm tra đơn vị vì QA chủ yếu thực hiện kiểm thử hộp đen.

QA sẽ chỉ quan tâm đến các khía cạnh hiệu suất hoặc bất kỳ sửa chữa nào bạn đã thực hiện, do đó, bạn có thể cung cấp cho QA một cơ chế để bật / tắt bộ đệm ẩn hoặc bất kỳ cơ chế nào bạn đã sử dụng để cải thiện hiệu suất và sau đó họ có thể xác minh sự khác biệt về hiệu suất. Tất nhiên, QA cũng có thể xác minh một bản phát hành cũ chống lại hiệu suất của bạn - cũng được cải thiện.

Khi tôi đang thử nghiệm giải pháp bộ nhớ đệm, chúng tôi đã thực hiện sau đó những gì chúng tôi đã kiểm tra về cơ bản hiệu năng. Chúng tôi đã thực hiện giải pháp bộ đệm cho kết quả XML và sau bộ đệm, cần rất ít thời gian để đưa ra phản hồi. Ngoài ra, chúng tôi đã kiểm tra nó với nhật ký máy chủ bằng cách kiểm tra các mục nhật ký.