Tìm thấy câu trả lời cho vấn đề của riêng tôi. Tôi sẽ đăng nó ở đây trong trường hợp sự ngu ngốc của tôi giúp người khác. :-)
Tôi thực sự có hai máy chủ web AWS, với một bộ cân bằng tải ở phía trước chúng. Tôi phát hiện ra rằng chứng chỉ mới thực sự hiển thị tốt trong trình duyệt nếu tôi truy cập trực tiếp vào từng máy chủ web, nhưng không thành công nếu tôi truy cập "www" thông qua bộ cân bằng tải.
Tôi đã quên tải các tệp chứng chỉ mới lên bộ cân bằng tải thông qua Bảng điều khiển quản lý của AWS. Trang này mô tả quá trình:
Cập nhật chứng chỉ SSL cho bộ cân bằng tải
Lưu ý rằng các tệp khóa riêng và khóa chung bạn sao chép và dán phải có định dạng RSA. Trang web này mô tả cách chuyển đổi tệp của bạn sang định dạng đó nếu cần:
AWS Load Balancer giới hạn SSL
Sau đó, trình duyệt sẽ ngay lập tức hiển thị chứng chỉ mới. Không chậm trễ, không lưu trữ. Cảm ơn các ý kiến trên dù sao đi nữa.