Định giá của Google App Engine Linh hoạt env, một bài học $ 500

Tôi đã làm theo hướng dẫn về Nodejs trên App Engine Linh hoạt env @: https://cloud.google.com/nodejs/getting-started/hello-world

Sau khi triển khai và thử nghiệm thành công hướng dẫn, tôi đã thay đổi mã để thử nghiệm một chút và triển khai thành công ... và sau đó để nó chạy vì đây là môi trường thử nghiệm (không công khai).

Một tháng sau, tôi nhận được hóa đơn từ Google hơn $ 370!

Trong chi tiết giao dịch, tôi thấy như sau:

Ngày 1 - 31 tháng 10 năm 2017 RAM phiên bản App Engine Flex: 5948,774 Gibibyte-giờ ([MYPROJECT]) $ 42,24

Ngày 1 - 31 tháng 10 năm 2017 Số giờ chính của phiên bản linh hoạt của App Engine: 5948,774 giờ ([MYPROJECT]) $ 312,91

Làm thế nào mà môi trường thử nghiệm với gần như 0 yêu cầu này lại yêu cầu khoảng 6.000 giờ tài nguyên? Trong điều tồi tệ nhất, tôi sẽ giả sử 720 giờ chạy toàn thời gian trong một tháng @ 0,05 đô la mỗi giờ sẽ khiến tôi mất ~ 40 đô la. https://cloud.google.com/appengine/pricing

Ai đó có thể giúp làm sáng tỏ điều này? Tôi không thể tìm ra lý do tại sao lại cần nhiều tài nguyên như vậy?

Cảm ơn đã giúp đỡ!

Để biết thêm dữ liệu, đây là lưu lượng truy cập trong tháng trước (về cơ bản là 0):

Và dữ liệu phiên bản

CẬP NHẬT: Lưu ý rằng tôi đã mang đến một sửa đổi cho package.json: Tôi đã thêm gật đầu làm phụ thuộc và thêm nó như một phần của tập lệnh "nmp start" của mình. Mặc dù tôi nghi ngờ điều này giải thích cho 6000 giờ tài nguyên:

  "scripts": {
    "deploy": "gcloud app deploy",
    "start": "nodemon app.js",
    "dev": "nodemon app js",
    "lint": "samples lint",
    "pretest": "npm run lint",
    "system-test": "samples test app",
    "test": "npm run system-test",
    "e2e-test": "samples test deploy"
  },

App.yaml (mặc định-không thay đổi so với hướng dẫn)

runtime: nodejs
env: flex

Sau nhiều lần qua lại với Google và hàng giờ đọc blog và xem các báo cáo, cuối cùng (phần nào) tôi đã tìm ra lời giải thích cho những gì đã xảy ra. Tôi sẽ đăng nó ở đây với các đề xuất của tôi để những người khác cũng không trở thành nạn nhân của vấn đề này.

Lưu ý, điều này có vẻ hiển nhiên đối với một số người, nhưng là một người dùng GAE mới, tất cả những điều này đều hoàn toàn mới đối với tôi.

Tóm lại, khi triển khai tới GAE và sử dụng lệnh sau " $ gcloud app deploy ", nó sẽ tạo một phiên bản mới và đặt nó làm mặc định, nhưng cũng và quan trọng hơn, nó KHÔNG xóa phiên bản trước đó đã được triển khai.

Có thể tìm thấy thêm thông tin về các phiên bản và phiên bản tại đây: https://cloud.google.com/appengine/docs/standard/python/an-overview-of-app-engine

Vì vậy, trong trường hợp của tôi, mà không biết điều đó, tôi đã tạo nhiều phiên bản ứng dụng nút đơn giản của mình. Các phiên bản này vẫn đang chạy trong trường hợp cần chuyển đổi sau một lỗi. Nhưng các phiên bản này cũng yêu cầu phiên bản và mặc định, trừ khi được nêu trong app.yaml, là 2 phiên bản.

Google nói:

Theo mặc định, App Engine chia tỷ lệ số lượng phiên bản đang chạy lên và xuống để phù hợp với tải, do đó cung cấp hiệu suất nhất quán cho ứng dụng của bạn mọi lúc trong khi giảm thiểu các phiên bản không hoạt động và do đó giảm chi phí.

Tuy nhiên, từ kinh nghiệm của tôi, đây không phải là trường hợp. Như tôi đã nói trước đó, tôi đã đẩy ứng dụng nút của mình bằng gật đầu mà có vẻ như nó đang gây ra lỗi.

Cuối cùng, làm theo hướng dẫn và không tắt dự án, tôi có 4 phiên bản, mỗi phiên bản có 2 phiên bản chạy toàn thời gian trong 1,5 tháng, phục vụ 0 yêu cầu và tạo ra nhiều thông báo lỗi và tôi phải trả 500 đô la.

KHUYẾN NGHỊ NẾU BẠN VẪN MUỐN SỬ DỤNG GAE FLEX ENV:

1. Đầu tiên và quan trọng nhất, hãy thiết lập ngân sách thanh toán và cảnh báo để bạn không bị ngạc nhiên bởi một hóa đơn đắt tiền được tự động tính phí vào CC của bạn: https://cloud.google.com/billing/docs/how-to/budgets

2. Trong một env thử nghiệm, rất có thể bạn không cần nhiều phiên bản, vì vậy trong khi triển khai, hãy sử dụng lệnh sau:
   $ gcloud app deploy --version v1

3. Cập nhật app.yaml của bạn để buộc chỉ 1 phiên bản với tài nguyên tối thiểu:

runtime: nodejs
env: flex

# This sample incurs costs to run on the App Engine flexible environment.
# The settings below are to reduce costs during testing and are not appropriate
# for production use. For more information, see:
# https://cloud.google.com/appengine/docs/flexible/nodejs/configuring-your-app-with-app-yaml
manual_scaling:
  instances: 1
resources:
  cpu: 1
  memory_gb: 0.5
  disk_size_gb: 10

4. Đặt giới hạn chi tiêu hàng ngày

Xem bài đăng trên blog này để biết thêm thông tin: https://medium.com/google-cloud/three-simple-steps-to-save-costs-when-prototyping-with-app-engine-flexible-enosystem-104fc6736495

Tôi ước một số bước này đã được đưa vào hướng dẫn để bảo vệ những người đang cố gắng tìm hiểu và thử nghiệm, nhưng không phải vậy.

Google App Engine Flex env có thể phức tạp nếu một người không biết tất cả những chi tiết này. Một người bạn đã chỉ tôi đến Heroku, nơi có cả giá cả và ưu đãi Miễn phí / Sở thích. Tôi đã có thể nhanh chóng đẩy một ứng dụng nút mới vào đó và nó hoạt động như một sự quyến rũ! https://www.heroku.com/pricing

Tôi "chỉ" mất 500 đô la để học bài học này, nhưng tôi hy vọng điều này sẽ giúp ích cho những người khác đang tìm hiểu về Google App Engine Flex Env.

Nếu bạn muốn giảm chi phí GAE của mình, vui lòng KHÔNG sử dụng manual_scalingtheo đề xuất trong bài viết này hoặc câu trả lời được chấp nhận!

Điều tuyệt vời về Google App Engine là nó có thể mở rộng quy mô lên đến hàng trăm máy trong vòng mili giây dựa trên nhu cầu. Và bạn chỉ trả tiền cho các phiên bản đang chạy.

Để có thể tối ưu hóa chi phí của mình, bạn cần hiểu các tùy chọn mở rộng quy mô khác nhau và các loại phiên bản:

1. Công cụ ứng dụng flex so với tiêu chuẩn:

Bạn có thể tìm thấy chi tiết về sự khác biệt ở đây , nhưng một điểm khác biệt quan trọng liên quan đến câu hỏi này là:

[Tiêu chuẩn là] Dự định chạy miễn phí hoặc với chi phí rất thấp, nơi bạn chỉ trả tiền cho những gì bạn cần và khi bạn cần. Ví dụ: ứng dụng của bạn có thể mở rộng thành 0 phiên bản khi không có lưu lượng truy cập.

2. Tùy chọn tỷ lệ:

• Tự động mở rộng quy mô: Google sẽ mở rộng ứng dụng của bạn tùy thuộc vào nhu cầu và cấu hình bạn đã cung cấp.
• Chia tỷ lệ thủ công: Hoàn toàn không chia tỷ lệ, GAE sẽ chạy chính xác # trường hợp bạn yêu cầu, mọi lúc (đặt tên rất dễ gây hiểu lầm)
• Mở rộng quy mô cơ bản: Nó sẽ mở rộng theo giới hạn bạn đặt và cũng sẽ giảm quy mô sau một thời gian nhất định

3. Các loại phiên bản: Có 2 loại phiên bản và về cơ bản chúng khác nhau về thời gian cần để tạo ra một phiên bản mới. Các cá thể lớp F (được sử dụng trong chia tỷ lệ tự động) có thể được tạo khi có nhu cầu trong vòng ~ 0,1 giây và các cá thể lớp B (được sử dụng trong chia tỷ lệ thủ công / cơ bản) trong vòng ~ 0,7 giây:

Bây giờ bạn đã hiểu những điều cơ bản, hãy quay lại câu trả lời được chấp nhận:

manual_scaling:
  instances: 1
resources:
  cpu: 1
  memory_gb: 0.5
  disk_size_gb: 10

Điều này hướng dẫn GAE là luôn chạy một lớp cá thể tùy chỉnh ( tốn kém hơn ). Rõ ràng đây không phải là lựa chọn rẻ nhất vì loại phiên bản B1 / F1 có thể được sử dụng thay thế (nó có thông số kỹ thuật thấp hơn) và nó cũng đang chạy một phiên bản liên tục.

Cách rẻ nhất là tắt phiên bản khi không có lưu lượng truy cập. Nếu bạn không bận tâm đến thời gian quay vòng ~ 0,1 giây, bạn có thể sử dụng điều này để thay thế:

instance_class: F1
automatic_scaling:
  max_instances: 1 (--> you can adjust this as you wish)
  min_instances: 0 (--> will scale to 0 when there is no traffic so won't incur costs)

Điều này sẽ nằm trong hạn ngạch miễn phí mà google cung cấp và bạn sẽ không mất bất cứ chi phí nào nếu bạn không có bất kỳ lưu lượng truy cập thực sự nào.

Tái bút: Bạn cũng nên thiết lập giới hạn chi tiêu hàng ngày trong trường hợp bạn quên thứ gì đó đang chạy hoặc bạn có một số cài đặt tốn kém ở đâu đó.

Chúng tôi đã triển khai mã cho GAE FE hoàn toàn không thành công do lỗi phân tầng, theo cấp số nhân (email bị trả lại tạo ra email bị trả lại, v.v.) và chúng tôi KHÔNG thể tắt các phiên bản GAE đã bị nghe trộm. Sau hơn 4 giờ và hơn 1 triệu email được gửi (Mailgun sẽ KHÔNG cho phép chúng tôi vô hiệu hóa tài khoản. Nó cho biết "Vui lòng đợi tối đa 24 giờ để thay đổi mật khẩu có hiệu lực" và việc thu hồi khóa API không làm gì cả), redis VM đã bị dừng, DB ngừng hoạt động và tất cả mã của trang web được giảm xuống chỉ còn một trang tĩnh 503 "Không được bảo trì"), các email tiếp tục được gửi đi.

Tôi xác định rằng GAE FE chỉ đơn giản là không kết thúc máy ảo docker hoặc máy ảo tính toán đám mây (redis) đang chịu tải của CPU. Có lẽ không bao giờ! Sau khi chúng tôi thực sự xóa Compute VM (thay vì "chỉ" dừng nó), các email ngay lập tức dừng lại.

Tuy nhiên, DB của chúng tôi tiếp tục nhận được thông báo "không thể gửi email" trong tối đa 2 giờ nữa, mặc dù ứng dụng GAE báo cáo 100% các phiên bản và phiên bản là "Đã dừng". Tôi đã phải thay đổi mật khẩu Google Cloud SQL.

Chúng tôi tiếp tục kiểm tra hóa đơn và 7 trường hợp giả mạo tiếp tục sử dụng hết CPU và vì vậy chúng tôi đã hủy thẻ được sử dụng trên tài khoản đó và trên thực tế, trang web đã giảm giá khi hóa đơn quá hạn, nhưng các trường hợp giả mạo cũng vậy. Chúng tôi không bao giờ có thể giải quyết tình huống này với hỗ trợ qua email GAE.

Cũng lưu ý rằng nếu bạn vẫn muốn ứng dụng của mình có khả năng tự động mở rộng quy mô nhưng bạn không muốn tối thiểu mặc định là 2 phiên bản luôn chạy, bạn có thể định cấu hình app.yaml của mình như sau:

runtime: nodejs
env: flex
automatic_scaling:
  min_num_instances: 1

Vì không ai đề cập nên đây là các lệnh gcloud liên quan đến các phiên bản

# List all versions
$ gcloud app versions list

SERVICE  VERSION.ID       TRAFFIC_SPLIT  LAST_DEPLOYED              SERVING_STATUS
default  20200620t174631  0.00           2020-06-20T17:46:56+03:00  SERVING
default  20200620t174746  0.00           2020-06-20T17:48:12+03:00  SERVING
default  prod             1.00           2020-06-20T17:54:51+03:00  SERVING

# Delete these 2 versions (you can't delete all versions, you have to have at least one remaining)
$ gcloud app versions delete 20200620t174631 20200620t174746

# Help
$ gcloud app versions --help

đối với môi trường nhà phát triển nơi tôi không ngại một chút độ trễ, tôi đang sử dụng các cài đặt sau:

instance_class: B1
basic_scaling:
  max_instances: 1
  idle_timeout: 1m

Và nếu bạn sử dụng phiên bản của mình nhiều hơn mức cho phép phiên bản phụ trợ miễn phí, hãy thử điều này:

instance_class: F1
automatic_scaling:
  max_instances: 1

Đó là bảng điều khiển AppEngine, xem Phiên bản, ghi chú thời gian bắt đầu và theo dõi để đảm bảo rằng sau khoảng thời gian nhàn rỗi_timeout đã vượt qua số phiên bản giảm xuống 0 và bạn thấy thông báo "Phiên bản này không có phiên bản nào được triển khai".