Lưu trữ an toàn các biến môi trường trong GAE với app.yaml

Tôi cần lưu trữ các khóa API và thông tin nhạy cảm khác app.yamldưới dạng các biến môi trường để triển khai trên GAE. Vấn đề với điều này là nếu tôi đẩy app.yamllên GitHub, thông tin này sẽ trở thành công khai (không tốt). Tôi không muốn lưu trữ thông tin trong kho dữ liệu vì nó không phù hợp với dự án. Thay vào đó, tôi muốn hoán đổi các giá trị từ một tệp được liệt kê trong .gitignoremỗi lần triển khai ứng dụng.

Đây là tệp app.yaml của tôi:

application: myapp
version: 3 
runtime: python27
api_version: 1
threadsafe: true

libraries:
- name: webapp2
  version: latest
- name: jinja2
  version: latest

handlers:
- url: /static
  static_dir: static

- url: /.*
  script: main.application  
  login: required
  secure: always
# auth_fail_action: unauthorized

env_variables:
  CLIENT_ID: ${CLIENT_ID}
  CLIENT_SECRET: ${CLIENT_SECRET}
  ORG: ${ORG}
  ACCESS_TOKEN: ${ACCESS_TOKEN}
  SESSION_SECRET: ${SESSION_SECRET}

Bất kỳ ý tưởng?

Nếu đó là dữ liệu nhạy cảm, bạn không nên lưu trữ nó trong mã nguồn vì nó sẽ được kiểm tra trong kiểm soát nguồn. Những người sai (bên trong hoặc bên ngoài tổ chức của bạn) có thể tìm thấy nó ở đó. Ngoài ra, môi trường phát triển của bạn có thể sử dụng các giá trị cấu hình khác với môi trường sản xuất của bạn. Nếu các giá trị này được lưu trữ trong mã, bạn sẽ phải chạy các mã khác nhau trong quá trình phát triển và sản xuất, điều này rất lộn xộn và không tốt.

Trong các dự án của mình, tôi đặt dữ liệu cấu hình vào kho dữ liệu bằng cách sử dụng lớp này:

from google.appengine.ext import ndb

class Settings(ndb.Model):
  name = ndb.StringProperty()
  value = ndb.StringProperty()

  @staticmethod
  def get(name):
    NOT_SET_VALUE = "NOT SET"
    retval = Settings.query(Settings.name == name).get()
    if not retval:
      retval = Settings()
      retval.name = name
      retval.value = NOT_SET_VALUE
      retval.put()
    if retval.value == NOT_SET_VALUE:
      raise Exception(('Setting %s not found in the database. A placeholder ' +
        'record has been created. Go to the Developers Console for your app ' +
        'in App Engine, look up the Settings record with name=%s and enter ' +
        'its value in that record\'s value field.') % (name, name))
    return retval.value

Ứng dụng của bạn sẽ làm điều này để nhận được giá trị:

API_KEY = Settings.get('API_KEY')

Nếu có giá trị cho khóa đó trong kho dữ liệu, bạn sẽ nhận được nó. Nếu không có, một bản ghi giữ chỗ sẽ được tạo và một ngoại lệ sẽ được ném ra. Ngoại lệ sẽ nhắc bạn chuyển đến Bảng điều khiển dành cho nhà phát triển và cập nhật bản ghi giữ chỗ.

Tôi thấy điều này không cần phải phỏng đoán khi thiết lập các giá trị cấu hình. Nếu bạn không chắc chắn về những giá trị cấu hình nào cần đặt, chỉ cần chạy mã và nó sẽ cho bạn biết!

Đoạn mã trên sử dụng thư viện ndb sử dụng memcache và kho dữ liệu bên dưới, vì vậy nó rất nhanh.

Cập nhật:

jelder đã hỏi cách tìm các giá trị Kho dữ liệu trong bảng điều khiển App Engine và đặt chúng. Đây là cách:

1. Tới https://console.cloud.google.com/datastore/

2. Chọn dự án của bạn ở đầu trang nếu nó chưa được chọn.

3. Trong hộp thả xuống Loại , chọn Cài đặt .

4. Nếu bạn chạy mã trên, các khóa của bạn sẽ hiển thị. Tất cả chúng sẽ có giá trị KHÔNG ĐƯỢC ĐẶT . Nhấp vào từng cái và đặt giá trị của nó.

Hi vọng điêu nay co ich!

Giải pháp này đơn giản nhưng có thể không phù hợp với tất cả các đội khác nhau.

Đầu tiên, đặt các biến môi trường trong env_variables.yaml , ví dụ:

env_variables:
  SECRET: 'my_secret'

Sau đó, bao gồm điều này env_variables.yamltrongapp.yaml

includes:
  - env_variables.yaml

Cuối cùng, thêm env_variables.yamlvào.gitignore các biến bí mật sẽ không tồn tại trong kho lưu trữ.

Trong trường hợp này, env_variables.yamlnhu cầu được chia sẻ giữa các nhà quản lý triển khai.

Biện pháp của tôi là để lưu trữ bí mật của khách hàng chỉ trong ứng dụng App Engine riêng của mình. Các bí mật của máy khách không nằm trong kiểm soát nguồn cũng như trên bất kỳ máy tính cục bộ nào. Điều này có lợi ích mà bất kỳ cộng tác viên của App Engine nào cũng có thể triển khai các thay đổi mã mà không phải lo lắng về các bí mật của khách hàng.

Tôi lưu trữ bí mật của khách hàng trực tiếp trong Kho dữ liệu và sử dụng Memcache để cải thiện độ trễ khi truy cập bí mật. Các thực thể Kho dữ liệu chỉ cần được tạo một lần và sẽ tồn tại trong các lần triển khai sau này. tất nhiên bảng điều khiển App Engine có thể được sử dụng để cập nhật các thực thể này bất kỳ lúc nào.

Có hai tùy chọn để thực hiện tạo thực thể một lần:

• Sử dụng trình bao tương tác API từ xa của App Engine để tạo các thực thể.
• Tạo trình xử lý chỉ dành cho Quản trị viên sẽ khởi tạo các thực thể có giá trị giả. Gọi thủ công trình xử lý quản trị này, sau đó sử dụng bảng điều khiển App Engine để cập nhật các thực thể có bí mật của ứng dụng khách sản xuất.

Điều này không tồn tại khi bạn đăng, nhưng đối với bất kỳ ai khác tình cờ vào đây, Google hiện cung cấp một dịch vụ có tên là Trình quản lý bí mật .

Đó là một dịch vụ REST đơn giản (tất nhiên với các SDK gói nó) để lưu trữ bí mật của bạn ở một vị trí an toàn trên nền tảng đám mây của google. Đây là một cách tiếp cận tốt hơn so với Data Store, yêu cầu các bước bổ sung để xem các bí mật được lưu trữ và có một mô hình cấp phép chi tiết hơn - bạn có thể bảo mật các bí mật riêng lẻ theo cách khác nhau cho các khía cạnh khác nhau của dự án, nếu bạn cần.

Nó cung cấp khả năng lập phiên bản, vì vậy bạn có thể xử lý các thay đổi mật khẩu tương đối dễ dàng, cũng như lớp quản lý và truy vấn mạnh mẽ cho phép bạn khám phá và tạo bí mật trong thời gian chạy, nếu cần.

SDK Python

Ví dụ sử dụng:

from google.cloud import secretmanager_v1beta1 as secretmanager

secret_id = 'my_secret_key'
project_id = 'my_project'
version = 1    # use the management tools to determine version at runtime

client = secretmanager.SecretManagerServiceClient()

secret_path = client.secret_verion_path(project_id, secret_id, version)
response = client.access_secret_version(secret_path)
password_string = response.payload.data.decode('UTF-8')

# use password_string -- set up database connection, call third party service, whatever

Cách tốt nhất để làm điều đó, là lưu trữ các khóa trong tệp client_secrets.json và loại trừ khóa đó được tải lên git bằng cách liệt kê nó trong tệp .gitignore của bạn. Nếu bạn có các khóa khác nhau cho các môi trường khác nhau, bạn có thể sử dụng api app_identity để xác định id ứng dụng là gì và tải một cách thích hợp.

Có một ví dụ khá toàn diện ở đây -> https://developers.google.com/api-client-library/python/guide/aaa_client_secrets .

Đây là một số mã ví dụ:

# declare your app ids as globals ...
APPID_LIVE = 'awesomeapp'
APPID_DEV = 'awesomeapp-dev'
APPID_PILOT = 'awesomeapp-pilot'

# create a dictionary mapping the app_ids to the filepaths ...
client_secrets_map = {APPID_LIVE:'client_secrets_live.json',
                      APPID_DEV:'client_secrets_dev.json',
                      APPID_PILOT:'client_secrets_pilot.json'}

# get the filename based on the current app_id ...
client_secrets_filename = client_secrets_map.get(
    app_identity.get_application_id(),
    APPID_DEV # fall back to dev
    )

# use the filename to construct the flow ...
flow = flow_from_clientsecrets(filename=client_secrets_filename,
                               scope=scope,
                               redirect_uri=redirect_uri)

# or, you could load up the json file manually if you need more control ...
f = open(client_secrets_filename, 'r')
client_secrets = json.loads(f.read())
f.close()

Giải pháp này dựa trên appcfg.py không được dùng nữa

Bạn có thể sử dụng tùy chọn dòng lệnh -E của appcfg.py để thiết lập các biến môi trường khi bạn triển khai ứng dụng của mình lên GAE (appcfg.py cập nhật)

$ appcfg.py
...
-E NAME:VALUE, --env_variable=NAME:VALUE
                    Set an environment variable, potentially overriding an
                    env_variable value from app.yaml file (flag may be
                    repeated to set multiple variables).
...

Hầu hết các câu trả lời đã lỗi thời. Sử dụng kho dữ liệu đám mây của google thực sự có một chút khác biệt ngay bây giờ. https://cloud.google.com/python/getting-started/using-cloud-datastore

Đây là một ví dụ:

from google.cloud import datastore
client = datastore.Client()
datastore_entity = client.get(client.key('settings', 'TWITTER_APP_KEY'))
connection_string_prod = datastore_entity.get('value')

Điều này giả sử tên thực thể là 'TWITTER_APP_KEY', loại là 'cài đặt' và 'giá trị' là thuộc tính của thực thể TWITTER_APP_KEY.

Có vẻ như bạn có thể thực hiện một số cách tiếp cận. Chúng tôi gặp sự cố tương tự và thực hiện như sau (điều chỉnh cho phù hợp với trường hợp sử dụng của bạn):

• Tạo tệp lưu trữ bất kỳ giá trị app.yaml động nào và đặt nó trên máy chủ an toàn trong môi trường xây dựng của bạn. Nếu bạn thực sự hoang tưởng, bạn có thể mã hóa các giá trị một cách bất đối xứng. Bạn thậm chí có thể giữ nó trong một repo riêng tư nếu bạn cần kiểm soát phiên bản / kéo động hoặc chỉ cần sử dụng tập lệnh shell để sao chép / kéo nó từ nơi thích hợp.
• Kéo từ git trong tập lệnh triển khai
• Sau khi kéo git, hãy sửa đổi app.yaml bằng cách đọc và ghi nó bằng python thuần túy bằng thư viện yaml

Cách dễ nhất để làm điều này là sử dụng một máy chủ tích hợp liên tục như Hudson , Bamboo hoặc Jenkins . Chỉ cần thêm một số plugin, bước tập lệnh hoặc quy trình làm việc thực hiện tất cả các mục ở trên mà tôi đã đề cập. Ví dụ, bạn có thể chuyển các biến môi trường được cấu hình trong chính Bamboo.

Tóm lại, chỉ cần đẩy các giá trị trong quá trình xây dựng của bạn trong một môi trường mà bạn chỉ có quyền truy cập. Nếu bạn chưa tự động hóa các bản dựng của mình, bạn nên làm như vậy.

Một tùy chọn tùy chọn khác là những gì bạn đã nói, đưa nó vào cơ sở dữ liệu. Nếu lý do của bạn không làm điều đó là mọi thứ quá chậm, chỉ cần đẩy các giá trị vào memcache dưới dạng bộ nhớ cache lớp thứ 2 và ghim các giá trị vào các phiên bản dưới dạng bộ nhớ cache lớp thứ nhất. Nếu các giá trị có thể thay đổi và bạn cần cập nhật các phiên bản mà không cần khởi động lại chúng, chỉ cần giữ một hàm băm mà bạn có thể kiểm tra để biết khi nào chúng thay đổi hoặc kích hoạt nó bằng cách nào đó khi bạn làm thay đổi giá trị. Đó phải là nó.

Bạn nên mã hóa các biến bằng google kms và nhúng nó vào mã nguồn của bạn. ( https://cloud.google.com/kms/ )

echo -n the-twitter-app-key | gcloud kms encrypt \
> --project my-project \
> --location us-central1 \
> --keyring THEKEYRING \
> --key THECRYPTOKEY \
> --plaintext-file - \
> --ciphertext-file - \
> | base64

đặt giá trị xáo trộn (được mã hóa và mã hóa base64) vào biến môi trường của bạn (trong tệp yaml).

Một số mã pythonish để giúp bạn bắt đầu giải mã.

kms_client = kms_v1.KeyManagementServiceClient()
name = kms_client.crypto_key_path_path("project", "global", "THEKEYRING", "THECRYPTOKEY")

twitter_app_key = kms_client.decrypt(name, base64.b64decode(os.environ.get("TWITTER_APP_KEY"))).plaintext

Câu trả lời của @Jason F dựa trên việc sử dụng Kho dữ liệu của Google là gần đúng, nhưng mã hơi lỗi thời dựa trên cách sử dụng mẫu trên tài liệu thư viện . Đây là đoạn mã phù hợp với tôi:

from google.cloud import datastore

client = datastore.Client('<your project id>')
key = client.key('<kind e.g settings>', '<entity name>') # note: entity name not property
# get by key for this entity
result = client.get(key)
print(result) # prints all the properties ( a dict). index a specific value like result['MY_SECRET_KEY'])

Một phần lấy cảm hứng từ bài đăng này trên Medium

Chỉ muốn lưu ý cách tôi đã giải quyết vấn đề này trong javascript / nodejs. Để phát triển cục bộ, tôi đã sử dụng gói npm 'dotenv' tải các biến môi trường từ tệp .env vào process.env. Khi tôi bắt đầu sử dụng GAE, tôi đã biết rằng các biến môi trường cần được đặt trong tệp 'app.yaml'. Chà, tôi không muốn sử dụng 'dotenv' để phát triển cục bộ và 'app.yaml' cho GAE (và sao chép các biến môi trường của tôi giữa hai tệp), vì vậy tôi đã viết một tập lệnh nhỏ tải các biến môi trường app.yaml vào quy trình .env, để phát triển địa phương. Hy vọng điều này sẽ giúp ai đó:

yaml_env.js:

(function () {
    const yaml = require('js-yaml');
    const fs = require('fs');
    const isObject = require('lodash.isobject')

    var doc = yaml.safeLoad(
        fs.readFileSync('app.yaml', 'utf8'), 
        { json: true }
    );

    // The .env file will take precedence over the settings the app.yaml file
    // which allows me to override stuff in app.yaml (the database connection string (DATABASE_URL), for example)
    // This is optional of course. If you don't use dotenv then remove this line:
    require('dotenv/config');

    if(isObject(doc) && isObject(doc.env_variables)) {
        Object.keys(doc.env_variables).forEach(function (key) {
            // Dont set environment with the yaml file value if it's already set
            process.env[key] = process.env[key] || doc.env_variables[key]
        })
    }
})()

Bây giờ hãy bao gồm tệp này càng sớm càng tốt trong mã của bạn và bạn đã hoàn tất:

require('../yaml_env')

Mở rộng câu trả lời của Martin

from google.appengine.ext import ndb

class Settings(ndb.Model):
    """
    Get sensitive data setting from DataStore.

    key:String -> value:String
    key:String -> Exception

    Thanks to: Martin Omander @ Stackoverflow
    https://stackoverflow.com/a/35261091/1463812
    """
    name = ndb.StringProperty()
    value = ndb.StringProperty()

    @staticmethod
    def get(name):
        retval = Settings.query(Settings.name == name).get()
        if not retval:
            raise Exception(('Setting %s not found in the database. A placeholder ' +
                             'record has been created. Go to the Developers Console for your app ' +
                             'in App Engine, look up the Settings record with name=%s and enter ' +
                             'its value in that record\'s value field.') % (name, name))
        return retval.value

    @staticmethod
    def set(name, value):
        exists = Settings.query(Settings.name == name).get()
        if not exists:
            s = Settings(name=name, value=value)
            s.put()
        else:
            exists.value = value
            exists.put()

        return True

Có một gói pypi được gọi là gae_env cho phép bạn lưu các biến môi trường appengine trong Cloud Datastore. Dưới mui xe, nó cũng sử dụng Memcache nên rất nhanh

Sử dụng:

import gae_env

API_KEY = gae_env.get('API_KEY')

Nếu có một giá trị cho khóa đó trong kho dữ liệu, nó sẽ được trả về. Nếu không có, một bản ghi giữ chỗ __NOT_SET__sẽ được tạo và một ValueNotSetErrorsẽ được ném. Ngoại lệ sẽ nhắc bạn chuyển đến Bảng điều khiển dành cho nhà phát triển và cập nhật bản ghi giữ chỗ.

Tương tự như câu trả lời của Martin, đây là cách cập nhật giá trị cho khóa trong Kho dữ liệu:

1. Đi tới Phần kho dữ liệu trong bảng điều khiển dành cho nhà phát triển

2. Chọn dự án của bạn ở đầu trang nếu nó chưa được chọn.

3. Trong hộp thả xuống Loại , hãy chọn GaeEnvSettings.

4. Các khóa mà ngoại lệ được nêu ra sẽ có giá trị __NOT_SET__.

Tới trang GitHub của gói để biết thêm về cách sử dụng / cấu hình