Chính sách truy cập thích hợp cho Cụm tìm kiếm đàn hồi của Amazon

Gần đây tôi đã bắt đầu sử dụng Dịch vụ Amazon Elasticsearch mới và dường như tôi không thể tìm ra chính sách truy cập mà tôi cần để tôi chỉ có thể truy cập các dịch vụ từ các phiên bản EC2 của mình có vai trò IAM cụ thể được chỉ định cho chúng.

Dưới đây là ví dụ về chính sách truy cập mà tôi hiện đã chỉ định cho miền ES:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::[ACCOUNT_ID]:role/my_es_role",
        ]
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:[ACCOUNT_ID]:domain/[ES_DOMAIN]/*"
    }
  ]
}

Nhưng như tôi đã nói, điều này không hiệu quả. Tôi đăng nhập vào phiên bản EC2 (có my_es_rolevai trò gắn liền với nó) và cố gắng chạy một lệnh gọi curl đơn giản trên điểm cuối "https: //*.es.amazonaws.com", tôi gặp lỗi sau:

{"Thông báo": "Người dùng: nặc danh không được phép thực hiện: es: ESHttp Nhận tài nguyên: arn: aws: es: us-west-1: [ACCOUNT_ID]: domain / [ES_DOMAIN] /“}

Có ai biết tôi phải thay đổi những gì trong chính sách truy cập để điều này hoạt động không?

Bạn có thể khóa quyền truy cập xuống chỉ IAM, nhưng bạn sẽ xem Kibana trong trình duyệt của mình như thế nào? Bạn có thể thiết lập proxy ( xem Gist và / hoặc mô-đun NPM ) hoặc kích hoạt cả truy cập dựa trên IAM và IP để xem kết quả.

Tôi đã có thể nhận được cả quyền truy cập IP bị hạn chế quyền truy cập IAM bằng Chính sách truy cập sau. Lưu ý rằng thứ tự rất quan trọng: Tôi không thể làm cho nó hoạt động với câu lệnh dựa trên IP trước câu lệnh IAM.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::xxxxxxxxxxxx:root"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*"
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*",
      "Condition": {
        "IpAddress": {
          "aws:SourceIp": [
            "192.168.1.0",
            "192.168.1.1"
          ]
        }
      }
    }
  ]
}

Phiên bản EC2 của tôi có một cấu hình cá thể với arn:aws:iam::aws:policy/AmazonESFullAccess chính sách. Logstash phải ký các yêu cầu bằng cách sử dụng plugin đầu ra logstash-output-amazon-es . Logstash chạy trên phiên bản EC2 của tôi bao gồm một phần đầu ra như sau:

output {
    amazon_es {
        hosts => ["ELASTICSEARCH_HOST"]
        region => "AWS_REGION"
    }
    # If you need to do some testing & debugging, uncomment this line:
    # stdout { codec => rubydebug }
}

Tôi có thể truy cập Kibana từ hai IP trong chính sách truy cập (192.168.1.0 và 192.168.1.1).

Theo tài liệu AWS và khi bạn (và tôi) vừa thử nghiệm, bạn không thể hạn chế quyền truy cập vào miền AWS ES đối với một vai trò / tài khoản / người dùng / ... và chỉ cần CURL nó!

Các ứng dụng khách tiêu chuẩn, chẳng hạn như curl, không thể thực hiện việc ký yêu cầu được yêu cầu của các chính sách truy cập dựa trên danh tính. Bạn phải sử dụng chính sách truy cập dựa trên địa chỉ IP cho phép truy cập ẩn danh để thực hiện thành công các hướng dẫn cho bước này. ( http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-gsg-search.html )

Vì vậy, về cơ bản bạn có hai giải pháp:

• thay đổi chính sách truy cập của bạn và hạn chế nó ở (các) IP, tôi nghĩ bạn không thể sử dụng IP riêng vì cụm ES của bạn dường như không thuộc về VPC của bạn (mặc định hoặc không). Vui lòng sử dụng IP công cộng
• ký yêu cầu của bạn: http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-managedomains.html#es-managedomains-signs-service-requests

Việc ký yêu cầu của bạn có lẽ là giải pháp tốt nhất nếu bạn muốn giữ nguyên chính sách truy cập của mình (linh hoạt hơn việc hạn chế IP), nhưng nó có vẻ phức tạp hơn một chút. Tôi đã không thử cho đến nay và tôi không thể tìm thấy bất kỳ tài liệu nào để giúp đỡ.

Đến bữa tiệc hơi muộn, nhưng tôi đã có thể giải quyết vấn đề tương tự bằng cách thêm chữ ký vào các yêu cầu của mình.

Nếu bạn sử dụng Python (như tôi làm), bạn có thể sử dụng thư viện sau để làm cho nó đặc biệt dễ triển khai: https://github.com/DavidMuller/aws-requests-auth

Nó làm việc hoàn hảo cho tôi.

Bạn chỉ cần điền đầy đủ tên người dùng trong chính sách tìm kiếm đàn hồi.

Trong trường hợp này, bạn có thể lấy tên người dùng đầy đủ của mình từ chính thông báo lỗi. Trong trường hợp của tôi: "arn: aws: sts :: [ACCOUNT_ID]: vai trò giả định / [LAMBDA_POLICY_NAME] / [LAMBDA_NAME]"

    {
        "Version": "2012-10-17",
        "Statement": [
        {
          "Effect": "Allow",
          "Principal": {
            "AWS": [
              "arn:aws:sts::xxxxxxxxxxxx:assumed-role/[lambda-role]/[full-lambda-name]"
            ]
          },
          "Action": "es:*",
          "Resource": "arn:aws:es:[region]:xxxxxxxxxxxxx:domain/[elasticsearch-domain-name]/*"
        }
      ]

    }

Bạn có thể sử dụng chính sách dựa trên tài nguyên hoặc chính sách dựa trên danh tính thay vì chính sách dựa trên IP, giống như mã hóa cứng địa chỉ IP.

Nhưng bạn cần sử dụng Chữ ký phiên bản 4 để ký yêu cầu

Để triển khai Java, vui lòng tham khảo http://mytechbites.blogspot.in/2017/04/secure-amazon-elastic-search-service.html

Vai trò ARN cần được thay đổi. nó sẽ giống như "arn: aws: iam :: [ACCOUNT_ID]: role / service-role / my_es_role"

Tôi cũng đang cố gắng làm điều này và tôi đã làm cho nó hoạt động bằng cách sử dụng Allow access to the domain from specific IP(s)tùy chọn với Elastic IP của phiên bản EC2 của tôi (cũng có thể hoạt động bằng cách sử dụng IP riêng của phiên bản, nhưng tôi không quá chắc chắn)