Phương pháp hay nhất để chuyển thư từ hàng đợi thư đã chết trở lại hàng đợi ban đầu trong Amazon SQS là gì?
Nó sẽ được
Hay có cách nào đơn giản hơn?
Ngoài ra, AWS cuối cùng sẽ có một công cụ trong bảng điều khiển để di chuyển các thông báo ra khỏi DLQ?
Câu trả lời:
Đây là một bản hack nhanh chóng. Đây chắc chắn không phải là lựa chọn tốt nhất hoặc được khuyến nghị.
Có một vài tập lệnh có thể thực hiện việc này cho bạn:
# install
npm install replay-aws-dlq;
# use
npx replay-aws-dlq [source_queue_url] [dest_queue_url]
# compile: https://github.com/mercury2269/sqsmover#compiling-from-source
# use
sqsmover -s [source_queue_url] -d [dest_queue_url]
npx replay-aws-dlq DL_URI MAIN_URI
Không cần di chuyển tin nhắn vì nó sẽ đi kèm với rất nhiều thách thức khác như tin nhắn trùng lặp, kịch bản khôi phục, tin nhắn bị mất, kiểm tra loại bỏ trùng lặp, v.v.
Đây là giải pháp mà chúng tôi đã triển khai -
Thông thường, chúng tôi sử dụng DLQ cho các lỗi tạm thời, không phải cho các lỗi vĩnh viễn. Vì vậy, đã thực hiện cách tiếp cận dưới đây -
Đọc tin nhắn từ DLQ như một hàng đợi thông thường
Những lợi íchSau đó làm theo mã tương tự mà hàng đợi thông thường đang theo sau.
Đáng tin cậy hơn trong trường hợp hủy bỏ công việc hoặc quá trình bị chấm dứt trong khi xử lý (ví dụ: Phiên bản bị giết hoặc quá trình bị chấm dứt)
Những lợi íchMở rộng khả năng hiển thị thông báo để không có chuỗi nào khác xử lý chúng.
Lợi íchChỉ xóa tin nhắn khi có lỗi vĩnh viễn hoặc thành công.
Lợi íchđây:
import boto3
import sys
import Queue
import threading
work_queue = Queue.Queue()
sqs = boto3.resource('sqs')
from_q_name = sys.argv[1]
to_q_name = sys.argv[2]
print("From: " + from_q_name + " To: " + to_q_name)
from_q = sqs.get_queue_by_name(QueueName=from_q_name)
to_q = sqs.get_queue_by_name(QueueName=to_q_name)
def process_queue():
while True:
messages = work_queue.get()
bodies = list()
for i in range(0, len(messages)):
bodies.append({'Id': str(i+1), 'MessageBody': messages[i].body})
to_q.send_messages(Entries=bodies)
for message in messages:
print("Coppied " + str(message.body))
message.delete()
for i in range(10):
t = threading.Thread(target=process_queue)
t.daemon = True
t.start()
while True:
messages = list()
for message in from_q.receive_messages(
MaxNumberOfMessages=10,
VisibilityTimeout=123,
WaitTimeSeconds=20):
messages.append(message)
work_queue.put(messages)
work_queue.join()
Có một cách khác để đạt được điều này mà không cần viết một dòng mã. Hãy xem xét tên hàng đợi thực tế của bạn là SQS_Queue và DLQ cho nó là SQS_DLQ. Bây giờ hãy làm theo các bước sau:
aws sqs receive-message --queue-url <url of DLQ> --max-number-of-messages 10. Vì các tin nhắn tối đa bạn có thể đọc được giới hạn ở 10, tôi khuyên bạn nên chạy lệnh trong một vòng lặp như sau:for i in {1..1000}; do <CMD>; done
Tôi đã viết một tập lệnh python nhỏ để thực hiện việc này, bằng cách sử dụng boto3 lib:
conf = {
"sqs-access-key": "",
"sqs-secret-key": "",
"reader-sqs-queue": "",
"writer-sqs-queue": "",
"message-group-id": ""
}
import boto3
client = boto3.client(
'sqs',
aws_access_key_id = conf.get('sqs-access-key'),
aws_secret_access_key = conf.get('sqs-secret-key')
)
while True:
messages = client.receive_message(QueueUrl=conf['reader-sqs-queue'], MaxNumberOfMessages=10, WaitTimeSeconds=10)
if 'Messages' in messages:
for m in messages['Messages']:
print(m['Body'])
ret = client.send_message( QueueUrl=conf['writer-sqs-queue'], MessageBody=m['Body'], MessageGroupId=conf['message-group-id'])
print(ret)
client.delete_message(QueueUrl=conf['reader-sqs-queue'], ReceiptHandle=m['ReceiptHandle'])
else:
print('Queue is currently empty or messages are invisible')
break
bạn có thể lấy tập lệnh này trong liên kết này
script này về cơ bản có thể di chuyển thông điệp giữa bất kỳ hàng đợi tùy ý nào. và nó hỗ trợ hàng đợi năm mươi cũng như bạn có thể cung cấp message_group_idtrường.
Chúng tôi sử dụng tập lệnh sau để điều hướng lại thông báo từ hàng đợi src thành hàng đợi tgt:
tên tệp: redrive.py
sử dụng: python redrive.py -s {source queue name} -t {target queue name}
'''
This script is used to redrive message in (src) queue to (tgt) queue
The solution is to set the Target Queue as the Source Queue's Dead Letter Queue.
Also set Source Queue's redrive policy, Maximum Receives to 1.
Also set Source Queue's VisibilityTimeout to 5 seconds (a small period)
Then read data from the Source Queue.
Source Queue's Redrive Policy will copy the message to the Target Queue.
'''
import argparse
import json
import boto3
sqs = boto3.client('sqs')
def parse_args():
parser = argparse.ArgumentParser()
parser.add_argument('-s', '--src', required=True,
help='Name of source SQS')
parser.add_argument('-t', '--tgt', required=True,
help='Name of targeted SQS')
args = parser.parse_args()
return args
def verify_queue(queue_name):
queue_url = sqs.get_queue_url(QueueName=queue_name)
return True if queue_url.get('QueueUrl') else False
def get_queue_attribute(queue_url):
queue_attributes = sqs.get_queue_attributes(
QueueUrl=queue_url,
AttributeNames=['All'])['Attributes']
print(queue_attributes)
return queue_attributes
def main():
args = parse_args()
for q in [args.src, args.tgt]:
if not verify_queue(q):
print(f"Cannot find {q} in AWS SQS")
src_queue_url = sqs.get_queue_url(QueueName=args.src)['QueueUrl']
target_queue_url = sqs.get_queue_url(QueueName=args.tgt)['QueueUrl']
target_queue_attributes = get_queue_attribute(target_queue_url)
# Set the Source Queue's Redrive policy
redrive_policy = {
'deadLetterTargetArn': target_queue_attributes['QueueArn'],
'maxReceiveCount': '1'
}
sqs.set_queue_attributes(
QueueUrl=src_queue_url,
Attributes={
'VisibilityTimeout': '5',
'RedrivePolicy': json.dumps(redrive_policy)
}
)
get_queue_attribute(src_queue_url)
# read all messages
num_received = 0
while True:
try:
resp = sqs.receive_message(
QueueUrl=src_queue_url,
MaxNumberOfMessages=10,
AttributeNames=['All'],
WaitTimeSeconds=5)
num_message = len(resp.get('Messages', []))
if not num_message:
break
num_received += num_message
except Exception:
break
print(f"Redrive {num_received} messages")
# Reset the Source Queue's Redrive policy
sqs.set_queue_attributes(
QueueUrl=src_queue_url,
Attributes={
'VisibilityTimeout': '30',
'RedrivePolicy': ''
}
)
get_queue_attribute(src_queue_url)
if __name__ == "__main__":
main()
DLQ chỉ phát huy tác dụng khi người tiêu dùng ban đầu không tải thành công tin nhắn sau nhiều lần thử. Chúng tôi không muốn xóa thông báo vì chúng tôi tin rằng chúng tôi vẫn có thể làm điều gì đó với nó (có thể cố gắng xử lý lại hoặc ghi nhật ký hoặc thu thập một số số liệu thống kê) và chúng tôi không muốn tiếp tục gặp phải thông báo này nhiều lần và ngừng khả năng xử lý các tin nhắn khác đằng sau tin nhắn này.
DLQ không là gì mà chỉ là một hàng đợi khác. Điều đó có nghĩa là chúng tôi sẽ cần viết một người tiêu dùng cho DLQ lý tưởng sẽ chạy ít thường xuyên hơn (so với hàng đợi ban đầu) sẽ tiêu thụ từ DLQ và tạo thông báo trở lại hàng đợi ban đầu và xóa nó khỏi DLQ - nếu đó là hành vi dự kiến và chúng tôi nghĩ người tiêu dùng ban đầu sẽ sẵn sàng xử lý lại. Sẽ không sao nếu chu kỳ này tiếp tục trong một thời gian vì giờ đây chúng tôi cũng có cơ hội kiểm tra thủ công và thực hiện các thay đổi cần thiết và triển khai một phiên bản khác của người tiêu dùng ban đầu mà không bị mất tin nhắn (tất nhiên là trong khoảng thời gian lưu giữ tin nhắn - là 4 ngày trước mặc định).
Sẽ rất tuyệt nếu AWS cung cấp khả năng này nhưng tôi chưa thấy nó - họ để điều này cho người dùng cuối sử dụng theo cách họ cảm thấy thích hợp.