Sự kiện và hàng đợi: Valkey, NATS và RabbitMQ.
Tác vụ nền, sự kiện và tin nhắn giữa các dịch vụ của ứng dụng: khi nào chọn Valkey, NATS hay RabbitMQ, biến kết nối, ví dụ cho Laravel, Node.js và Python, tài nguyên, sao lưu và giới hạn.
Khi website giao việc cho worker — gửi email, thay đổi kích thước ảnh, thu tiền đơn hàng — hoặc một dịch vụ báo cho các dịch vụ khác rằng có điều gì đó vừa xảy ra, tin nhắn sẽ đi qua hàng đợi hoặc message broker. Một dự án có thể dùng cả ba loại, mỗi loại được thêm như một dịch vụ: Tổng quan → Dịch vụ → Thêm dịch vụ.
| Dịch vụ | Chọn khi cần |
|---|---|
| Valkey | hàng đợi tác vụ đơn giản (hàng đợi Laravel và Horizon, BullMQ, Celery, RQ), và sự kiện trong Streams — khi bạn đã dùng nó cho cache và session |
| NATS | truyền tin nhẹ giữa các dịch vụ: sự kiện, request–reply và stream bền vững với JetStream |
| RabbitMQ | message broker truyền thống: định tuyến qua exchange, xác nhận, thử lại và dead-letter, quorum queue |
Nếu chưa chắc, hãy bắt đầu với Valkey cho tác vụ nền: phần lớn framework hỗ trợ sẵn. Chọn RabbitMQ khi tin nhắn cần được định tuyến giữa nhiều hàng đợi và không được mất tin nào, và NATS khi các dịch vụ trao đổi nhiều tin nhắn nhỏ hoặc hỏi đáp lẫn nhau.
Valkey: hàng đợi tác vụ và Streams
Valkey là kho lưu trữ tương thích Redis — cùng dịch vụ được quản lý như trong Cơ sở dữ liệu. Valkey đầu tiên của ứng dụng cung cấp cho mọi dịch vụ mã nguồn các biến REDIS_URL, REDIS_HOST, REDIS_PORT và REDIS_PASSWORD; mỗi Valkey còn cung cấp RIVERVO_<NAME>_URL riêng.
Ba cách gửi tin nhắn qua Valkey:
- Hàng đợi tác vụ — hàng đợi Laravel với driver
redisvà Horizon, BullMQ, Celery, RQ. Thư viện lưu tác vụ trong Valkey; worker lấy từng tác vụ và thử lại những tác vụ thất bại. - Streams với consumer group —
XADDthêm sự kiện vào stream, các consumer trong group đọc bằngXREADGROUPvà xác nhận bằngXACK. Sự kiện được lưu lại: consumer bị dừng sẽ tiếp tục từ chỗ đã dừng, sự kiện chưa được xác nhận có thể được lấy lại, và group mới có thể đọc stream từ đầu. - Pub/Sub —
PUBLISHvàSUBSCRIBEchỉ gửi tin nhắn tới những subscriber đang kết nối tại thời điểm đó. Tin nhắn không được lưu: subscriber đang khởi động lại hoặc chưa kết nối sẽ bỏ lỡ. Chỉ dùng Pub/Sub khi mất tin nhắn không gây hại (ví dụ tín hiệu «làm mới»), và dùng Streams hoặc hàng đợi cho mọi trường hợp khác.
Valkey được sao lưu hằng ngày như các cơ sở dữ liệu khác; nó cũng có thể truy cập từ bên ngoài khi bạn mở truy cập. Xem Cơ sở dữ liệu.
NATS
NATS là hệ thống truyền tin nhẹ và nhanh, có bật sẵn JetStream:
- Publish và subscribe — một dịch vụ publish lên subject như
orders.created, mọi subscriber của subject đó đều nhận được tin nhắn. Không có JetStream, tin nhắn được gửi một lần và không lưu lại, giống Pub/Sub ở trên. - Request–reply — một dịch vụ hỏi, dịch vụ khác trả lời. Khi nhiều instance trả lời dưới dạng queue group, NATS phân phối yêu cầu giữa chúng.
- JetStream — stream bền vững: tin nhắn được lưu trên ổ đĩa của dịch vụ, một consumer ghi nhớ những gì đã đọc, và mỗi tin nhắn được gửi ít nhất một lần cho đến khi được xác nhận.
- Kho key-value và object store xây dựng trên JetStream — cho các thiết lập dùng chung nhỏ, khóa hoặc tệp giữa các dịch vụ.
Biến. NATS đầu tiên của ứng dụng cung cấp cho mọi dịch vụ mã nguồn:
NATS_URL=nats://<user>:<password>@<service name>:4222
Mỗi dịch vụ NATS còn cung cấp RIVERVO_<NAME>_URL với địa chỉ cùng dạng — NAME là tên dịch vụ viết hoa, dấu gạch ngang được thay bằng _: dịch vụ tên events cung cấp RIVERVO_EVENTS_URL.
JetStream lưu stream trên ổ đĩa của dịch vụ; stream lưu trong bộ nhớ có thể dùng khoảng một phần tư bộ nhớ của dịch vụ.
RabbitMQ
RabbitMQ 4.1 là message broker truyền thống: producer publish lên exchange, exchange định tuyến tin nhắn tới hàng đợi theo routing key, consumer xác nhận từng tin nhắn, và tin nhắn bị từ chối hoặc hết hạn có thể chuyển tới exchange dead-letter. Với hàng đợi có tin nhắn cần tồn tại qua lần khởi động lại, hãy dùng quorum queue (tham số x-queue-type: quorum) và publish tin nhắn ở chế độ persistent.
Biến. RabbitMQ đầu tiên của ứng dụng cung cấp cho mọi dịch vụ mã nguồn:
| Biến | Giá trị |
|---|---|
AMQP_URL | amqp://<user>:<password>@<service name>:5672/%2f |
RABBITMQ_HOST | tên của dịch vụ |
RABBITMQ_PORT | 5672 |
RABBITMQ_USER, RABBITMQ_PASSWORD | người dùng và mật khẩu |
RABBITMQ_VHOST | / |
%2f ở cuối AMQP_URL là virtual host mặc định /, được viết theo cách địa chỉ kết nối yêu cầu. Mỗi dịch vụ RabbitMQ còn cung cấp RIVERVO_<NAME>_URL riêng với địa chỉ cùng dạng.
Management API. HTTP API quản lý lắng nghe trên cổng 15672 trong mạng riêng của ứng dụng: các dịch vụ của ứng dụng truy cập nó tại http://<service name>:15672 với cùng người dùng và mật khẩu, ví dụ:
curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"Không có trang quản lý trên internet. Trang của dịch vụ trong bảng điều khiển hiển thị danh sách ngắn, chỉ đọc, các hàng đợi: tin nhắn sẵn sàng, chưa xác nhận và số consumer.
Chỉ nội bộ
NATS và RabbitMQ không có địa chỉ công khai và không thể truy cập từ bên ngoài ứng dụng — từ máy tính của bạn, máy chủ khác hay ứng dụng khác. Khác với PostgreSQL, MySQL và Valkey, chúng không hỗ trợ truy cập từ bên ngoài. Các dịch vụ publish và tiêu thụ tin nhắn chạy dưới dạng dịch vụ của cùng ứng dụng: web service, worker nền và tác vụ định kỳ.
Dịch vụ thứ hai cùng loại
Chỉ Valkey, NATS và RabbitMQ đầu tiên của ứng dụng nhận các tên biến thông thường (REDIS_*, NATS_URL, AMQP_URL và RABBITMQ_*). Dịch vụ tiếp theo cùng loại chỉ thêm RIVERVO_<NAME>_URL của riêng nó; hãy đọc biến đó trong mã, hoặc đặt các tên biến thông thường theo giá trị của nó trong tab Biến. Biến đến dịch vụ ở lần deploy tiếp theo — xem Biến môi trường.
Laravel
Valkey. Đặt trong tab Biến:
QUEUE_CONNECTION=redisChạy php artisan queue:work — hoặc php artisan horizon nếu dùng Horizon — dưới dạng worker nền. Xem Laravel.
RabbitMQ. Laravel không có sẵn driver RabbitMQ, và Rivervo không tự thay đổi QUEUE_CONNECTION. Để dùng RabbitMQ cho hàng đợi Laravel:
- Cài package:
composer require vladimir-yuldashev/laravel-queue-rabbitmq. - Thêm kết nối
rabbitmqvàoconfig/queue.phptheo hướng dẫn trong README của package cho phiên bản bạn dùng. Kết nối này đọcRABBITMQ_HOST,RABBITMQ_PORT,RABBITMQ_USER,RABBITMQ_PASSWORDvàRABBITMQ_VHOST, những biến mà ứng dụng đã có:
'rabbitmq' => [
'driver' => 'rabbitmq',
'hosts' => [
[
'host' => env('RABBITMQ_HOST', '127.0.0.1'),
'port' => env('RABBITMQ_PORT', 5672),
'user' => env('RABBITMQ_USER', 'guest'),
'password' => env('RABBITMQ_PASSWORD', 'guest'),
'vhost' => env('RABBITMQ_VHOST', '/'),
],
],
],- Đặt
QUEUE_CONNECTION=rabbitmqtrong tab Biến và deploy. Worker vẫn làphp artisan queue:work.
NATS. Laravel không có driver hàng đợi chính thức cho NATS. Hãy dùng một client NATS cho PHP trong mã của bạn — ví dụ basis-company/nats — và truyền cho nó host, cổng, người dùng và mật khẩu từ NATS_URL. Hãy kiểm tra client có hỗ trợ các tính năng bạn cần (JetStream, key-value) trước khi xây dựng dựa trên nó.
Node.js
BullMQ (Valkey)
import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
// trong web service
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
// trong worker nền
new Worker('emails', async (job) => {
await sendWelcome(job.data.userId)
}, { connection })BullMQ cần maxRetriesPerRequest: null trên kết nối mà các worker của nó sử dụng.
Valkey Streams
import IORedis from 'ioredis'
const redis = new IORedis(process.env.REDIS_URL)
// producer
await redis.xadd('orders', '*', 'id', '42')
// consumer của group «billing»
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
if (!String(err).includes('BUSYGROUP')) throw err // group đã tồn tại
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
for (const [, entries] of res ?? []) {
for (const [id, fields] of entries) {
await handleOrder(fields)
await redis.xack('orders', 'billing', id)
}
}
}Bản ghi đã được đọc nhưng chưa xác nhận sẽ ở trạng thái chờ trong group; XAUTOCLAIM chuyển nó cho consumer khác.
NATS (nats.js)
import { connect, JSONCodec, AckPolicy } from 'nats'
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
// một lần: stream cho các subject orders.* và một consumer bền vững
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
// producer
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
// consumer
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
await handleOrder(jc.decode(m.data))
m.ack()
}Request–reply: một dịch vụ trả lời bằng nc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) }), dịch vụ khác hỏi bằng await nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 }).
RabbitMQ (amqplib)
import amqp from 'amqplib'
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
// producer
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
// consumer: tối đa 10 tin nhắn chưa xác nhận cùng lúc
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
try {
await sendWelcome(JSON.parse(msg.content.toString()).userId)
ch.ack(msg)
} catch {
ch.nack(msg, false, false) // tới exchange dead-letter, nếu hàng đợi có
}
})Mọi dịch vụ khai báo hàng đợi đều phải khai báo với cùng các tham số.
Python
Celery (Valkey hoặc RabbitMQ)
import os
from celery import Celery
app = Celery("tasks", broker=os.environ["REDIS_URL"]) # hoặc os.environ["AMQP_URL"]
@app.task(acks_late=True)
def send_welcome(user_id):
...Chạy celery -A tasks worker --loglevel=info dưới dạng worker nền. Celery chấp nhận địa chỉ amqp:// nguyên trạng. Với RabbitMQ, các phiên bản Celery gần đây có thể khai báo quorum queue (task_default_queue_type = "quorum") — xem tài liệu Celery cho phiên bản của bạn.
RQ (Valkey)
import os
from redis import Redis
from rq import Queue
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)Worker: rq worker emails --url "$REDIS_URL".
NATS (nats-py)
import asyncio, json, os
import nats
from nats.errors import TimeoutError
async def main():
nc = await nats.connect(os.environ["NATS_URL"])
js = nc.jetstream()
await js.add_stream(name="ORDERS", subjects=["orders.>"])
await js.publish("orders.created", json.dumps({"id": 42}).encode())
sub = await js.pull_subscribe("orders.>", durable="billing")
while True:
try:
msgs = await sub.fetch(10, timeout=5)
except TimeoutError:
continue
for msg in msgs:
await handle_order(json.loads(msg.data))
await msg.ack()
asyncio.run(main())RabbitMQ (pika)
import json, os
import pika
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
# producer
ch.basic_publish(exchange="", routing_key="emails",
body=json.dumps({"user_id": 42}),
properties=pika.BasicProperties(delivery_mode=2))
# consumer
def on_message(ch, method, properties, body):
send_welcome(json.loads(body)["user_id"])
ch.basic_ack(delivery_tag=method.delivery_tag)
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()Tin nhắn được gửi nhiều lần
Hàng đợi và broker sẽ gửi lại tin nhắn khi worker dừng trước khi xác nhận — trong lúc deploy, khởi động lại hoặc khôi phục. Hãy viết consumer sao cho xử lý cùng một tin nhắn hai lần cũng không gây hại: lưu ID của mọi tin nhắn đã xử lý, hoặc làm cho bản thân thao tác có thể lặp lại an toàn (ví dụ «đặt trạng thái thành đã thanh toán» thay vì «thêm một khoản thanh toán»).
Tài nguyên và giá
| Dịch vụ | Cấu hình khởi đầu | Bộ nhớ tối thiểu |
|---|---|---|
| NATS | 256 MB bộ nhớ · 1 core CPU · 5 GB ổ đĩa | 256 MB |
| RabbitMQ | 1 GB bộ nhớ · 1 core CPU · 10 GB ổ đĩa | 512 MB |
Mỗi dịch vụ được tính giá theo bộ nhớ, CPU và ổ đĩa như mọi dịch vụ khác — xem Dịch vụ của dự án. Bạn có thể thay đổi tài nguyên sau trong Cài đặt của dịch vụ.
Sao lưu và khôi phục
NATS và RabbitMQ được sao lưu hằng ngày; chúng tôi giữ 7 ngày và 4 tuần gần nhất, như các dịch vụ khác.
- Bản sao lưu sao chép các tệp dữ liệu của dịch vụ trong khi nó đang chạy. Với RabbitMQ, cùng bản sao lưu đó còn chứa bản xuất các định nghĩa: người dùng, virtual host, hàng đợi, exchange, binding và policy.
- Không có khôi phục về thời điểm chính xác — tính năng này chỉ dành cho PostgreSQL và MySQL. Bạn khôi phục một trong các bản sao hằng ngày.
- Việc khôi phục dừng dịch vụ trong thời gian ngắn, đưa tệp trở lại và khởi động lại. Tin nhắn đến hoặc được xác nhận quanh thời điểm sao lưu có thể bị thiếu hoặc được gửi lại — thêm một lý do để consumer xử lý lặp lại an toàn.
- Với RabbitMQ, nếu các tệp đã sao chép không khởi động được, dịch vụ sẽ khởi động chỉ với các định nghĩa: hàng đợi, exchange và người dùng vẫn còn, nhưng tin nhắn từ bản sao lưu bị mất.
Bảo trì và di chuyển
NATS và RabbitMQ không có thời gian bảo trì cần thiết lập. Chúng không được tự động chuyển sang máy chủ khác; nếu có lúc cần, đội ngũ hỗ trợ sẽ sắp xếp cùng bạn.