事件與佇列:Valkey、NATS 與 RabbitMQ。
應用程式各服務之間的背景工作、事件與訊息:何時選擇 Valkey、NATS 或 RabbitMQ、連線變數、Laravel、Node.js 與 Python 範例、資源、備份與限制。
當網站把工作交給背景工作程序——寄送電子郵件、調整圖片大小、處理訂單扣款——或某個服務通知其他服務發生了某件事時,訊息會透過佇列或訊息代理傳遞。專案中可以使用三種,皆以服務形式新增:總覽 → 服務 → 新增服務。
| 服務 | 適合用於 |
|---|---|
| Valkey | 簡單的工作佇列(Laravel 佇列與 Horizon、BullMQ、Celery、RQ),以及 Streams 中的事件——適合已將它用於快取與工作階段時 |
| NATS | 服務之間的輕量訊息傳遞:事件、請求與回應,以及透過 JetStream 提供的持久串流 |
| RabbitMQ | 經典的訊息代理:透過 exchange 路由、確認、重試與 dead-letter 處理、quorum 佇列 |
若不確定,背景工作請先從 Valkey 開始:大多數框架都原生支援。當訊息必須在多個佇列之間路由且不能遺失時,請選擇 RabbitMQ;當服務之間交換大量小訊息或互相請求回應時,請選擇 NATS。
Valkey:工作佇列與 Streams
Valkey 是相容 Redis 的儲存服務——與資料庫中的代管服務相同。應用程式的第一個 Valkey 會提供每個程式碼服務 REDIS_URL、REDIS_HOST、REDIS_PORT 與 REDIS_PASSWORD;每個 Valkey 也會提供自己的 RIVERVO_<NAME>_URL。
透過它傳送訊息有三種方式:
- 工作佇列——使用
redis驅動程式的 Laravel 佇列與 Horizon、BullMQ、Celery、RQ。函式庫將工作存放在 Valkey 中;背景工作程序逐一取出並重試失敗的工作。 - 使用消費者群組的 Streams——
XADD將事件附加到串流,群組中的消費者以XREADGROUP讀取並以XACK確認。事件會被保存:停止過的消費者會從中斷處繼續,未確認的事件可以再次取出,新的群組也能從頭讀取串流。 - Pub/Sub——
PUBLISH與SUBSCRIBE只會把訊息傳給當下已連線的訂閱者。訊息不會被保存:正在重新啟動或尚未連線的訂閱者會錯過訊息。請只在遺失訊息無妨的情況下使用 Pub/Sub(例如「重新整理」訊號),其他情況請使用 Streams 或佇列。
Valkey 與其他資料庫一樣每天備份;開放存取後也可以從外部連線。請參閱資料庫。
NATS
NATS 是輕量、快速的訊息系統,並已開啟 JetStream:
- 發布與訂閱——服務發布到
orders.created等主題,該主題的每個訂閱者都會收到訊息。未使用 JetStream 時,這是「發送後不管」的模式,與上述 Pub/Sub 相同。 - 請求與回應——一個服務提出請求,另一個服務回應。當多個執行個體以佇列群組形式回應時,NATS 會將請求分配給它們。
- JetStream——持久串流:訊息存放在服務的磁碟上,消費者會記住已讀取的內容,每則訊息都會至少傳遞一次,直到被確認為止。
- 建立在 JetStream 之上的鍵值儲存與物件儲存——用於服務之間共用的小型設定、鎖或檔案。
**變數。**應用程式的第一個 NATS 會提供每個程式碼服務:
NATS_URL=nats://<user>:<password>@<service name>:4222
每個 NATS 服務也會提供格式相同的 RIVERVO_<NAME>_URL——NAME 為服務名稱的大寫形式,連字號轉為 _:名為 events 的服務會提供 RIVERVO_EVENTS_URL。
JetStream 將串流存放在服務的磁碟上;存放在記憶體中的串流最多約可使用服務記憶體的四分之一。
RabbitMQ
RabbitMQ 4.1 是經典的訊息代理:生產者發布到 exchange,exchange 依路由鍵將訊息路由到佇列,消費者確認每則訊息,而被拒絕或過期的訊息可以轉到 dead-letter exchange。若佇列中的訊息必須在重新啟動後保留,請使用 quorum 佇列(引數 x-queue-type: quorum),並以持久方式發布訊息。
**變數。**應用程式的第一個 RabbitMQ 會提供每個程式碼服務:
| 變數 | 值 |
|---|---|
AMQP_URL | amqp://<user>:<password>@<service name>:5672/%2f |
RABBITMQ_HOST | 服務名稱 |
RABBITMQ_PORT | 5672 |
RABBITMQ_USER、RABBITMQ_PASSWORD | 使用者與密碼 |
RABBITMQ_VHOST | / |
AMQP_URL 結尾的 %2f 是預設虛擬主機 /,依連線網址的規定格式書寫。每個 RabbitMQ 服務也會提供自己的 RIVERVO_<NAME>_URL,格式相同。
**Management API。**管理用 HTTP API 在應用程式私有網路內的 15672 連接埠上監聽:應用程式的服務可透過 http://<service name>:15672,以相同的使用者與密碼存取,例如:
curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"網際網路上沒有管理頁面。控制台中該服務的頁面會顯示其佇列的簡短唯讀清單:待處理訊息、未確認訊息與消費者。
僅限內部
NATS 與 RabbitMQ 沒有公開網址,無法從應用程式外部連線——包括您的電腦、其他伺服器或其他應用程式。與 PostgreSQL、MySQL 和 Valkey 不同,它們不提供外部存取。發布與消費訊息的服務,都以同一應用程式的服務形式執行:網頁服務、背景工作程序與排程工作。
同類型的第二個服務
只有應用程式的第一個 Valkey、NATS 與 RabbitMQ 會取得慣用名稱(REDIS_*、NATS_URL、AMQP_URL 與 RABBITMQ_*)。同類型的下一個服務只會新增自己的 RIVERVO_<NAME>_URL;請在程式碼中讀取該變數,或在變數分頁將慣用名稱設為它的值。變數會在服務下次部署時生效——請參閱環境變數。
Laravel
Valkey。在變數分頁設定:
QUEUE_CONNECTION=redis將 php artisan queue:work——或搭配 Horizon 時的 php artisan horizon——作為背景工作程序執行。請參閱 Laravel。
RabbitMQ。Laravel 沒有內建 RabbitMQ 驅動程式,Rivervo 也不會自動變更 QUEUE_CONNECTION。若要讓 Laravel 佇列使用 RabbitMQ:
- 安裝套件:
composer require vladimir-yuldashev/laravel-queue-rabbitmq。 - 依套件 README 中對應您版本的說明,在
config/queue.php新增rabbitmq連線。它會讀取應用程式已有的RABBITMQ_HOST、RABBITMQ_PORT、RABBITMQ_USER、RABBITMQ_PASSWORD與RABBITMQ_VHOST:
'rabbitmq' => [
'driver' => 'rabbitmq',
'hosts' => [
[
'host' => env('RABBITMQ_HOST', '127.0.0.1'),
'port' => env('RABBITMQ_PORT', 5672),
'user' => env('RABBITMQ_USER', 'guest'),
'password' => env('RABBITMQ_PASSWORD', 'guest'),
'vhost' => env('RABBITMQ_VHOST', '/'),
],
],
],- 在變數分頁設定
QUEUE_CONNECTION=rabbitmq並部署。背景工作程序仍為php artisan queue:work。
**NATS。**Laravel 沒有官方的 NATS 佇列驅動程式。請在您自己的程式碼中使用 PHP 的 NATS 用戶端——例如 basis-company/nats——並提供 NATS_URL 中的主機、連接埠、使用者與密碼。在以它為基礎開發前,請先確認該用戶端支援您需要的功能(JetStream、鍵值儲存)。
Node.js
BullMQ(Valkey)
import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
// 在網頁服務中
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
// 在背景工作程序中
new Worker('emails', async (job) => {
await sendWelcome(job.data.userId)
}, { connection })BullMQ 的背景工作程序所使用的連線需要設定 maxRetriesPerRequest: null。
Valkey Streams
import IORedis from 'ioredis'
const redis = new IORedis(process.env.REDIS_URL)
// 生產者
await redis.xadd('orders', '*', 'id', '42')
// 「billing」群組的消費者
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
if (!String(err).includes('BUSYGROUP')) throw err // 群組已存在
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
for (const [, entries] of res ?? []) {
for (const [id, fields] of entries) {
await handleOrder(fields)
await redis.xack('orders', 'billing', id)
}
}
}已讀取但未確認的項目會在群組中保持待處理狀態;XAUTOCLAIM 可將它交給其他消費者。
NATS(nats.js)
import { connect, JSONCodec, AckPolicy } from 'nats'
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
// 只需執行一次:建立主題 orders.* 的串流與持久消費者
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
// 生產者
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
// 消費者
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
await handleOrder(jc.decode(m.data))
m.ack()
}請求與回應:一個服務以 nc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) }) 回應,另一個服務以 await nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 }) 提出請求。
RabbitMQ(amqplib)
import amqp from 'amqplib'
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
// 生產者
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
// 消費者:同時最多 10 則未確認的訊息
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
try {
await sendWelcome(JSON.parse(msg.content.toString()).userId)
ch.ack(msg)
} catch {
ch.nack(msg, false, false) // 轉到 dead-letter exchange(若佇列有設定)
}
})宣告該佇列的每個服務都必須使用相同的引數宣告。
Python
Celery(Valkey 或 RabbitMQ)
import os
from celery import Celery
app = Celery("tasks", broker=os.environ["REDIS_URL"]) # 或 os.environ["AMQP_URL"]
@app.task(acks_late=True)
def send_welcome(user_id):
...將 celery -A tasks worker --loglevel=info 作為背景工作程序執行。Celery 可直接使用 amqp:// 網址。搭配 RabbitMQ 時,較新版本的 Celery 可以宣告 quorum 佇列(task_default_queue_type = "quorum")——請參閱對應您版本的 Celery 文件。
RQ(Valkey)
import os
from redis import Redis
from rq import Queue
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)背景工作程序:rq worker emails --url "$REDIS_URL"。
NATS(nats-py)
import asyncio, json, os
import nats
from nats.errors import TimeoutError
async def main():
nc = await nats.connect(os.environ["NATS_URL"])
js = nc.jetstream()
await js.add_stream(name="ORDERS", subjects=["orders.>"])
await js.publish("orders.created", json.dumps({"id": 42}).encode())
sub = await js.pull_subscribe("orders.>", durable="billing")
while True:
try:
msgs = await sub.fetch(10, timeout=5)
except TimeoutError:
continue
for msg in msgs:
await handle_order(json.loads(msg.data))
await msg.ack()
asyncio.run(main())RabbitMQ(pika)
import json, os
import pika
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
# 生產者
ch.basic_publish(exchange="", routing_key="emails",
body=json.dumps({"user_id": 42}),
properties=pika.BasicProperties(delivery_mode=2))
# 消費者
def on_message(ch, method, properties, body):
send_welcome(json.loads(body)["user_id"])
ch.basic_ack(delivery_tag=method.delivery_tag)
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()重複傳遞
當背景工作程序在確認訊息前停止——例如部署、重新啟動或還原期間——佇列與訊息代理會再次傳遞該訊息。撰寫消費者時,請確保重複處理同一則訊息不會造成問題:記錄每則已處理訊息的 ID,或讓動作本身可以重複執行(例如「將狀態設為已付款」,而非「新增一筆付款」)。
資源與價格
| 服務 | 預設規格 | 最低記憶體 |
|---|---|---|
| NATS | 256 MB 記憶體 · 1 個 CPU 核心 · 5 GB 磁碟 | 256 MB |
| RabbitMQ | 1 GB 記憶體 · 1 個 CPU 核心 · 10 GB 磁碟 | 512 MB |
兩者都與其他服務一樣,依記憶體、CPU 與磁碟計價——請參閱專案的服務。資源之後可在服務的設定中變更。
備份與還原
NATS 與 RabbitMQ 每天備份;與其他服務相同,我們保留最近 7 天及 4 週的備份。
- 備份會在服務運作時複製其資料檔案。對 RabbitMQ 而言,同一份備份也包含其定義的匯出:使用者、虛擬主機、佇列、exchange、繫結與原則。
- 無法還原到精確的時間點——此功能僅適用於 PostgreSQL 與 MySQL。您可以還原其中一份每日副本。
- 還原時服務會短暫停止,放回檔案後再重新啟動。在備份時間前後抵達或已確認的訊息可能會遺失或再次傳遞——這也是讓消費者可安全重複處理的另一個原因。
- 對 RabbitMQ 而言,若複製的檔案無法啟動,服務會僅以定義啟動:佇列、exchange 與使用者都在,但備份中的訊息會遺失。
維護與遷移
NATS 與 RabbitMQ 沒有可設定的維護時段。它們不會自動移到其他伺服器;若有需要,客服團隊會與您安排。