立即開始

事件與佇列:Valkey、NATS 與 RabbitMQ。

應用程式各服務之間的背景工作、事件與訊息:何時選擇 Valkey、NATS 或 RabbitMQ、連線變數、Laravel、Node.js 與 Python 範例、資源、備份與限制。

4 分鐘閱讀

當網站把工作交給背景工作程序——寄送電子郵件、調整圖片大小、處理訂單扣款——或某個服務通知其他服務發生了某件事時,訊息會透過佇列或訊息代理傳遞。專案中可以使用三種,皆以服務形式新增:總覽 → 服務 → 新增服務。

服務適合用於
Valkey簡單的工作佇列(Laravel 佇列與 Horizon、BullMQ、Celery、RQ),以及 Streams 中的事件——適合已將它用於快取與工作階段時
NATS服務之間的輕量訊息傳遞:事件、請求與回應,以及透過 JetStream 提供的持久串流
RabbitMQ經典的訊息代理:透過 exchange 路由、確認、重試與 dead-letter 處理、quorum 佇列

若不確定,背景工作請先從 Valkey 開始:大多數框架都原生支援。當訊息必須在多個佇列之間路由且不能遺失時,請選擇 RabbitMQ;當服務之間交換大量小訊息或互相請求回應時,請選擇 NATS。

Valkey:工作佇列與 Streams

Valkey 是相容 Redis 的儲存服務——與資料庫中的代管服務相同。應用程式的第一個 Valkey 會提供每個程式碼服務 REDIS_URL、REDIS_HOST、REDIS_PORT 與 REDIS_PASSWORD;每個 Valkey 也會提供自己的 RIVERVO_<NAME>_URL。

透過它傳送訊息有三種方式:

  • 工作佇列——使用 redis 驅動程式的 Laravel 佇列與 Horizon、BullMQ、Celery、RQ。函式庫將工作存放在 Valkey 中;背景工作程序逐一取出並重試失敗的工作。
  • 使用消費者群組的 Streams——XADD 將事件附加到串流,群組中的消費者以 XREADGROUP 讀取並以 XACK 確認。事件會被保存:停止過的消費者會從中斷處繼續,未確認的事件可以再次取出,新的群組也能從頭讀取串流。
  • Pub/Sub——PUBLISH 與 SUBSCRIBE 只會把訊息傳給當下已連線的訂閱者。訊息不會被保存:正在重新啟動或尚未連線的訂閱者會錯過訊息。請只在遺失訊息無妨的情況下使用 Pub/Sub(例如「重新整理」訊號),其他情況請使用 Streams 或佇列。

Valkey 與其他資料庫一樣每天備份;開放存取後也可以從外部連線。請參閱資料庫。

NATS

NATS 是輕量、快速的訊息系統,並已開啟 JetStream:

  • 發布與訂閱——服務發布到 orders.created 等主題,該主題的每個訂閱者都會收到訊息。未使用 JetStream 時,這是「發送後不管」的模式,與上述 Pub/Sub 相同。
  • 請求與回應——一個服務提出請求,另一個服務回應。當多個執行個體以佇列群組形式回應時,NATS 會將請求分配給它們。
  • JetStream——持久串流:訊息存放在服務的磁碟上,消費者會記住已讀取的內容,每則訊息都會至少傳遞一次,直到被確認為止。
  • 建立在 JetStream 之上的鍵值儲存與物件儲存——用於服務之間共用的小型設定、鎖或檔案。

**變數。**應用程式的第一個 NATS 會提供每個程式碼服務:

NATS_URL=nats://<user>:<password>@<service name>:4222

每個 NATS 服務也會提供格式相同的 RIVERVO_<NAME>_URL——NAME 為服務名稱的大寫形式,連字號轉為 _:名為 events 的服務會提供 RIVERVO_EVENTS_URL。

JetStream 將串流存放在服務的磁碟上;存放在記憶體中的串流最多約可使用服務記憶體的四分之一。

RabbitMQ

RabbitMQ 4.1 是經典的訊息代理:生產者發布到 exchange,exchange 依路由鍵將訊息路由到佇列,消費者確認每則訊息,而被拒絕或過期的訊息可以轉到 dead-letter exchange。若佇列中的訊息必須在重新啟動後保留,請使用 quorum 佇列(引數 x-queue-type: quorum),並以持久方式發布訊息。

**變數。**應用程式的第一個 RabbitMQ 會提供每個程式碼服務:

變數值
AMQP_URLamqp://<user>:<password>@<service name>:5672/%2f
RABBITMQ_HOST服務名稱
RABBITMQ_PORT5672
RABBITMQ_USER、RABBITMQ_PASSWORD使用者與密碼
RABBITMQ_VHOST/

AMQP_URL 結尾的 %2f 是預設虛擬主機 /,依連線網址的規定格式書寫。每個 RabbitMQ 服務也會提供自己的 RIVERVO_<NAME>_URL,格式相同。

**Management API。**管理用 HTTP API 在應用程式私有網路內的 15672 連接埠上監聽:應用程式的服務可透過 http://<service name>:15672,以相同的使用者與密碼存取,例如:

curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"

網際網路上沒有管理頁面。控制台中該服務的頁面會顯示其佇列的簡短唯讀清單:待處理訊息、未確認訊息與消費者。

僅限內部

NATS 與 RabbitMQ 沒有公開網址,無法從應用程式外部連線——包括您的電腦、其他伺服器或其他應用程式。與 PostgreSQL、MySQL 和 Valkey 不同,它們不提供外部存取。發布與消費訊息的服務,都以同一應用程式的服務形式執行:網頁服務、背景工作程序與排程工作。

同類型的第二個服務

只有應用程式的第一個 Valkey、NATS 與 RabbitMQ 會取得慣用名稱(REDIS_*、NATS_URL、AMQP_URL 與 RABBITMQ_*)。同類型的下一個服務只會新增自己的 RIVERVO_<NAME>_URL;請在程式碼中讀取該變數,或在變數分頁將慣用名稱設為它的值。變數會在服務下次部署時生效——請參閱環境變數。

Laravel

Valkey。在變數分頁設定:

QUEUE_CONNECTION=redis

將 php artisan queue:work——或搭配 Horizon 時的 php artisan horizon——作為背景工作程序執行。請參閱 Laravel。

RabbitMQ。Laravel 沒有內建 RabbitMQ 驅動程式,Rivervo 也不會自動變更 QUEUE_CONNECTION。若要讓 Laravel 佇列使用 RabbitMQ:

  1. 安裝套件:composer require vladimir-yuldashev/laravel-queue-rabbitmq。
  2. 依套件 README 中對應您版本的說明,在 config/queue.php 新增 rabbitmq 連線。它會讀取應用程式已有的 RABBITMQ_HOST、RABBITMQ_PORT、RABBITMQ_USER、RABBITMQ_PASSWORD 與 RABBITMQ_VHOST:
'rabbitmq' => [
    'driver' => 'rabbitmq',
    'hosts' => [
        [
            'host' => env('RABBITMQ_HOST', '127.0.0.1'),
            'port' => env('RABBITMQ_PORT', 5672),
            'user' => env('RABBITMQ_USER', 'guest'),
            'password' => env('RABBITMQ_PASSWORD', 'guest'),
            'vhost' => env('RABBITMQ_VHOST', '/'),
        ],
    ],
],
  1. 在變數分頁設定 QUEUE_CONNECTION=rabbitmq 並部署。背景工作程序仍為 php artisan queue:work。

**NATS。**Laravel 沒有官方的 NATS 佇列驅動程式。請在您自己的程式碼中使用 PHP 的 NATS 用戶端——例如 basis-company/nats——並提供 NATS_URL 中的主機、連接埠、使用者與密碼。在以它為基礎開發前,請先確認該用戶端支援您需要的功能(JetStream、鍵值儲存)。

Node.js

BullMQ(Valkey)

import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
 
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
 
// 在網頁服務中
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
 
// 在背景工作程序中
new Worker('emails', async (job) => {
  await sendWelcome(job.data.userId)
}, { connection })

BullMQ 的背景工作程序所使用的連線需要設定 maxRetriesPerRequest: null。

Valkey Streams

import IORedis from 'ioredis'
 
const redis = new IORedis(process.env.REDIS_URL)
 
// 生產者
await redis.xadd('orders', '*', 'id', '42')
 
// 「billing」群組的消費者
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
  if (!String(err).includes('BUSYGROUP')) throw err // 群組已存在
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
  const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
  for (const [, entries] of res ?? []) {
    for (const [id, fields] of entries) {
      await handleOrder(fields)
      await redis.xack('orders', 'billing', id)
    }
  }
}

已讀取但未確認的項目會在群組中保持待處理狀態;XAUTOCLAIM 可將它交給其他消費者。

NATS(nats.js)

import { connect, JSONCodec, AckPolicy } from 'nats'
 
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
 
// 只需執行一次:建立主題 orders.* 的串流與持久消費者
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
 
// 生產者
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
 
// 消費者
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
  await handleOrder(jc.decode(m.data))
  m.ack()
}

請求與回應:一個服務以 nc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) }) 回應,另一個服務以 await nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 }) 提出請求。

RabbitMQ(amqplib)

import amqp from 'amqplib'
 
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
 
// 生產者
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
 
// 消費者:同時最多 10 則未確認的訊息
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
  try {
    await sendWelcome(JSON.parse(msg.content.toString()).userId)
    ch.ack(msg)
  } catch {
    ch.nack(msg, false, false) // 轉到 dead-letter exchange(若佇列有設定)
  }
})

宣告該佇列的每個服務都必須使用相同的引數宣告。

Python

Celery(Valkey 或 RabbitMQ)

import os
from celery import Celery
 
app = Celery("tasks", broker=os.environ["REDIS_URL"])  # 或 os.environ["AMQP_URL"]
 
@app.task(acks_late=True)
def send_welcome(user_id):
    ...

將 celery -A tasks worker --loglevel=info 作為背景工作程序執行。Celery 可直接使用 amqp:// 網址。搭配 RabbitMQ 時,較新版本的 Celery 可以宣告 quorum 佇列(task_default_queue_type = "quorum")——請參閱對應您版本的 Celery 文件。

RQ(Valkey)

import os
from redis import Redis
from rq import Queue
 
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)

背景工作程序:rq worker emails --url "$REDIS_URL"。

NATS(nats-py)

import asyncio, json, os
import nats
from nats.errors import TimeoutError
 
async def main():
    nc = await nats.connect(os.environ["NATS_URL"])
    js = nc.jetstream()
    await js.add_stream(name="ORDERS", subjects=["orders.>"])
 
    await js.publish("orders.created", json.dumps({"id": 42}).encode())
 
    sub = await js.pull_subscribe("orders.>", durable="billing")
    while True:
        try:
            msgs = await sub.fetch(10, timeout=5)
        except TimeoutError:
            continue
        for msg in msgs:
            await handle_order(json.loads(msg.data))
            await msg.ack()
 
asyncio.run(main())

RabbitMQ(pika)

import json, os
import pika
 
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
 
# 生產者
ch.basic_publish(exchange="", routing_key="emails",
                 body=json.dumps({"user_id": 42}),
                 properties=pika.BasicProperties(delivery_mode=2))
 
# 消費者
def on_message(ch, method, properties, body):
    send_welcome(json.loads(body)["user_id"])
    ch.basic_ack(delivery_tag=method.delivery_tag)
 
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()

重複傳遞

當背景工作程序在確認訊息前停止——例如部署、重新啟動或還原期間——佇列與訊息代理會再次傳遞該訊息。撰寫消費者時,請確保重複處理同一則訊息不會造成問題:記錄每則已處理訊息的 ID,或讓動作本身可以重複執行(例如「將狀態設為已付款」,而非「新增一筆付款」)。

資源與價格

服務預設規格最低記憶體
NATS256 MB 記憶體 · 1 個 CPU 核心 · 5 GB 磁碟256 MB
RabbitMQ1 GB 記憶體 · 1 個 CPU 核心 · 10 GB 磁碟512 MB

兩者都與其他服務一樣,依記憶體、CPU 與磁碟計價——請參閱專案的服務。資源之後可在服務的設定中變更。

備份與還原

NATS 與 RabbitMQ 每天備份;與其他服務相同,我們保留最近 7 天及 4 週的備份。

  • 備份會在服務運作時複製其資料檔案。對 RabbitMQ 而言,同一份備份也包含其定義的匯出:使用者、虛擬主機、佇列、exchange、繫結與原則。
  • 無法還原到精確的時間點——此功能僅適用於 PostgreSQL 與 MySQL。您可以還原其中一份每日副本。
  • 還原時服務會短暫停止,放回檔案後再重新啟動。在備份時間前後抵達或已確認的訊息可能會遺失或再次傳遞——這也是讓消費者可安全重複處理的另一個原因。
  • 對 RabbitMQ 而言,若複製的檔案無法啟動,服務會僅以定義啟動:佇列、exchange 與使用者都在,但備份中的訊息會遺失。

維護與遷移

NATS 與 RabbitMQ 沒有可設定的維護時段。它們不會自動移到其他伺服器;若有需要,客服團隊會與您安排。

還有問題嗎?

和我們對談——AI 會立即回覆,需要時由工程師加入,全天候服務。

聯絡客服