今すぐ始める

イベントとキュー:Valkey、NATS、RabbitMQ。

バックグラウンドジョブ、イベント、アプリのサービス間のメッセージ。Valkey、NATS、RabbitMQの選び方、接続用の変数、Laravel・Node.js・Pythonの例、リソース、バックアップ、制限について。

3 分で読めます

サイトがワーカーに処理を任せるとき(メール送信、画像のリサイズ、注文の決済など)や、あるサービスが他のサービスに何かが起きたことを伝えるとき、メッセージはキューまたはメッセージブローカーを通ります。プロジェクトでは3種類を利用でき、それぞれサービスとして追加します:概要 → サービス → サービスを追加。

サービス向いている用途
Valkeyシンプルなジョブキュー(LaravelのキューとHorizon、BullMQ、Celery、RQ)とStreamsによるイベント。すでにキャッシュやセッションに使っている場合に
NATSサービス間の軽量なメッセージング:イベント、リクエストとリプライ、JetStreamによる永続ストリーム
RabbitMQ定番のメッセージブローカー:エクスチェンジによるルーティング、確認応答、再試行とデッドレター、クォーラムキュー

迷ったら、バックグラウンドジョブにはValkeyから始めてください。ほとんどのフレームワークが標準で対応しています。多数のキュー間でメッセージをルーティングし、1件も失えない場合はRabbitMQを、サービス間で小さなメッセージを大量にやり取りしたり、互いに応答を求めたりする場合はNATSをお選びください。

Valkey:ジョブキューとStreams

ValkeyはRedis互換のストアで、データベースと同じマネージドサービスです。アプリの最初のValkeyは、すべてのコードサービスにREDIS_URL、REDIS_HOST、REDIS_PORT、REDIS_PASSWORDを渡します。また、どのValkeyも専用のRIVERVO_<NAME>_URLを提供します。

メッセージの送り方は3通りです。

  • ジョブキュー:redisドライバーを使うLaravelのキューとHorizon、BullMQ、Celery、RQ。ライブラリがジョブをValkeyに保存し、ワーカーが1件ずつ取り出して、失敗したものは再試行します。
  • コンシューマーグループ付きのStreams:XADDでストリームにイベントを追加し、グループのコンシューマーがXREADGROUPで読み取ってXACKで確認します。イベントは保存されるため、停止していたコンシューマーは中断した位置から再開でき、確認されていないイベントは再度取得でき、新しいグループはストリームを最初から読めます。
  • Pub/Sub:PUBLISHとSUBSCRIBEは、その時点で接続しているサブスクライバーにのみメッセージを届けます。メッセージは保存されないため、再起動中やまだ接続していないサブスクライバーは受け取れません。Pub/Subはメッセージが失われても問題ない場合(「再読み込み」の合図など)に限り、それ以外にはStreamsかキューをご利用ください。

Valkeyは他のデータベースと同じく毎日バックアップされ、アクセスを開放すれば外部からも接続できます。詳しくはデータベースをご覧ください。

NATS

NATSは軽量で高速なメッセージングシステムで、JetStreamが有効になっています。

  • パブリッシュとサブスクライブ:サービスがorders.createdなどのサブジェクトにパブリッシュすると、そのサブジェクトのすべてのサブスクライバーにメッセージが届きます。JetStreamなしでは、上記のPub/Subと同じく送りっぱなしです。
  • リクエストとリプライ:あるサービスが問い合わせ、別のサービスが応答します。複数のインスタンスがキューグループとして応答する場合、NATSがリクエストを振り分けます。
  • JetStream:永続ストリーム。メッセージはサービスのディスクに保存され、コンシューマーが読んだ位置を記憶し、確認応答されるまですべてのメッセージが少なくとも1回配信されます。
  • JetStream上に構築されたキーバリューストアとオブジェクトストア:サービス間で共有する小さな設定、ロック、ファイルに。

**変数。**アプリの最初のNATSは、すべてのコードサービスに次の変数を渡します。

NATS_URL=nats://<user>:<password>@<service name>:4222

どのNATSサービスも、同じ形式のアドレスを持つRIVERVO_<NAME>_URLを提供します。NAMEはサービス名を大文字にし、ダッシュを_に置き換えたものです。eventsという名前のサービスならRIVERVO_EVENTS_URLになります。

JetStreamはストリームをサービスのディスクに保存します。メモリに保持するストリームは、サービスのメモリの約4分の1まで使用できます。

RabbitMQ

RabbitMQ 4.1は定番のメッセージブローカーです。プロデューサーはエクスチェンジにパブリッシュし、エクスチェンジはルーティングキーに従ってメッセージをキューに振り分け、コンシューマーは各メッセージに確認応答を返します。拒否されたメッセージや期限切れのメッセージはデッドレターエクスチェンジに送ることができます。再起動後もメッセージを残したいキューにはクォーラムキュー(引数x-queue-type: quorum)を使い、メッセージを永続化してパブリッシュしてください。

**変数。**アプリの最初のRabbitMQは、すべてのコードサービスに次の変数を渡します。

変数値
AMQP_URLamqp://<user>:<password>@<service name>:5672/%2f
RABBITMQ_HOSTサービス名
RABBITMQ_PORT5672
RABBITMQ_USER, RABBITMQ_PASSWORDユーザーとパスワード
RABBITMQ_VHOST/

AMQP_URL末尾の%2fは、デフォルトのバーチャルホスト/を接続アドレスの形式で記述したものです。どのRabbitMQサービスも、同じ形式のアドレスを持つ専用のRIVERVO_<NAME>_URLを提供します。

**管理API。**管理用のHTTP APIは、アプリのプライベートネットワーク内のポート15672で待ち受けています。アプリのサービスからは同じユーザーとパスワードでhttp://<service name>:15672に接続できます。例:

curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"

インターネット上に管理画面はありません。パネルのサービスページには、キューの簡単な一覧(準備済みメッセージ、未確認メッセージ、コンシューマー)が読み取り専用で表示されます。

内部のみ

NATSとRabbitMQには公開アドレスがなく、アプリの外部(ご自身のコンピューター、別のサーバー、別のアプリ)からは接続できません。PostgreSQL、MySQL、Valkeyとは異なり、外部からのアクセスは提供していません。メッセージをパブリッシュ・消費するサービスは、同じアプリのサービス(Webサービス、バックグラウンドワーカー、スケジュールジョブ)として実行します。

同じ種類の2つ目のサービス

通常の変数名(REDIS_*、NATS_URL、AMQP_URL、RABBITMQ_*)が付くのは、アプリの最初のValkey、NATS、RabbitMQのみです。同じ種類の2つ目以降は専用のRIVERVO_<NAME>_URLのみを追加します。コードでその変数を読み込むか、変数タブで通常の変数名にその値を設定してください。変数は次回のデプロイでサービスに反映されます。詳しくは環境変数をご覧ください。

Laravel

Valkey。****変数タブで次のように設定します。

QUEUE_CONNECTION=redis

php artisan queue:work(Horizonを使う場合はphp artisan horizon)をバックグラウンドワーカーとして実行します。詳しくはLaravelをご覧ください。

RabbitMQ。LaravelにはRabbitMQドライバーが標準で含まれておらず、RivervoがQUEUE_CONNECTIONを自動で変更することはありません。LaravelのキューでRabbitMQを使うには、次の手順に従います。

  1. パッケージをインストールします:composer require vladimir-yuldashev/laravel-queue-rabbitmq。
  2. ご利用のバージョンのパッケージのREADMEに従い、config/queue.phpにrabbitmq接続を追加します。この接続は、アプリにすでにあるRABBITMQ_HOST、RABBITMQ_PORT、RABBITMQ_USER、RABBITMQ_PASSWORD、RABBITMQ_VHOSTを読み込みます。
'rabbitmq' => [
    'driver' => 'rabbitmq',
    'hosts' => [
        [
            'host' => env('RABBITMQ_HOST', '127.0.0.1'),
            'port' => env('RABBITMQ_PORT', 5672),
            'user' => env('RABBITMQ_USER', 'guest'),
            'password' => env('RABBITMQ_PASSWORD', 'guest'),
            'vhost' => env('RABBITMQ_VHOST', '/'),
        ],
    ],
],
  1. 変数タブでQUEUE_CONNECTION=rabbitmqを設定してデプロイします。ワーカーはphp artisan queue:workのままです。

**NATS。**NATS向けのLaravel公式キュードライバーはありません。独自のコードでPHP用のNATSクライアント(例:basis-company/nats)を使い、NATS_URLのホスト、ポート、ユーザー、パスワードを渡してください。利用する前に、必要な機能(JetStream、キーバリュー)にクライアントが対応しているかご確認ください。

Node.js

BullMQ (Valkey)

import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
 
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
 
// Webサービス側
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
 
// バックグラウンドワーカー側
new Worker('emails', async (job) => {
  await sendWelcome(job.data.userId)
}, { connection })

BullMQでは、ワーカーが使う接続にmaxRetriesPerRequest: nullが必要です。

Valkey Streams

import IORedis from 'ioredis'
 
const redis = new IORedis(process.env.REDIS_URL)
 
// プロデューサー
await redis.xadd('orders', '*', 'id', '42')
 
// グループ「billing」のコンシューマー
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
  if (!String(err).includes('BUSYGROUP')) throw err // グループはすでに存在します
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
  const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
  for (const [, entries] of res ?? []) {
    for (const [id, fields] of entries) {
      await handleOrder(fields)
      await redis.xack('orders', 'billing', id)
    }
  }
}

読み取られたものの確認応答されていないエントリーは、グループ内で保留状態のまま残ります。XAUTOCLAIMで別のコンシューマーに引き渡せます。

NATS (nats.js)

import { connect, JSONCodec, AckPolicy } from 'nats'
 
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
 
// 初回のみ:サブジェクトorders.*用のストリームと永続コンシューマー
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
 
// プロデューサー
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
 
// コンシューマー
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
  await handleOrder(jc.decode(m.data))
  m.ack()
}

リクエストとリプライ:一方のサービスはnc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) })で応答し、もう一方はawait nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 })で問い合わせます。

RabbitMQ (amqplib)

import amqp from 'amqplib'
 
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
 
// プロデューサー
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
 
// コンシューマー:未確認メッセージは同時に最大10件
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
  try {
    await sendWelcome(JSON.parse(msg.content.toString()).userId)
    ch.ack(msg)
  } catch {
    ch.nack(msg, false, false) // キューに設定があればデッドレターエクスチェンジへ
  }
})

キューを宣言するすべてのサービスは、同じ引数で宣言する必要があります。

Python

Celery(ValkeyまたはRabbitMQ)

import os
from celery import Celery
 
app = Celery("tasks", broker=os.environ["REDIS_URL"])  # または os.environ["AMQP_URL"]
 
@app.task(acks_late=True)
def send_welcome(user_id):
    ...

celery -A tasks worker --loglevel=infoをバックグラウンドワーカーとして実行します。Celeryはamqp://アドレスをそのまま受け付けます。RabbitMQを使う場合、最近のCeleryではクォーラムキューを宣言できます(task_default_queue_type = "quorum")。ご利用のバージョンのCeleryのドキュメントをご確認ください。

RQ (Valkey)

import os
from redis import Redis
from rq import Queue
 
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)

ワーカー:rq worker emails --url "$REDIS_URL"。

NATS (nats-py)

import asyncio, json, os
import nats
from nats.errors import TimeoutError
 
async def main():
    nc = await nats.connect(os.environ["NATS_URL"])
    js = nc.jetstream()
    await js.add_stream(name="ORDERS", subjects=["orders.>"])
 
    await js.publish("orders.created", json.dumps({"id": 42}).encode())
 
    sub = await js.pull_subscribe("orders.>", durable="billing")
    while True:
        try:
            msgs = await sub.fetch(10, timeout=5)
        except TimeoutError:
            continue
        for msg in msgs:
            await handle_order(json.loads(msg.data))
            await msg.ack()
 
asyncio.run(main())

RabbitMQ (pika)

import json, os
import pika
 
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
 
# プロデューサー
ch.basic_publish(exchange="", routing_key="emails",
                 body=json.dumps({"user_id": 42}),
                 properties=pika.BasicProperties(delivery_mode=2))
 
# コンシューマー
def on_message(ch, method, properties, body):
    send_welcome(json.loads(body)["user_id"])
    ch.basic_ack(delivery_tag=method.delivery_tag)
 
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()

複数回の配信

ワーカーが確認する前に停止すると(デプロイ、再起動、復元の際など)、キューやブローカーはメッセージを再配信します。同じメッセージを2回処理しても問題が起きないようにコンシューマーを作成してください。処理済みメッセージのIDを記録するか、処理自体を繰り返し可能にします(例:「支払いを追加」ではなく「ステータスを支払い済みにする」)。

リソースと料金

サービス初期構成最小メモリ
NATSメモリ256MB・CPU1コア・ディスク5GB256MB
RabbitMQメモリ1GB・CPU1コア・ディスク10GB512MB

いずれも他のサービスと同じく、メモリ、CPU、ディスクに応じて料金が決まります。詳しくはプロジェクトのサービスをご覧ください。リソースは後からサービスの設定で変更できます。

バックアップと復元

NATSとRabbitMQは毎日バックアップされ、他のサービスと同じく直近7日分と4週分を保管します。

  • バックアップは、サービスの稼働中にデータファイルをコピーします。RabbitMQの場合は、定義(ユーザー、バーチャルホスト、キュー、エクスチェンジ、バインディング、ポリシー)のエクスポートも同じバックアップに含まれます。
  • 特定の時点への復元はできません(PostgreSQLとMySQLのみの機能です)。毎日のコピーのいずれかを復元します。
  • 復元ではサービスを短時間停止し、ファイルを戻して再起動します。バックアップ前後に届いたメッセージや確認応答されたメッセージは、失われたり再配信されたりすることがあります。この点からも、コンシューマーは繰り返し処理に耐えられるようにしてください。
  • RabbitMQで、コピーしたファイルから起動できない場合は、定義のみで起動します。キュー、エクスチェンジ、ユーザーは残りますが、バックアップ内のメッセージは失われます。

メンテナンスと移動

NATSとRabbitMQにはメンテナンス時間の設定はありません。別のサーバーへ自動で移動されることもありません。移動が必要になった場合は、サポートがお客様と調整して対応します。

解決しませんか?

チャットでご相談ください。AIがすぐに回答し、必要なときはエンジニアが加わります。時間帯は問いません。

サポートに問い合わせる