Mulakan

Peristiwa dan baris gilir: Valkey, NATS dan RabbitMQ.

Tugas latar belakang, peristiwa dan mesej antara perkhidmatan aplikasi: bila memilih Valkey, NATS atau RabbitMQ, pemboleh ubah sambungan, contoh untuk Laravel, Node.js dan Python, sumber, sandaran dan had.

9 MIN BACAAN

Apabila laman web menyerahkan kerja kepada worker — menghantar e-mel, mengubah saiz imej, mengecaj pesanan — atau satu perkhidmatan memberitahu yang lain bahawa sesuatu telah berlaku, mesej melalui baris gilir atau broker mesej. Projek boleh mempunyai tiga daripadanya, setiap satu ditambah sebagai perkhidmatan: Gambaran keseluruhan → Perkhidmatan → Tambah perkhidmatan.

PerkhidmatanPilih untuk
Valkeybaris gilir tugas ringkas (baris gilir Laravel dan Horizon, BullMQ, Celery, RQ), dan peristiwa dalam Streams — apabila anda sudah menggunakannya untuk cache dan sesi
NATSpemesejan ringan antara perkhidmatan: peristiwa, permintaan dan balasan, serta strim tahan lama dengan JetStream
RabbitMQbroker mesej klasik: penghalaan melalui exchange, pengakuan, cubaan semula dan dead-lettering, baris gilir quorum

Jika anda tidak pasti, mulakan dengan Valkey untuk tugas latar belakang: kebanyakan framework menyokongnya secara terus. Pilih RabbitMQ apabila mesej mesti dihalakan antara banyak baris gilir dan tiada satu pun boleh hilang, dan NATS apabila perkhidmatan bertukar banyak mesej kecil atau meminta jawapan antara satu sama lain.

Valkey: baris gilir tugas dan Streams

Valkey ialah storan serasi Redis — perkhidmatan terurus yang sama seperti dalam Pangkalan data. Valkey pertama aplikasi memberikan setiap perkhidmatan kod REDIS_URL, REDIS_HOST, REDIS_PORT dan REDIS_PASSWORD; setiap Valkey juga memberikan RIVERVO_<NAME>_URLnya sendiri.

Tiga cara untuk menghantar mesej melaluinya:

  • Baris gilir tugas — baris gilir Laravel dengan pemacu redis dan Horizon, BullMQ, Celery, RQ. Pustaka menyimpan tugas dalam Valkey; worker mengambilnya satu demi satu dan mencuba semula tugas yang gagal.
  • Streams dengan kumpulan pengguna — XADD menambah peristiwa ke strim, pengguna dalam kumpulan membacanya dengan XREADGROUP dan mengesahkannya dengan XACK. Peristiwa disimpan: pengguna yang dihentikan menyambung dari tempat ia berhenti, peristiwa yang belum disahkan boleh diambil semula, dan kumpulan baharu boleh membaca strim dari awal.
  • Pub/Sub — PUBLISH dan SUBSCRIBE menghantar mesej hanya kepada pelanggan yang bersambung pada saat itu. Mesej tidak disimpan: pelanggan yang sedang dimulakan semula atau belum bersambung akan terlepas. Gunakan Pub/Sub hanya di mana mesej yang hilang tidak memudaratkan (contohnya isyarat «muat semula»), dan Streams atau baris gilir untuk semua yang lain.

Valkey disandarkan setiap hari seperti pangkalan data lain; ia juga boleh dicapai dari luar apabila anda membuka akses. Lihat Pangkalan data.

NATS

NATS ialah sistem pemesejan yang ringan dan pantas, dengan JetStream dihidupkan:

  • Terbit dan langgan — perkhidmatan menerbitkan ke subjek seperti orders.created, setiap pelanggan subjek itu mendapat mesej. Tanpa JetStream, ini bersifat hantar-dan-lupa, seperti Pub/Sub di atas.
  • Permintaan dan balasan — satu perkhidmatan bertanya, satu lagi menjawab. Apabila beberapa instans menjawab sebagai kumpulan baris gilir, NATS mengagihkan permintaan di antara mereka.
  • JetStream — strim tahan lama: mesej disimpan pada cakera perkhidmatan, pengguna mengingati apa yang telah dibacanya, dan setiap mesej dihantar sekurang-kurangnya sekali sehingga ia diakui.
  • Storan kunci-nilai dan objek yang dibina atas JetStream — untuk tetapan kongsi kecil, kunci (lock) atau fail antara perkhidmatan.

Pemboleh ubah. NATS pertama aplikasi memberikan setiap perkhidmatan kod:

NATS_URL=nats://<user>:<password>@<service name>:4222

Setiap perkhidmatan NATS juga memberikan RIVERVO_<NAME>_URL dengan alamat dalam bentuk yang sama — NAME ialah nama perkhidmatan dalam huruf besar, dengan sengkang ditukar kepada _: perkhidmatan bernama events memberikan RIVERVO_EVENTS_URL.

JetStream menyimpan strimnya pada cakera perkhidmatan; strim yang disimpan dalam memori boleh menggunakan kira-kira suku daripada memori perkhidmatan.

RabbitMQ

RabbitMQ 4.1 ialah broker mesej klasik: pengeluar menerbitkan ke exchange, exchange menghalakan mesej ke baris gilir mengikut kunci penghalaan, pengguna mengakui setiap mesej, dan mesej yang ditolak atau tamat tempoh boleh dihantar ke exchange dead-letter. Bagi baris gilir yang mesejnya mesti kekal selepas mula semula, gunakan baris gilir quorum (argumen x-queue-type: quorum) dan terbitkan mesej sebagai persistent.

Pemboleh ubah. RabbitMQ pertama aplikasi memberikan setiap perkhidmatan kod:

Pemboleh ubahNilai
AMQP_URLamqp://<user>:<password>@<service name>:5672/%2f
RABBITMQ_HOSTnama perkhidmatan
RABBITMQ_PORT5672
RABBITMQ_USER, RABBITMQ_PASSWORDpengguna dan kata laluan
RABBITMQ_VHOST/

%2f di hujung AMQP_URL ialah hos maya lalai /, ditulis mengikut cara yang diperlukan oleh alamat sambungan. Setiap perkhidmatan RabbitMQ juga memberikan RIVERVO_<NAME>_URLnya sendiri dengan alamat dalam bentuk yang sama.

API pengurusan. API HTTP pengurusan mendengar pada port 15672 di dalam rangkaian peribadi aplikasi: perkhidmatan aplikasi mencapainya di http://<service name>:15672 dengan pengguna dan kata laluan yang sama, contohnya:

curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"

Tiada halaman pengurusan di internet. Halaman perkhidmatan dalam panel menunjukkan senarai ringkas baris gilirnya dalam mod baca sahaja: mesej sedia, belum diakui dan pengguna.

Dalaman sahaja

NATS dan RabbitMQ tidak mempunyai alamat awam dan tidak boleh dicapai dari luar aplikasi — dari komputer anda, pelayan lain atau aplikasi lain. Tidak seperti PostgreSQL, MySQL dan Valkey, akses dari luar tidak ditawarkan untuknya. Perkhidmatan yang menerbitkan dan menggunakan mesej berjalan sebagai perkhidmatan dalam aplikasi yang sama: perkhidmatan web, worker latar belakang dan tugas berjadual.

Perkhidmatan kedua yang sama jenis

Hanya Valkey, NATS dan RabbitMQ pertama aplikasi mendapat nama biasa (REDIS_*, NATS_URL, AMQP_URL dan RABBITMQ_*). Perkhidmatan seterusnya yang sama jenis hanya menambah RIVERVO_<NAME>_URLnya sendiri; baca pemboleh ubah itu dalam kod anda, atau tetapkan nama biasa kepada nilainya di tab Pemboleh ubah. Pemboleh ubah sampai ke perkhidmatan pada deploy seterusnya — lihat Pemboleh ubah persekitaran.

Laravel

Valkey. Tetapkan di tab Pemboleh ubah:

QUEUE_CONNECTION=redis

Jalankan php artisan queue:work — atau php artisan horizon dengan Horizon — sebagai worker latar belakang. Lihat Laravel.

RabbitMQ. Laravel tidak mempunyai pemacu RabbitMQ terbina dalam, dan Rivervo tidak menukar QUEUE_CONNECTION dengan sendirinya. Untuk menggunakan RabbitMQ bagi baris gilir Laravel:

  1. Pasang pakej: composer require vladimir-yuldashev/laravel-queue-rabbitmq.
  2. Tambah sambungan rabbitmq ke config/queue.php seperti yang ditunjukkan dalam README pakej untuk versi anda. Ia membaca RABBITMQ_HOST, RABBITMQ_PORT, RABBITMQ_USER, RABBITMQ_PASSWORD dan RABBITMQ_VHOST, yang sudah ada dalam aplikasi:
'rabbitmq' => [
    'driver' => 'rabbitmq',
    'hosts' => [
        [
            'host' => env('RABBITMQ_HOST', '127.0.0.1'),
            'port' => env('RABBITMQ_PORT', 5672),
            'user' => env('RABBITMQ_USER', 'guest'),
            'password' => env('RABBITMQ_PASSWORD', 'guest'),
            'vhost' => env('RABBITMQ_VHOST', '/'),
        ],
    ],
],
  1. Tetapkan QUEUE_CONNECTION=rabbitmq di tab Pemboleh ubah dan lakukan deploy. Worker kekal php artisan queue:work.

NATS. Tiada pemacu baris gilir Laravel rasmi untuk NATS. Gunakan klien NATS untuk PHP dalam kod anda sendiri — contohnya basis-company/nats — dan berikan hos, port, pengguna dan kata laluan daripada NATS_URL. Pastikan klien menyokong ciri yang anda perlukan (JetStream, kunci-nilai) sebelum anda membina di atasnya.

Node.js

BullMQ (Valkey)

import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
 
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
 
// dalam perkhidmatan web
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
 
// dalam worker latar belakang
new Worker('emails', async (job) => {
  await sendWelcome(job.data.userId)
}, { connection })

BullMQ memerlukan maxRetriesPerRequest: null pada sambungan yang digunakan oleh workernya.

Valkey Streams

import IORedis from 'ioredis'
 
const redis = new IORedis(process.env.REDIS_URL)
 
// pengeluar
await redis.xadd('orders', '*', 'id', '42')
 
// pengguna dalam kumpulan «billing»
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
  if (!String(err).includes('BUSYGROUP')) throw err // kumpulan sudah wujud
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
  const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
  for (const [, entries] of res ?? []) {
    for (const [id, fields] of entries) {
      await handleOrder(fields)
      await redis.xack('orders', 'billing', id)
    }
  }
}

Entri yang telah dibaca tetapi belum diakui kekal tertangguh dalam kumpulan; XAUTOCLAIM menyerahkannya kepada pengguna lain.

NATS (nats.js)

import { connect, JSONCodec, AckPolicy } from 'nats'
 
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
 
// sekali sahaja: strim untuk subjek orders.* dan pengguna tahan lama
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
 
// pengeluar
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
 
// pengguna
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
  await handleOrder(jc.decode(m.data))
  m.ack()
}

Permintaan dan balasan: satu perkhidmatan menjawab dengan nc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) }), satu lagi bertanya dengan await nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 }).

RabbitMQ (amqplib)

import amqp from 'amqplib'
 
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
 
// pengeluar
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
 
// pengguna: paling banyak 10 mesej belum diakui pada satu masa
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
  try {
    await sendWelcome(JSON.parse(msg.content.toString()).userId)
    ch.ack(msg)
  } catch {
    ch.nack(msg, false, false) // ke exchange dead-letter, jika baris gilir mempunyainya
  }
})

Setiap perkhidmatan yang mengisytiharkan baris gilir mesti mengisytiharkannya dengan argumen yang sama.

Python

Celery (Valkey atau RabbitMQ)

import os
from celery import Celery
 
app = Celery("tasks", broker=os.environ["REDIS_URL"])  # atau os.environ["AMQP_URL"]
 
@app.task(acks_late=True)
def send_welcome(user_id):
    ...

Jalankan celery -A tasks worker --loglevel=info sebagai worker latar belakang. Celery menerima alamat amqp:// seadanya. Dengan RabbitMQ, versi Celery terkini boleh mengisytiharkan baris gilir quorum (task_default_queue_type = "quorum") — lihat dokumentasi Celery untuk versi anda.

RQ (Valkey)

import os
from redis import Redis
from rq import Queue
 
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)

Worker: rq worker emails --url "$REDIS_URL".

NATS (nats-py)

import asyncio, json, os
import nats
from nats.errors import TimeoutError
 
async def main():
    nc = await nats.connect(os.environ["NATS_URL"])
    js = nc.jetstream()
    await js.add_stream(name="ORDERS", subjects=["orders.>"])
 
    await js.publish("orders.created", json.dumps({"id": 42}).encode())
 
    sub = await js.pull_subscribe("orders.>", durable="billing")
    while True:
        try:
            msgs = await sub.fetch(10, timeout=5)
        except TimeoutError:
            continue
        for msg in msgs:
            await handle_order(json.loads(msg.data))
            await msg.ack()
 
asyncio.run(main())

RabbitMQ (pika)

import json, os
import pika
 
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
 
# pengeluar
ch.basic_publish(exchange="", routing_key="emails",
                 body=json.dumps({"user_id": 42}),
                 properties=pika.BasicProperties(delivery_mode=2))
 
# pengguna
def on_message(ch, method, properties, body):
    send_welcome(json.loads(body)["user_id"])
    ch.basic_ack(delivery_tag=method.delivery_tag)
 
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()

Dihantar lebih daripada sekali

Baris gilir dan broker menghantar semula mesej apabila worker berhenti sebelum mengesahkannya — semasa deploy, mula semula atau pemulihan. Tulis pengguna supaya pengendalian mesej yang sama dua kali tidak memudaratkan: simpan ID setiap mesej yang telah diproses, atau jadikan tindakan itu sendiri boleh diulang (contohnya «tetapkan status kepada dibayar» dan bukannya «tambah bayaran»).

Sumber dan harga

PerkhidmatanBermula denganMemori minimum
NATSmemori 256 MB · 1 teras CPU · cakera 5 GB256 MB
RabbitMQmemori 1 GB · 1 teras CPU · cakera 10 GB512 MB

Setiap satu dihargakan mengikut memori, CPU dan cakeranya seperti mana-mana perkhidmatan — lihat Perkhidmatan projek. Sumber boleh ditukar kemudian dalam Tetapan perkhidmatan.

Sandaran dan pemulihan

NATS dan RabbitMQ disandarkan setiap hari; kami menyimpan 7 hari dan 4 minggu terakhir, sama seperti perkhidmatan lain.

  • Sandaran menyalin fail data perkhidmatan semasa ia berjalan. Bagi RabbitMQ, sandaran yang sama juga mengandungi eksport definisinya: pengguna, hos maya, baris gilir, exchange, binding dan polisi.
  • Tiada pemulihan ke saat yang tepat — itu hanya untuk PostgreSQL dan MySQL. Anda memulihkan salah satu salinan harian.
  • Pemulihan menghentikan perkhidmatan untuk seketika, meletakkan semula fail dan memulakannya semula. Mesej yang tiba atau diakui sekitar waktu sandaran mungkin hilang atau dihantar semula — satu lagi sebab untuk menjadikan pengguna selamat diulang.
  • Bagi RabbitMQ, jika fail yang disalin tidak dapat dimulakan, perkhidmatan bermula dengan definisi sahaja: baris gilir, exchange dan pengguna ada, tetapi mesej daripada sandaran hilang.

Penyelenggaraan dan pemindahan

NATS dan RabbitMQ tidak mempunyai waktu penyelenggaraan untuk ditetapkan. Ia tidak dipindahkan ke pelayan lain secara automatik; jika perkara itu diperlukan, pasukan sokongan akan mengaturnya bersama anda.

Masih perlukan bantuan?

Bersembang dengan kami — AI menjawab serta-merta dan jurutera menyertai apabila perlu, pada bila-bila masa.

Hubungi sokongan