Почати

Події та черги: Valkey, NATS і RabbitMQ.

Фонові завдання, події й повідомлення між сервісами застосунку: коли вибрати Valkey, NATS чи RabbitMQ, змінні підключення, приклади для Laravel, Node.js і Python, ресурси, резервні копії та обмеження.

9 ХВ ЧИТАННЯ

Коли сайт передає роботу воркеру — надіслати лист, змінити розмір зображення, списати оплату за замовлення — або один сервіс повідомляє іншим, що щось сталося, повідомлення проходить через чергу чи брокер повідомлень. У проєкті може бути три такі сервіси, кожен додається як окремий сервіс: Огляд → Сервіси → Додати сервіс.

СервісКоли вибирати
Valkeyпрості черги завдань (черги Laravel і Horizon, BullMQ, Celery, RQ) та події в Streams — коли ви вже використовуєте його для кешу й сесій
NATSлегкий обмін повідомленнями між сервісами: події, запит і відповідь, надійні потоки з JetStream
RabbitMQкласичний брокер повідомлень: маршрутизація через exchange, підтвердження, повторні спроби й dead-lettering, кворумні черги

Якщо не впевнені, почніть із Valkey для фонових завдань: більшість фреймворків підтримують його одразу. Вибирайте RabbitMQ, коли повідомлення треба маршрутизувати між багатьма чергами й жодне не можна втратити, а NATS — коли сервіси обмінюються безліччю дрібних повідомлень або запитують одне в одного відповіді.

Valkey: черги завдань і Streams

Valkey — це Redis-сумісне сховище, той самий керований сервіс, що й у статті Бази даних. Перший Valkey застосунку дає кожному сервісу з кодом REDIS_URL, REDIS_HOST, REDIS_PORT і REDIS_PASSWORD; кожен Valkey також дає власну RIVERVO_<NAME>_URL.

Надсилати повідомлення через нього можна трьома способами:

  • Черги завдань — черги Laravel з драйвером redis і Horizon, BullMQ, Celery, RQ. Бібліотека зберігає завдання у Valkey; воркер бере їх по одному й повторює ті, що завершилися з помилкою.
  • Streams із групами споживачів — XADD додає подію в потік, споживачі групи читають її через XREADGROUP і підтверджують через XACK. Події зберігаються: зупинений споживач продовжує з того місця, де зупинився, непідтверджену подію можна взяти знову, а нова група може прочитати потік із самого початку.
  • Pub/Sub — PUBLISH і SUBSCRIBE доставляють повідомлення лише тим підписникам, які підключені саме в цю мить. Повідомлення не зберігається: підписник, що перезапускається або ще не підключився, його пропустить. Використовуйте Pub/Sub лише там, де втрачене повідомлення нічому не шкодить (наприклад, сигнал «оновити»), а для всього іншого — Streams або чергу.

Valkey щодня копіюється, як і інші бази даних; до нього також можна підключитися ззовні, якщо відкрити доступ. Докладніше — у статті Бази даних.

NATS

NATS — легка й швидка система обміну повідомленнями з увімкненим JetStream:

  • Публікація й підписка — сервіс публікує повідомлення в subject, наприклад orders.created, і його отримує кожен підписник цього subject. Без JetStream це принцип «надіслав і забув», як у Pub/Sub вище.
  • Запит і відповідь — один сервіс запитує, інший відповідає. Коли кілька екземплярів відповідають як queue group, NATS розподіляє запити між ними.
  • JetStream — надійні потоки: повідомлення зберігаються на диску сервісу, споживач пам’ятає, що вже прочитав, і кожне повідомлення доставляється щонайменше один раз, доки його не підтвердять.
  • Сховище ключ-значення й об’єктне сховище на основі JetStream — для невеликих спільних налаштувань, блокувань або файлів між сервісами.

Змінні. Перший NATS застосунку дає кожному сервісу з кодом:

NATS_URL=nats://<user>:<password>@<service name>:4222

Кожен сервіс NATS також дає RIVERVO_<NAME>_URL з адресою того самого вигляду — NAME це назва сервісу великими літерами, де дефіси замінено на _: сервіс із назвою events дає RIVERVO_EVENTS_URL.

JetStream зберігає свої потоки на диску сервісу; потоки в пам’яті можуть займати приблизно чверть пам’яті сервісу.

RabbitMQ

RabbitMQ 4.1 — класичний брокер повідомлень: продюсери публікують повідомлення в exchange, exchange маршрутизує їх у черги за ключами маршрутизації, споживачі підтверджують кожне повідомлення, а відхилене або прострочене повідомлення може потрапити в dead-letter exchange. Для черг, повідомлення яких мають пережити перезапуск, використовуйте кворумні черги (аргумент x-queue-type: quorum) і публікуйте повідомлення як persistent.

Змінні. Перший RabbitMQ застосунку дає кожному сервісу з кодом:

ЗміннаЗначення
AMQP_URLamqp://<user>:<password>@<service name>:5672/%2f
RABBITMQ_HOSTназва сервісу
RABBITMQ_PORT5672
RABBITMQ_USER, RABBITMQ_PASSWORDкористувач і пароль
RABBITMQ_VHOST/

%2f наприкінці AMQP_URL — це віртуальний хост за замовчуванням /, записаний так, як того вимагають адреси підключення. Кожен сервіс RabbitMQ також дає власну RIVERVO_<NAME>_URL з адресою того самого вигляду.

Management API. HTTP API для керування слухає порт 15672 у приватній мережі застосунку: сервіси застосунку звертаються до нього за адресою http://<service name>:15672 з тими самими користувачем і паролем, наприклад:

curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"

Сторінки керування в інтернеті немає. На сторінці сервісу в панелі показано короткий список його черг лише для читання: готові повідомлення, непідтверджені й споживачі.

Лише внутрішні

NATS і RabbitMQ не мають публічної адреси, і до них не можна підключитися ззовні застосунку — з вашого комп’ютера, іншого сервера чи іншого застосунку. На відміну від PostgreSQL, MySQL і Valkey, доступ ззовні для них не передбачено. Сервіси, що публікують і споживають повідомлення, працюють як сервіси того самого застосунку: вебсервіси, фонові воркери і завдання за розкладом.

Другий сервіс того самого типу

Звичні назви змінних (REDIS_*, NATS_URL, AMQP_URL і RABBITMQ_*) отримують лише перші Valkey, NATS і RabbitMQ застосунку. Наступний сервіс того самого типу додає тільки власну RIVERVO_<NAME>_URL; читайте цю змінну у своєму коді або задайте звичним назвам її значення на вкладці Змінні. Змінні потрапляють у сервіс із його наступним розгортанням — див. Змінні середовища.

Laravel

Valkey. Задайте на вкладці Змінні:

QUEUE_CONNECTION=redis

Запустіть php artisan queue:work — або php artisan horizon, якщо у вас Horizon, — як фоновий воркер. Докладніше — у статті Laravel.

RabbitMQ. Вбудованого драйвера RabbitMQ у Laravel немає, а Rivervo не змінює QUEUE_CONNECTION самостійно. Щоб використовувати RabbitMQ для черг Laravel:

  1. Встановіть пакет: composer require vladimir-yuldashev/laravel-queue-rabbitmq.
  2. Додайте підключення rabbitmq у config/queue.php так, як показано в README пакета для вашої версії. Воно читає RABBITMQ_HOST, RABBITMQ_PORT, RABBITMQ_USER, RABBITMQ_PASSWORD і RABBITMQ_VHOST, які в застосунку вже є:
'rabbitmq' => [
    'driver' => 'rabbitmq',
    'hosts' => [
        [
            'host' => env('RABBITMQ_HOST', '127.0.0.1'),
            'port' => env('RABBITMQ_PORT', 5672),
            'user' => env('RABBITMQ_USER', 'guest'),
            'password' => env('RABBITMQ_PASSWORD', 'guest'),
            'vhost' => env('RABBITMQ_VHOST', '/'),
        ],
    ],
],
  1. Задайте QUEUE_CONNECTION=rabbitmq на вкладці Змінні й розгорніть. Воркер лишається тим самим: php artisan queue:work.

NATS. Офіційного драйвера черг Laravel для NATS немає. Використовуйте NATS-клієнт для PHP у власному коді — наприклад, basis-company/nats — і передайте йому хост, порт, користувача й пароль із NATS_URL. Перш ніж будувати на ньому рішення, перевірте, чи підтримує клієнт потрібні вам можливості (JetStream, ключ-значення).

Node.js

BullMQ (Valkey)

import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
 
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
 
// in the web service
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
 
// in the background worker
new Worker('emails', async (job) => {
  await sendWelcome(job.data.userId)
}, { connection })

BullMQ потребує maxRetriesPerRequest: null у підключенні, яке використовують його воркери.

Valkey Streams

import IORedis from 'ioredis'
 
const redis = new IORedis(process.env.REDIS_URL)
 
// producer
await redis.xadd('orders', '*', 'id', '42')
 
// consumer of the group «billing»
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
  if (!String(err).includes('BUSYGROUP')) throw err // the group already exists
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
  const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
  for (const [, entries] of res ?? []) {
    for (const [id, fields] of entries) {
      await handleOrder(fields)
      await redis.xack('orders', 'billing', id)
    }
  }
}

Запис, який прочитали, але не підтвердили, лишається в групі як очікуваний; XAUTOCLAIM передає його іншому споживачу.

NATS (nats.js)

import { connect, JSONCodec, AckPolicy } from 'nats'
 
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
 
// once: a stream for the subjects orders.* and a durable consumer
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
 
// producer
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
 
// consumer
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
  await handleOrder(jc.decode(m.data))
  m.ack()
}

Запит і відповідь: один сервіс відповідає через nc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) }), інший запитує через await nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 }).

RabbitMQ (amqplib)

import amqp from 'amqplib'
 
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
 
// producer
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
 
// consumer: at most 10 unacknowledged messages at a time
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
  try {
    await sendWelcome(JSON.parse(msg.content.toString()).userId)
    ch.ack(msg)
  } catch {
    ch.nack(msg, false, false) // to the dead-letter exchange, if the queue has one
  }
})

Кожен сервіс, що оголошує чергу, має оголошувати її з тими самими аргументами.

Python

Celery (Valkey або RabbitMQ)

import os
from celery import Celery
 
app = Celery("tasks", broker=os.environ["REDIS_URL"])  # or os.environ["AMQP_URL"]
 
@app.task(acks_late=True)
def send_welcome(user_id):
    ...

Запустіть celery -A tasks worker --loglevel=info як фоновий воркер. Celery приймає адреси amqp:// як є. З RabbitMQ нові версії Celery вміють оголошувати кворумні черги (task_default_queue_type = "quorum") — див. документацію Celery для вашої версії.

RQ (Valkey)

import os
from redis import Redis
from rq import Queue
 
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)

Воркер: rq worker emails --url "$REDIS_URL".

NATS (nats-py)

import asyncio, json, os
import nats
from nats.errors import TimeoutError
 
async def main():
    nc = await nats.connect(os.environ["NATS_URL"])
    js = nc.jetstream()
    await js.add_stream(name="ORDERS", subjects=["orders.>"])
 
    await js.publish("orders.created", json.dumps({"id": 42}).encode())
 
    sub = await js.pull_subscribe("orders.>", durable="billing")
    while True:
        try:
            msgs = await sub.fetch(10, timeout=5)
        except TimeoutError:
            continue
        for msg in msgs:
            await handle_order(json.loads(msg.data))
            await msg.ack()
 
asyncio.run(main())

RabbitMQ (pika)

import json, os
import pika
 
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
 
# producer
ch.basic_publish(exchange="", routing_key="emails",
                 body=json.dumps({"user_id": 42}),
                 properties=pika.BasicProperties(delivery_mode=2))
 
# consumer
def on_message(ch, method, properties, body):
    send_welcome(json.loads(body)["user_id"])
    ch.basic_ack(delivery_tag=method.delivery_tag)
 
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()

Повторна доставка

Черги й брокери доставляють повідомлення знову, якщо воркер зупинився, не встигнувши його підтвердити, — під час розгортання, перезапуску чи відновлення. Пишіть споживачів так, щоб повторна обробка того самого повідомлення нічому не шкодила: зберігайте ID кожного обробленого повідомлення або робіть саму дію повторюваною (наприклад, «встановити статус “оплачено”» замість «додати платіж»).

Ресурси й ціна

СервісСтартова конфігураціяМінімум пам’яті
NATS256 МБ пам’яті · 1 ядро CPU · 5 ГБ диска256 МБ
RabbitMQ1 ГБ пам’яті · 1 ядро CPU · 10 ГБ диска512 МБ

Кожен оплачується за пам’ять, CPU і диск, як будь-який сервіс, — див. Сервіси проєкту. Ресурси можна змінити пізніше в Налаштуваннях сервісу.

Резервні копії та відновлення

NATS і RabbitMQ копіюються щодня; ми зберігаємо копії за останні 7 днів і 4 тижні, як і для інших сервісів.

  • Резервна копія знімає файли даних сервісу під час його роботи. Для RabbitMQ та сама копія містить ще й експорт його визначень: користувачів, віртуальних хостів, черг, exchange, прив’язок і політик.
  • Відновлення на точний момент немає — воно доступне лише для PostgreSQL і MySQL. Ви відновлюєте одну зі щоденних копій.
  • Відновлення ненадовго зупиняє сервіс, повертає файли й запускає його знову. Повідомлення, що надійшли або були підтверджені приблизно в момент створення копії, можуть зникнути або бути доставлені ще раз, — ще одна причина робити споживачів стійкими до повторів.
  • Якщо скопійовані файли RabbitMQ не вдається запустити, сервіс стартує лише з визначеннями: черги, exchange і користувачі на місці, але повідомлення з резервної копії втрачено.

Обслуговування й переїзди

Для NATS і RabbitMQ не потрібно задавати час обслуговування. Автоматично на інший сервер вони не переносяться; якщо це колись знадобиться, служба підтримки домовиться з вами про перенесення.

Залишилися питання?

Напишіть нам у чат — AI відповідає одразу, а інженер підключається за потреби в будь-який час доби.

Написати в підтримку