Бастау

Оқиғалар мен кезектер: Valkey, NATS және RabbitMQ.

Қолданба сервистері арасындағы фондық тапсырмалар, оқиғалар мен хабарламалар: Valkey, NATS немесе RabbitMQ қашан таңдау керек, қосылу айнымалылары, Laravel, Node.js және Python мысалдары, ресурстар, сақтық көшірмелер және шектеулер.

9 МИН ОҚУ

Сайт жұмысты воркерге бергенде — хат жіберу, суреттің өлшемін өзгерту, тапсырыс үшін ақы алу — немесе бір сервис басқаларына бір нәрсе болғанын хабарлағанда, хабарлама кезек немесе хабарлама брокері арқылы өтеді. Жобада олардың үшеуі болуы мүмкін, әрқайсысы сервис ретінде қосылады: Шолу → Сервистер → Сервис қосу.

СервисНе үшін таңдау керек
Valkeyқарапайым тапсырмалар кезегі (Laravel кезектері мен Horizon, BullMQ, Celery, RQ) және Streams-тегі оқиғалар — оны кэш пен сессияларға бұрыннан пайдаланып жүрсеңіз
NATSсервистер арасындағы жеңіл хабарламалар: оқиғалар, сұрау мен жауап, JetStream көмегімен тұрақты ағындар
RabbitMQклассикалық хабарлама брокері: exchange арқылы маршруттау, растаулар, қайталау және dead-letter, кворумдық кезектер

Сенімді болмасаңыз, фондық тапсырмалар үшін Valkey-ден бастаңыз: фреймворктардың көбі оны бірден қолдайды. Хабарламаларды көп кезек арасында маршруттау керек және бірде-біреуі жоғалмауы тиіс болса, RabbitMQ таңдаңыз; сервистер көп шағын хабарлама алмасса немесе бір-бірінен жауап сұраса — NATS.

Valkey: тапсырмалар кезегі және Streams

Valkey — Redis-үйлесімді қойма, Дерекқорлар бөліміндегі сол басқарылатын сервис. Қолданбаның бірінші Valkey-і кодпен жұмыс істейтін әр сервиске REDIS_URL, REDIS_HOST, REDIS_PORT және REDIS_PASSWORD береді; әр Valkey өзінің RIVERVO_<NAME>_URL айнымалысын да береді.

Ол арқылы хабарлама жіберудің үш тәсілі бар:

  • Тапсырмалар кезегі — redis драйвері бар Laravel кезектері мен Horizon, BullMQ, Celery, RQ. Кітапхана тапсырмаларды Valkey-де сақтайды; воркер оларды бір-бірден алып, сәтсіз аяқталғандарын қайталайды.
  • Тұтынушы топтары бар Streams — XADD ағынға оқиға қосады, топ тұтынушылары оны XREADGROUP арқылы оқып, XACK арқылы растайды. Оқиғалар сақталады: тоқтап қалған тұтынушы тоқтаған жерінен жалғастырады, расталмаған оқиғаны қайта алуға болады, ал жаңа топ ағынды басынан оқи алады.
  • Pub/Sub — PUBLISH және SUBSCRIBE хабарламаны тек сол сәтте қосулы тұрған жазылушыларға жеткізеді. Хабарлама сақталмайды: қайта іске қосылып жатқан немесе әлі қосылмаған жазылушы оны алмай қалады. Pub/Sub-ты тек хабарлама жоғалса зияны жоқ жерде пайдаланыңыз (мысалы, «жаңарту» сигналы), қалғанының бәріне Streams немесе кезек пайдаланыңыз.

Valkey сақтық көшірмесі басқа дерекқорлар сияқты күн сайын жасалады; қол жеткізуді ашсаңыз, оған сырттан да қосылуға болады. Дерекқорлар бөлімін қараңыз.

NATS

NATS — JetStream қосылған жеңіл әрі жылдам хабарлама жүйесі:

  • Жариялау және жазылу — сервис orders.created сияқты тақырыпқа жариялайды, тақырыптың әр жазылушысы хабарламаны алады. JetStream болмаса, бұл жоғарыдағы Pub/Sub сияқты «жібердің — ұмыттың» тәсілі.
  • Сұрау және жауап — бір сервис сұрайды, екіншісі жауап береді. Бірнеше дана кезек тобы ретінде жауап берсе, NATS сұрауларды олардың арасында бөледі.
  • JetStream — тұрақты ағындар: хабарламалар сервис дискінде сақталады, тұтынушы нені оқығанын есте сақтайды, ал әр хабарлама расталғанша кемінде бір рет жеткізіледі.
  • JetStream негізіндегі кілт-мән және объектілік қойма — сервистер арасындағы шағын ортақ баптаулар, құлыптар немесе файлдар үшін.

Айнымалылар. Қолданбаның бірінші NATS-і кодпен жұмыс істейтін әр сервиске мынаны береді:

NATS_URL=nats://<user>:<password>@<service name>:4222

Әр NATS сервисі сол пішіндегі мекенжаймен RIVERVO_<NAME>_URL айнымалысын да береді — NAME — сервис атауы бас әріптермен, сызықшалары _ таңбасына ауыстырылған: events деп аталған сервис RIVERVO_EVENTS_URL береді.

JetStream ағындарын сервис дискінде сақтайды; жадта сақталатын ағындар сервис жадының шамамен төрттен бірін пайдалана алады.

RabbitMQ

RabbitMQ 4.1 — классикалық хабарлама брокері: жіберушілер exchange-ке жариялайды, exchange хабарламаларды маршруттау кілттері бойынша кезектерге бағыттайды, тұтынушылар әр хабарламаны растайды, ал қабылданбаған немесе мерзімі өткен хабарлама dead-letter exchange-ке түсе алады. Хабарламалары қайта іске қосудан кейін де сақталуы тиіс кезектер үшін кворумдық кезектерді (x-queue-type: quorum аргументі) пайдаланып, хабарламаларды тұрақты (persistent) етіп жариялаңыз.

Айнымалылар. Қолданбаның бірінші RabbitMQ-і кодпен жұмыс істейтін әр сервиске мыналарды береді:

АйнымалыМәні
AMQP_URLamqp://<user>:<password>@<service name>:5672/%2f
RABBITMQ_HOSTсервис атауы
RABBITMQ_PORT5672
RABBITMQ_USER, RABBITMQ_PASSWORDпайдаланушы мен құпиясөз
RABBITMQ_VHOST/

AMQP_URL соңындағы %2f — қосылу мекенжайлары талап ететін түрде жазылған әдепкі виртуалды хост /. Әр RabbitMQ сервисі сол пішіндегі мекенжаймен өзінің RIVERVO_<NAME>_URL айнымалысын да береді.

Басқару API-ы. Басқарудың HTTP API-ы қолданбаның жеке желісі ішінде 15672 портында тыңдайды: қолданба сервистері оған сол пайдаланушы мен құпиясөз арқылы http://<service name>:15672 мекенжайымен қосылады, мысалы:

curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"

Интернетте басқару беті жоқ. Панельдегі сервис бетінде оның кезектерінің қысқа, тек оқуға арналған тізімі көрсетіледі: дайын хабарламалар, расталмағандар және тұтынушылар.

Тек ішкі

NATS пен RabbitMQ-дің жария мекенжайы жоқ, оларға қолданбадан тыс жерден — компьютеріңізден, басқа серверден немесе басқа қолданбадан қосылу мүмкін емес. PostgreSQL, MySQL және Valkey-ден айырмашылығы, оларға сырттан қол жеткізу ұсынылмайды. Хабарламаларды жариялайтын және тұтынатын сервистер сол қолданбаның сервистері ретінде жұмыс істейді: веб-сервистер, фондық воркерлер және жоспарланған тапсырмалар.

Сол түрдегі екінші сервис

Әдеттегі атауларды (REDIS_*, NATS_URL, AMQP_URL және RABBITMQ_*) қолданбаның тек бірінші Valkey, NATS және RabbitMQ сервистері алады. Сол түрдегі келесі сервис тек өзінің RIVERVO_<NAME>_URL айнымалысын қосады; кодыңызда сол айнымалыны оқыңыз немесе Айнымалылар қойындысында әдеттегі атауларға оның мәндерін беріңіз. Айнымалылар сервиске келесі жариялау кезінде жетеді — Орта айнымалылары бөлімін қараңыз.

Laravel

Valkey. Айнымалылар қойындысында мынаны орнатыңыз:

QUEUE_CONNECTION=redis

php artisan queue:work — Horizon болса, php artisan horizon — командасын фондық воркер ретінде іске қосыңыз. Laravel бөлімін қараңыз.

RabbitMQ. Laravel-де кірістірілген RabbitMQ драйвері жоқ, ал Rivervo QUEUE_CONNECTION мәнін өздігінен өзгертпейді. Laravel кезектері үшін RabbitMQ пайдалану үшін:

  1. Пакетті орнатыңыз: composer require vladimir-yuldashev/laravel-queue-rabbitmq.
  2. config/queue.php файлына rabbitmq қосылымын пакеттің README файлында нұсқаңызға көрсетілгендей қосыңыз. Ол қолданбада бұрыннан бар RABBITMQ_HOST, RABBITMQ_PORT, RABBITMQ_USER, RABBITMQ_PASSWORD және RABBITMQ_VHOST айнымалыларын оқиды:
'rabbitmq' => [
    'driver' => 'rabbitmq',
    'hosts' => [
        [
            'host' => env('RABBITMQ_HOST', '127.0.0.1'),
            'port' => env('RABBITMQ_PORT', 5672),
            'user' => env('RABBITMQ_USER', 'guest'),
            'password' => env('RABBITMQ_PASSWORD', 'guest'),
            'vhost' => env('RABBITMQ_VHOST', '/'),
        ],
    ],
],
  1. Айнымалылар қойындысында QUEUE_CONNECTION=rabbitmq орнатып, жариялаңыз. Воркер сол php artisan queue:work болып қалады.

NATS. NATS үшін Laravel-дің ресми кезек драйвері жоқ. Өз кодыңызда PHP-ге арналған NATS клиентін пайдаланыңыз — мысалы, basis-company/nats — және оған NATS_URL ішіндегі хостты, портты, пайдаланушы мен құпиясөзді беріңіз. Соның үстіне құрмас бұрын клиенттің сізге қажетті мүмкіндіктерді (JetStream, кілт-мән) қолдайтынын тексеріңіз.

Node.js

BullMQ (Valkey)

import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
 
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
 
// in the web service
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
 
// in the background worker
new Worker('emails', async (job) => {
  await sendWelcome(job.data.userId)
}, { connection })

BullMQ воркерлері пайдаланатын қосылымда maxRetriesPerRequest: null болуы керек.

Valkey Streams

import IORedis from 'ioredis'
 
const redis = new IORedis(process.env.REDIS_URL)
 
// producer
await redis.xadd('orders', '*', 'id', '42')
 
// consumer of the group «billing»
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
  if (!String(err).includes('BUSYGROUP')) throw err // the group already exists
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
  const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
  for (const [, entries] of res ?? []) {
    for (const [id, fields] of entries) {
      await handleOrder(fields)
      await redis.xack('orders', 'billing', id)
    }
  }
}

Оқылған, бірақ расталмаған жазба топта күтуде қалады; XAUTOCLAIM оны басқа тұтынушыға береді.

NATS (nats.js)

import { connect, JSONCodec, AckPolicy } from 'nats'
 
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
 
// once: a stream for the subjects orders.* and a durable consumer
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
 
// producer
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
 
// consumer
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
  await handleOrder(jc.decode(m.data))
  m.ack()
}

Сұрау және жауап: бір сервис nc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) }) арқылы жауап береді, екіншісі await nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 }) арқылы сұрайды.

RabbitMQ (amqplib)

import amqp from 'amqplib'
 
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
 
// producer
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
 
// consumer: at most 10 unacknowledged messages at a time
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
  try {
    await sendWelcome(JSON.parse(msg.content.toString()).userId)
    ch.ack(msg)
  } catch {
    ch.nack(msg, false, false) // to the dead-letter exchange, if the queue has one
  }
})

Кезекті анықтайтын (declare) әр сервис оны бірдей аргументтермен анықтауы керек.

Python

Celery (Valkey немесе RabbitMQ)

import os
from celery import Celery
 
app = Celery("tasks", broker=os.environ["REDIS_URL"])  # or os.environ["AMQP_URL"]
 
@app.task(acks_late=True)
def send_welcome(user_id):
    ...

celery -A tasks worker --loglevel=info командасын фондық воркер ретінде іске қосыңыз. Celery amqp:// мекенжайларын сол күйінде қабылдайды. RabbitMQ-мен Celery-дің соңғы нұсқалары кворумдық кезектерді жариялай алады (task_default_queue_type = "quorum") — нұсқаңызға арналған Celery құжаттамасын қараңыз.

RQ (Valkey)

import os
from redis import Redis
from rq import Queue
 
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)

Воркер: rq worker emails --url "$REDIS_URL".

NATS (nats-py)

import asyncio, json, os
import nats
from nats.errors import TimeoutError
 
async def main():
    nc = await nats.connect(os.environ["NATS_URL"])
    js = nc.jetstream()
    await js.add_stream(name="ORDERS", subjects=["orders.>"])
 
    await js.publish("orders.created", json.dumps({"id": 42}).encode())
 
    sub = await js.pull_subscribe("orders.>", durable="billing")
    while True:
        try:
            msgs = await sub.fetch(10, timeout=5)
        except TimeoutError:
            continue
        for msg in msgs:
            await handle_order(json.loads(msg.data))
            await msg.ack()
 
asyncio.run(main())

RabbitMQ (pika)

import json, os
import pika
 
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
 
# producer
ch.basic_publish(exchange="", routing_key="emails",
                 body=json.dumps({"user_id": 42}),
                 properties=pika.BasicProperties(delivery_mode=2))
 
# consumer
def on_message(ch, method, properties, body):
    send_welcome(json.loads(body)["user_id"])
    ch.basic_ack(delivery_tag=method.delivery_tag)
 
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()

Бірнеше рет жеткізу

Воркер хабарламаны растамай тұрып тоқтаса — жариялау, қайта іске қосу немесе қалпына келтіру кезінде — кезектер мен брокерлер оны қайта жеткізеді. Тұтынушыларды бір хабарламаны екі рет өңдеу зиян келтірмейтіндей етіп жазыңыз: өңделген әр хабарламаның ID-ін сақтаңыз немесе әрекеттің өзін қайталауға болатындай етіңіз (мысалы, «төлем қосу» орнына «күйді төленді деп қою»).

Ресурстар және баға

СервисБастапқы ресурстарЕң аз жад
NATS256 MB жад · 1 CPU ядросы · 5 GB диск256 MB
RabbitMQ1 GB жад · 1 CPU ядросы · 10 GB диск512 MB

Әрқайсысының бағасы кез келген сервис сияқты жадына, CPU-іне және дискіне қарай есептеледі — Жоба сервистері бөлімін қараңыз. Ресурстарды кейін сервистің Баптаулар бөлімінде өзгертуге болады.

Сақтық көшірмелер және қалпына келтіру

NATS пен RabbitMQ сақтық көшірмесі күн сайын жасалады; басқа сервистер сияқты соңғы 7 күннің және 4 аптаның көшірмелерін сақтаймыз.

  • Сақтық көшірме сервис жұмыс істеп тұрған кезде оның деректер файлдарын көшіреді. RabbitMQ үшін сол көшірмеде оның анықтамаларының экспорты да бар: пайдаланушылар, виртуалды хосттар, кезектер, exchange-тер, байланыстар (bindings) және саясаттар.
  • Нақты бір сәтке қалпына келтіру жоқ — бұл тек PostgreSQL мен MySQL үшін. Сіз күнделікті көшірмелердің бірін қалпына келтіресіз.
  • Қалпына келтіру сервисті аз уақытқа тоқтатып, файлдарды орнына қояды да, оны қайта іске қосады. Сақтық көшірме жасалған уақыт шамасында келген немесе расталған хабарламалар жоқ болуы немесе қайта жеткізілуі мүмкін — тұтынушыларды қайталауға қауіпсіз етудің тағы бір себебі.
  • RabbitMQ үшін көшірілген файлдармен іске қосу мүмкін болмаса, сервис тек анықтамалармен іске қосылады: кезектер, exchange-тер мен пайдаланушылар орнында болады, бірақ сақтық көшірмедегі хабарламалар жоғалады.

Техникалық қызмет көрсету және көшіру

NATS пен RabbitMQ үшін техникалық қызмет көрсету уақытын орнату қажет емес. Олар басқа серверге автоматты түрде көшірілмейді; бұл қажет бола қалса, қолдау қызметі мұны сізбен келісіп ұйымдастырады.

Әлі де сұрақтарыңыз бар ма?

Бізге чатқа жазыңыз — AI бірден жауап береді, қажет болса тәуліктің кез келген уақытында инженер қосылады.

Қолдау қызметіне жазу