Događaji i redovi: Valkey, NATS i RabbitMQ.
Pozadinski zadaci, događaji i poruke između servisa aplikacije: kada odabrati Valkey, NATS ili RabbitMQ, varijable za spajanje, primjeri za Laravel, Node.js i Python, resursi, sigurnosne kopije i ograničenja.
Kad stranica predaje posao workeru — slanje e-poruke, promjenu veličine slike, naplatu narudžbe — ili jedan servis javlja ostalima da se nešto dogodilo, poruka prolazi kroz red ili posrednik poruka (message broker). Projekt može imati tri takva servisa, a svaki se dodaje kao servis: Pregled → Servisi → Dodaj servis.
| Servis | Odaberite ga za |
|---|---|
| Valkey | jednostavne redove zadataka (Laravel queues i Horizon, BullMQ, Celery, RQ) i događaje u Streamsima — kad ga već koristite za predmemoriju i sesije |
| NATS | lagano slanje poruka između servisa: događaji, zahtjev i odgovor te trajni streamovi uz JetStream |
| RabbitMQ | klasični posrednik poruka: usmjeravanje putem exchangeova, potvrde, ponovni pokušaji i dead-lettering, quorum redovi |
Ako niste sigurni, za pozadinske zadatke počnite s Valkeyjem: većina frameworka podržava ga odmah. RabbitMQ odaberite kad se poruke moraju usmjeravati između mnogo redova i nijedna se ne smije izgubiti, a NATS kad servisi razmjenjuju mnogo malih poruka ili jedni od drugih traže odgovore.
Valkey: redovi zadataka i Streams
Valkey je pohrana kompatibilna s Redisom — isti upravljani servis kao u odjeljku Baze podataka. Prvi Valkey aplikacije svakom servisu s kodom daje REDIS_URL, REDIS_HOST, REDIS_PORT i REDIS_PASSWORD; svaki Valkey daje i vlastitu RIVERVO_<NAME>_URL.
Tri načina slanja poruka kroz njega:
- Redovi zadataka — Laravel queues s driverom
redisi Horizon, BullMQ, Celery, RQ. Biblioteka drži zadatke u Valkeyju; worker ih preuzima jedan po jedan i ponovno pokušava one koji ne uspiju. - Streams s grupama potrošača —
XADDdodaje događaj u stream, potrošači grupe čitaju ga pomoćuXREADGROUPi potvrđuju pomoćuXACK. Događaji se pohranjuju: potrošač koji je bio zaustavljen nastavlja gdje je stao, nepotvrđeni događaj može se ponovno preuzeti, a nova grupa može čitati stream od početka. - Pub/Sub —
PUBLISHiSUBSCRIBEisporučuju poruku samo pretplatnicima spojenima u tom trenutku. Poruka se ne pohranjuje: pretplatnik koji se ponovno pokreće ili još nije spojen propušta je. Pub/Sub koristite samo gdje izgubljena poruka ne čini štetu (na primjer signal «osvježi»), a za sve ostalo Streams ili red.
Valkey se sigurnosno kopira svaki dan kao i ostale baze podataka; može mu se pristupiti i izvana kad otvorite pristup. Pogledajte Baze podataka.
NATS
NATS je lagan i brz sustav za slanje poruka, s uključenim JetStreamom:
- Objava i pretplata — servis objavljuje na subject poput
orders.created, a svaki pretplatnik tog subjecta dobiva poruku. Bez JetStreama to je «pošalji i zaboravi», kao Pub/Sub iznad. - Zahtjev i odgovor — jedan servis pita, drugi odgovara. Kad više instanci odgovara kao queue grupa, NATS raspoređuje zahtjeve među njima.
- JetStream — trajni streamovi: poruke se pohranjuju na disk servisa, potrošač pamti što je pročitao, a svaka se poruka isporučuje najmanje jednom dok ne bude potvrđena.
- Key-value i object store izgrađeni na JetStreamu — za male zajedničke postavke, zaključavanja ili datoteke između servisa.
Varijable. Prvi NATS aplikacije svakom servisu s kodom daje:
NATS_URL=nats://<user>:<password>@<service name>:4222
Svaki NATS servis daje i RIVERVO_<NAME>_URL s adresom istog oblika — NAME je naziv servisa velikim slovima, s crticama zamijenjenima znakom _: servis nazvan events daje RIVERVO_EVENTS_URL.
JetStream drži svoje streamove na disku servisa; streamovi u memoriji mogu koristiti otprilike četvrtinu memorije servisa.
RabbitMQ
RabbitMQ 4.1 je klasični posrednik poruka: produceri objavljuju na exchangeove, exchangeovi usmjeravaju poruke u redove prema routing ključevima, potrošači potvrđuju svaku poruku, a poruka koja je odbijena ili istekne može otići na dead-letter exchange. Za redove čije poruke moraju preživjeti ponovno pokretanje koristite quorum redove (argument x-queue-type: quorum) i objavljujte poruke kao trajne.
Varijable. Prvi RabbitMQ aplikacije svakom servisu s kodom daje:
| Varijabla | Vrijednost |
|---|---|
AMQP_URL | amqp://<user>:<password>@<service name>:5672/%2f |
RABBITMQ_HOST | naziv servisa |
RABBITMQ_PORT | 5672 |
RABBITMQ_USER, RABBITMQ_PASSWORD | korisnik i lozinka |
RABBITMQ_VHOST | / |
%2f na kraju AMQP_URL zadani je virtualni host /, zapisan onako kako to zahtijevaju adrese za spajanje. Svaki RabbitMQ servis daje i vlastitu RIVERVO_<NAME>_URL s adresom istog oblika.
Management API. HTTP management API sluša na portu 15672 unutar privatne mreže aplikacije: servisi aplikacije do njega dolaze na http://<service name>:15672 s istim korisnikom i lozinkom, na primjer:
curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"Management stranice na internetu nema. Stranica servisa u panelu prikazuje kratak popis njegovih redova samo za čitanje: spremne poruke, nepotvrđene poruke i potrošače.
Samo interno
NATS i RabbitMQ nemaju javnu adresu i ne može im se pristupiti izvan aplikacije — s vašeg računala, drugog servera ili druge aplikacije. Za razliku od PostgreSQL-a, MySQL-a i Valkeyja, pristup izvana za njih se ne nudi. Servisi koji objavljuju i primaju poruke rade kao servisi iste aplikacije: web servisi, pozadinski workeri i zakazani zadaci.
Drugi servis iste vrste
Uobičajene nazive (REDIS_*, NATS_URL, AMQP_URL i RABBITMQ_*) dobivaju samo prvi Valkey, NATS i RabbitMQ aplikacije. Sljedeći iste vrste dodaje samo vlastitu RIVERVO_<NAME>_URL; čitajte tu varijablu u svom kodu ili na kartici Varijable postavite uobičajene nazive na njezine vrijednosti. Varijable stižu do servisa pri sljedećem deployu — pogledajte Varijable okruženja.
Laravel
Valkey. Na kartici Varijable postavite:
QUEUE_CONNECTION=redisPokrenite php artisan queue:work — ili php artisan horizon uz Horizon — kao pozadinski worker. Pogledajte Laravel.
RabbitMQ. Laravel nema ugrađen RabbitMQ driver, a Rivervo ne mijenja QUEUE_CONNECTION sam. Da biste koristili RabbitMQ za Laravel queues:
- Instalirajte paket:
composer require vladimir-yuldashev/laravel-queue-rabbitmq. - Dodajte vezu
rabbitmquconfig/queue.phpkako to za vašu verziju prikazuje README paketa. Ona čitaRABBITMQ_HOST,RABBITMQ_PORT,RABBITMQ_USER,RABBITMQ_PASSWORDiRABBITMQ_VHOST, koje aplikacija već ima:
'rabbitmq' => [
'driver' => 'rabbitmq',
'hosts' => [
[
'host' => env('RABBITMQ_HOST', '127.0.0.1'),
'port' => env('RABBITMQ_PORT', 5672),
'user' => env('RABBITMQ_USER', 'guest'),
'password' => env('RABBITMQ_PASSWORD', 'guest'),
'vhost' => env('RABBITMQ_VHOST', '/'),
],
],
],- Postavite
QUEUE_CONNECTION=rabbitmqna kartici Varijable i pokrenite deploy. Worker ostajephp artisan queue:work.
NATS. Za NATS ne postoji službeni Laravel queue driver. U vlastitom kodu koristite NATS klijent za PHP — na primjer basis-company/nats — i predajte mu host, port, korisnika i lozinku iz NATS_URL. Prije nego što na njemu nešto izgradite, provjerite podržava li klijent značajke koje trebate (JetStream, key-value).
Node.js
BullMQ (Valkey)
import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
// u web servisu
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
// u pozadinskom workeru
new Worker('emails', async (job) => {
await sendWelcome(job.data.userId)
}, { connection })BullMQ treba maxRetriesPerRequest: null na vezi koju koriste njegovi workeri.
Valkey Streams
import IORedis from 'ioredis'
const redis = new IORedis(process.env.REDIS_URL)
// producer
await redis.xadd('orders', '*', 'id', '42')
// potrošač grupe «billing»
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
if (!String(err).includes('BUSYGROUP')) throw err // grupa već postoji
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
for (const [, entries] of res ?? []) {
for (const [id, fields] of entries) {
await handleOrder(fields)
await redis.xack('orders', 'billing', id)
}
}
}Unos koji je pročitan, ali nije potvrđen, ostaje na čekanju u grupi; XAUTOCLAIM predaje ga drugom potrošaču.
NATS (nats.js)
import { connect, JSONCodec, AckPolicy } from 'nats'
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
// jednom: stream za subjecte orders.* i trajni potrošač
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
// producer
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
// potrošač
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
await handleOrder(jc.decode(m.data))
m.ack()
}Zahtjev i odgovor: jedan servis odgovara pomoću nc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) }), a drugi pita pomoću await nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 }).
RabbitMQ (amqplib)
import amqp from 'amqplib'
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
// producer
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
// potrošač: najviše 10 nepotvrđenih poruka istodobno
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
try {
await sendWelcome(JSON.parse(msg.content.toString()).userId)
ch.ack(msg)
} catch {
ch.nack(msg, false, false) // na dead-letter exchange, ako ga red ima
}
})Svaki servis koji deklarira red mora ga deklarirati s istim argumentima.
Python
Celery (Valkey ili RabbitMQ)
import os
from celery import Celery
app = Celery("tasks", broker=os.environ["REDIS_URL"]) # ili os.environ["AMQP_URL"]
@app.task(acks_late=True)
def send_welcome(user_id):
...Pokrenite celery -A tasks worker --loglevel=info kao pozadinski worker. Celery prihvaća adrese amqp:// kakve jesu. Uz RabbitMQ novije verzije Celeryja mogu deklarirati quorum redove (task_default_queue_type = "quorum") — pogledajte dokumentaciju Celeryja za svoju verziju.
RQ (Valkey)
import os
from redis import Redis
from rq import Queue
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)Worker: rq worker emails --url "$REDIS_URL".
NATS (nats-py)
import asyncio, json, os
import nats
from nats.errors import TimeoutError
async def main():
nc = await nats.connect(os.environ["NATS_URL"])
js = nc.jetstream()
await js.add_stream(name="ORDERS", subjects=["orders.>"])
await js.publish("orders.created", json.dumps({"id": 42}).encode())
sub = await js.pull_subscribe("orders.>", durable="billing")
while True:
try:
msgs = await sub.fetch(10, timeout=5)
except TimeoutError:
continue
for msg in msgs:
await handle_order(json.loads(msg.data))
await msg.ack()
asyncio.run(main())RabbitMQ (pika)
import json, os
import pika
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
# producer
ch.basic_publish(exchange="", routing_key="emails",
body=json.dumps({"user_id": 42}),
properties=pika.BasicProperties(delivery_mode=2))
# potrošač
def on_message(ch, method, properties, body):
send_welcome(json.loads(body)["user_id"])
ch.basic_ack(delivery_tag=method.delivery_tag)
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()Isporučeno više puta
Redovi i posrednici ponovno isporučuju poruku kad se worker zaustavi prije nego što je potvrdi — tijekom deploya, ponovnog pokretanja ili vraćanja. Pišite potrošače tako da dvostruka obrada iste poruke ne čini štetu: čuvajte ID svake obrađene poruke ili učinite samu radnju ponovljivom (na primjer «postavi status na plaćeno» umjesto «dodaj uplatu»).
Resursi i cijena
| Servis | Početna konfiguracija | Najmanje memorije |
|---|---|---|
| NATS | 256 MB memorije · 1 CPU jezgra · 5 GB diska | 256 MB |
| RabbitMQ | 1 GB memorije · 1 CPU jezgra · 10 GB diska | 512 MB |
Svaki se naplaćuje prema memoriji, CPU-u i disku kao i svaki servis — pogledajte Servisi projekta. Resursi se kasnije mogu promijeniti u Postavkama servisa.
Sigurnosne kopije i vraćanje
NATS i RabbitMQ sigurnosno se kopiraju svaki dan; čuvamo zadnjih 7 dana i 4 tjedna, kao i za ostale servise.
- Sigurnosna kopija kopira podatkovne datoteke servisa dok on radi. Za RabbitMQ ista kopija sadrži i izvoz njegovih definicija: korisnika, virtualnih hostova, redova, exchangeova, bindinga i pravila.
- Vraćanja na točan trenutak nema — ono postoji samo za PostgreSQL i MySQL. Vraćate jednu od dnevnih kopija.
- Vraćanje nakratko zaustavlja servis, vraća datoteke i ponovno ga pokreće. Poruke koje su stigle ili su potvrđene oko vremena izrade kopije mogu nedostajati ili biti ponovno isporučene — još jedan razlog da potrošači budu sigurni za ponavljanje.
- Ako se za RabbitMQ kopirane datoteke ne mogu pokrenuti, servis se pokreće samo s definicijama: redovi, exchangeovi i korisnici postoje, ali su poruke iz kopije izgubljene.
Održavanje i premještanja
NATS i RabbitMQ nemaju termin održavanja koji treba postaviti. Ne premještaju se automatski na drugi server; ako to ikad bude potrebno, podrška će to dogovoriti s vama.