Hodisalar va navbatlar: Valkey, NATS va RabbitMQ.
Ilova xizmatlari oʻrtasidagi fon vazifalari, hodisalar va xabarlar: qachon Valkey, NATS yoki RabbitMQ tanlash kerak, ulanish oʻzgaruvchilari, Laravel, Node.js va Python uchun misollar, resurslar, zaxira nusxalar va cheklovlar.
Sayt biror ishni workerga topshirganda — xat yuborish, rasm oʻlchamini oʻzgartirish, buyurtma uchun pul yechish — yoki bitta xizmat boshqalarga nimadir sodir boʻlganini xabar qilganda, xabar navbat yoki xabar brokeri orqali oʻtadi. Loyihada ularning uchtasi boʻlishi mumkin, har biri xizmat sifatida qoʻshiladi: Umumiy maʼlumot → Xizmatlar → Xizmat qoʻshish.
| Xizmat | Qachon tanlash kerak |
|---|---|
| Valkey | oddiy vazifalar navbatlari (Laravel navbatlari va Horizon, BullMQ, Celery, RQ) hamda Streams dagi hodisalar — agar undan kesh va sessiyalar uchun allaqachon foydalanayotgan boʻlsangiz |
| NATS | xizmatlar oʻrtasida yengil xabar almashinuvi: hodisalar, soʻrov va javob, JetStream bilan saqlanadigan oqimlar |
| RabbitMQ | klassik xabar brokeri: exchange lar orqali marshrutlash, tasdiqlashlar, qayta urinishlar va dead-letter, quorum navbatlar |
Ishonchingiz komil boʻlmasa, fon vazifalari uchun Valkey dan boshlang: aksariyat freymvorklar uni tayyor holda qoʻllab-quvvatlaydi. Xabarlarni koʻplab navbatlar oʻrtasida marshrutlash kerak boʻlsa va birortasi ham yoʻqolmasligi shart boʻlsa, RabbitMQ ni tanlang; xizmatlar koʻplab kichik xabarlar almashsa yoki bir-biridan javob soʻrasa — NATS ni.
Valkey: vazifalar navbatlari va Streams
Valkey — Redis bilan mos ombor, Maʼlumotlar bazalari maqolasidagi oʻsha boshqariladigan xizmat. Ilovaning birinchi Valkey xizmati kodli har bir xizmatga REDIS_URL, REDIS_HOST, REDIS_PORT va REDIS_PASSWORD ni beradi; har bir Valkey oʻzining RIVERVO_<NAME>_URL oʻzgaruvchisini ham beradi.
U orqali xabar yuborishning uchta usuli bor:
- Vazifalar navbatlari —
redisdrayveri bilan Laravel navbatlari va Horizon, BullMQ, Celery, RQ. Kutubxona vazifalarni Valkey da saqlaydi; worker ularni birma-bir oladi va muvaffaqiyatsiz tugaganlarini qayta urinib koʻradi. - Isteʼmolchilar guruhlari bilan Streams —
XADDhodisani oqimga qoʻshadi, guruh isteʼmolchilari uniXREADGROUPbilan oʻqiydi vaXACKbilan tasdiqlaydi. Hodisalar saqlanadi: toʻxtatilgan isteʼmolchi qolgan joyidan davom etadi, tasdiqlanmagan hodisani qayta olish mumkin, yangi guruh esa oqimni boshidan oʻqiy oladi. - Pub/Sub —
PUBLISHvaSUBSCRIBExabarni faqat oʻsha paytda ulangan obunachilarga yetkazadi. Xabar saqlanmaydi: qayta ishga tushayotgan yoki hali ulanmagan obunachi uni oʻtkazib yuboradi. Pub/Sub dan faqat xabar yoʻqolishi zarar keltirmaydigan joyda (masalan, «yangilash» signali uchun) foydalaning, qolgan hamma narsa uchun esa Streams yoki navbatdan.
Valkey boshqa maʼlumotlar bazalari kabi har kuni zaxiralanadi; kirishni ochsangiz, unga tashqaridan ham ulanish mumkin. Batafsil: Maʼlumotlar bazalari.
NATS
NATS — yengil va tez xabar almashish tizimi, unda JetStream yoqilgan:
- Nashr qilish va obuna boʻlish — xizmat
orders.createdkabi mavzuga (subject) xabar nashr qiladi, mavzuning har bir obunachisi xabarni oladi. JetStream siz bu «yubordim va unutdim» usuli, yuqoridagi Pub/Sub kabi. - Soʻrov va javob — bir xizmat soʻraydi, boshqasi javob beradi. Bir nechta instansiya navbat guruhi (queue group) sifatida javob berganda, NATS soʻrovlarni ular oʻrtasida taqsimlaydi.
- JetStream — saqlanadigan oqimlar: xabarlar xizmat diskida saqlanadi, isteʼmolchi (consumer) nimani oʻqiganini eslab qoladi va har bir xabar tasdiqlanmaguncha kamida bir marta yetkaziladi.
- JetStream asosidagi kalit-qiymat va obyekt ombori — xizmatlar oʻrtasida kichik umumiy sozlamalar, qulflar yoki fayllar uchun.
Oʻzgaruvchilar. Ilovaning birinchi NATS xizmati kodli har bir xizmatga quyidagini beradi:
NATS_URL=nats://<user>:<password>@<service name>:4222
Har bir NATS xizmati xuddi shunday koʻrinishdagi manzil bilan RIVERVO_<NAME>_URL ni ham beradi — NAME bu xizmat nomining bosh harflardagi yozuvi, chiziqchalar _ ga almashtiriladi: events nomli xizmat RIVERVO_EVENTS_URL ni beradi.
JetStream oqimlarni xizmat diskida saqlaydi; xotirada saqlanadigan oqimlar xizmat xotirasining taxminan chorak qismidan foydalanishi mumkin.
RabbitMQ
RabbitMQ 4.1 — klassik xabar brokeri: ishlab chiqaruvchilar (producer) xabarlarni exchange larga nashr qiladi, exchange lar ularni routing kalitlari boʻyicha navbatlarga yoʻnaltiradi, isteʼmolchilar har bir xabarni tasdiqlaydi, rad etilgan yoki muddati oʻtgan xabar esa dead-letter exchange ga oʻtishi mumkin. Xabarlari qayta ishga tushirishdan keyin ham saqlanib qolishi kerak boʻlgan navbatlar uchun quorum navbatlar dan foydalaning (x-queue-type: quorum argumenti) va xabarlarni persistent sifatida nashr qiling.
Oʻzgaruvchilar. Ilovaning birinchi RabbitMQ xizmati kodli har bir xizmatga quyidagilarni beradi:
| Oʻzgaruvchi | Qiymat |
|---|---|
AMQP_URL | amqp://<user>:<password>@<service name>:5672/%2f |
RABBITMQ_HOST | xizmat nomi |
RABBITMQ_PORT | 5672 |
RABBITMQ_USER, RABBITMQ_PASSWORD | foydalanuvchi va parol |
RABBITMQ_VHOST | / |
AMQP_URL oxiridagi %2f — bu standart virtual host /, ulanish manzillari talab qiladigan koʻrinishda yozilgan. Har bir RabbitMQ xizmati xuddi shunday koʻrinishdagi manzil bilan oʻzining RIVERVO_<NAME>_URL oʻzgaruvchisini ham beradi.
Management API. Boshqaruv HTTP API ilovaning yopiq tarmogʻi ichida 15672 portida ishlaydi: ilova xizmatlari unga http://<service name>:15672 manzili orqali oʻsha foydalanuvchi va parol bilan murojaat qiladi, masalan:
curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"Internetda boshqaruv sahifasi yoʻq. Paneldagi xizmat sahifasida uning navbatlarining faqat oʻqish uchun qisqa roʻyxati koʻrsatiladi: tayyor xabarlar, tasdiqlanmaganlar va isteʼmolchilar.
Faqat ichki
NATS va RabbitMQ ning ochiq manzili yoʻq va ularga ilovadan tashqaridan — kompyuteringizdan, boshqa serverdan yoki boshqa ilovadan ulanib boʻlmaydi. PostgreSQL, MySQL va Valkey dan farqli oʻlaroq, ular uchun tashqaridan kirish taklif qilinmaydi. Xabarlarni nashr qiladigan va qabul qiladigan xizmatlar oʻsha ilovaning xizmatlari sifatida ishlaydi: veb-xizmatlar, fon workerlari va rejalashtirilgan vazifalar.
Bir xil turdagi ikkinchi xizmat
Odatiy nomlarni (REDIS_*, NATS_URL, AMQP_URL va RABBITMQ_*) ilovaning faqat birinchi Valkey, NATS va RabbitMQ xizmatlari oladi. Xuddi shu turdagi keyingisi faqat oʻzining RIVERVO_<NAME>_URL oʻzgaruvchisini qoʻshadi; kodingizda shu oʻzgaruvchini oʻqing yoki Oʻzgaruvchilar boʻlimida odatiy nomlarga uning qiymatlarini yozing. Oʻzgaruvchilar xizmatga keyingi deploy bilan yetib boradi — qarang: Muhit oʻzgaruvchilari.
Laravel
Valkey. Oʻzgaruvchilar boʻlimida oʻrnating:
QUEUE_CONNECTION=redisphp artisan queue:work ni — Horizon boʻlsa, php artisan horizon ni — fon workeri sifatida ishga tushiring. Batafsil: Laravel.
RabbitMQ. Laravelda oʻrnatilgan RabbitMQ drayveri yoʻq, Rivervo esa QUEUE_CONNECTION ni oʻzi oʻzgartirmaydi. Laravel navbatlari uchun RabbitMQ dan foydalanish uchun:
- Paketni oʻrnating:
composer require vladimir-yuldashev/laravel-queue-rabbitmq. config/queue.phpgarabbitmqulanishini paketning README faylida versiyangiz uchun koʻrsatilganidek qoʻshing. U ilovada allaqachon mavjud boʻlganRABBITMQ_HOST,RABBITMQ_PORT,RABBITMQ_USER,RABBITMQ_PASSWORDvaRABBITMQ_VHOSTni oʻqiydi:
'rabbitmq' => [
'driver' => 'rabbitmq',
'hosts' => [
[
'host' => env('RABBITMQ_HOST', '127.0.0.1'),
'port' => env('RABBITMQ_PORT', 5672),
'user' => env('RABBITMQ_USER', 'guest'),
'password' => env('RABBITMQ_PASSWORD', 'guest'),
'vhost' => env('RABBITMQ_VHOST', '/'),
],
],
],- Oʻzgaruvchilar boʻlimida
QUEUE_CONNECTION=rabbitmqni oʻrnating va deploy qiling. Worker avvalgidekphp artisan queue:workboʻlib qoladi.
NATS. Laravel uchun NATS ning rasmiy navbat drayveri yoʻq. Oʻz kodingizda PHP uchun NATS mijozidan foydalaning — masalan, basis-company/nats — va unga NATS_URL dagi host, port, foydalanuvchi va parolni bering. Unga tayanib ish qurishdan oldin mijoz sizga kerakli imkoniyatlarni (JetStream, kalit-qiymat) qoʻllab-quvvatlashini tekshiring.
Node.js
BullMQ (Valkey)
import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
// in the web service
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
// in the background worker
new Worker('emails', async (job) => {
await sendWelcome(job.data.userId)
}, { connection })BullMQ workerlari foydalanadigan ulanishda maxRetriesPerRequest: null boʻlishi kerak.
Valkey Streams
import IORedis from 'ioredis'
const redis = new IORedis(process.env.REDIS_URL)
// producer
await redis.xadd('orders', '*', 'id', '42')
// consumer of the group «billing»
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
if (!String(err).includes('BUSYGROUP')) throw err // the group already exists
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
for (const [, entries] of res ?? []) {
for (const [id, fields] of entries) {
await handleOrder(fields)
await redis.xack('orders', 'billing', id)
}
}
}Oʻqilgan, lekin tasdiqlanmagan yozuv guruhda kutish holatida qoladi; XAUTOCLAIM uni boshqa isteʼmolchiga beradi.
NATS (nats.js)
import { connect, JSONCodec, AckPolicy } from 'nats'
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
// once: a stream for the subjects orders.* and a durable consumer
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
// producer
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
// consumer
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
await handleOrder(jc.decode(m.data))
m.ack()
}Soʻrov va javob: bitta xizmat nc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) }) bilan javob beradi, boshqasi esa await nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 }) bilan soʻraydi.
RabbitMQ (amqplib)
import amqp from 'amqplib'
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
// producer
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
// consumer: at most 10 unacknowledged messages at a time
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
try {
await sendWelcome(JSON.parse(msg.content.toString()).userId)
ch.ack(msg)
} catch {
ch.nack(msg, false, false) // to the dead-letter exchange, if the queue has one
}
})Navbatni eʼlon qiladigan har bir xizmat uni bir xil argumentlar bilan eʼlon qilishi kerak.
Python
Celery (Valkey yoki RabbitMQ)
import os
from celery import Celery
app = Celery("tasks", broker=os.environ["REDIS_URL"]) # or os.environ["AMQP_URL"]
@app.task(acks_late=True)
def send_welcome(user_id):
...celery -A tasks worker --loglevel=info ni fon workeri sifatida ishga tushiring. Celery amqp:// manzillarini oʻzgartirishsiz qabul qiladi. RabbitMQ bilan Celery ning yangi versiyalari quorum navbatlarni eʼlon qila oladi (task_default_queue_type = "quorum") — versiyangiz uchun Celery hujjatlariga qarang.
RQ (Valkey)
import os
from redis import Redis
from rq import Queue
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)Worker: rq worker emails --url "$REDIS_URL".
NATS (nats-py)
import asyncio, json, os
import nats
from nats.errors import TimeoutError
async def main():
nc = await nats.connect(os.environ["NATS_URL"])
js = nc.jetstream()
await js.add_stream(name="ORDERS", subjects=["orders.>"])
await js.publish("orders.created", json.dumps({"id": 42}).encode())
sub = await js.pull_subscribe("orders.>", durable="billing")
while True:
try:
msgs = await sub.fetch(10, timeout=5)
except TimeoutError:
continue
for msg in msgs:
await handle_order(json.loads(msg.data))
await msg.ack()
asyncio.run(main())RabbitMQ (pika)
import json, os
import pika
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
# producer
ch.basic_publish(exchange="", routing_key="emails",
body=json.dumps({"user_id": 42}),
properties=pika.BasicProperties(delivery_mode=2))
# consumer
def on_message(ch, method, properties, body):
send_welcome(json.loads(body)["user_id"])
ch.basic_ack(delivery_tag=method.delivery_tag)
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()Bir martadan koʻp yetkazilishi
Agar worker xabarni tasdiqlashdan oldin toʻxtab qolsa — deploy, qayta ishga tushirish yoki tiklash vaqtida — navbatlar va brokerlar xabarni qayta yetkazadi. Isteʼmolchilarni shunday yozingki, bitta xabarni ikki marta qayta ishlash zarar keltirmasin: qayta ishlangan har bir xabarning ID sini saqlang yoki amalning oʻzini takrorlanadigan qiling (masalan, «toʻlov qoʻshish» oʻrniga «holatni toʻlangan deb belgilash»).
Resurslar va narx
| Xizmat | Boshlangʻich resurslar | Eng kam xotira |
|---|---|---|
| NATS | 256 MB xotira · 1 ta CPU yadrosi · 5 GB disk | 256 MB |
| RabbitMQ | 1 GB xotira · 1 ta CPU yadrosi · 10 GB disk | 512 MB |
Har birining narxi boshqa har qanday xizmat kabi xotira, CPU va diskiga qarab hisoblanadi — qarang: Loyiha xizmatlari. Resurslarni keyinroq xizmatning Sozlamalar boʻlimida oʻzgartirish mumkin.
Zaxiralash va tiklash
NATS va RabbitMQ har kuni zaxiralanadi; boshqa xizmatlar kabi oxirgi 7 kun va 4 hafta nusxalarini saqlaymiz.
- Zaxira nusxa xizmat ishlab turgan paytda uning maʼlumot fayllaridan olinadi. RabbitMQ uchun oʻsha zaxira nusxada uning tavsiflari (definitions) eksporti ham boʻladi: foydalanuvchilar, virtual hostlar, navbatlar, exchange lar, bogʻlanishlar (bindings) va siyosatlar.
- Aniq bir vaqtga tiklash yoʻq — bu faqat PostgreSQL va MySQL uchun. Kunlik nusxalardan birini tiklaysiz.
- Tiklash xizmatni qisqa muddatga toʻxtatadi, fayllarni joyiga qaytaradi va uni qayta ishga tushiradi. Zaxira nusxa olingan vaqt atrofida kelgan yoki tasdiqlangan xabarlar yoʻqolishi yoki qayta yetkazilishi mumkin — isteʼmolchilarni takrorlashga xavfsiz qilish uchun yana bir sabab.
- RabbitMQ da nusxalangan fayllarni ishga tushirib boʻlmasa, xizmat faqat tavsiflar bilan ishga tushadi: navbatlar, exchange lar va foydalanuvchilar joyida boʻladi, lekin zaxira nusxadagi xabarlar yoʻqoladi.
Texnik xizmat va koʻchirish
NATS va RabbitMQ uchun texnik xizmat vaqtini belgilash shart emas. Ular boshqa serverga avtomatik koʻchirilmaydi; agar bu qachondir kerak boʻlsa, qoʻllab-quvvatlash xizmati buni siz bilan kelishib oladi.