الأحداث والطوابير: Valkey وNATS وRabbitMQ.
المهام في الخلفية والأحداث والرسائل بين خدمات التطبيق: متى تختار Valkey أو NATS أو RabbitMQ، ومتغيرات الاتصال، وأمثلة لـ Laravel وNode.js وPython، والموارد والنسخ الاحتياطي والحدود.
عندما يُسند موقع عملًا إلى عامل — إرسال بريد، أو تغيير حجم صورة، أو تحصيل مبلغ طلب — أو تُبلغ خدمة الخدمات الأخرى بحدوث شيء ما، تمر الرسالة عبر طابور أو وسيط رسائل. يمكن أن يضم المشروع ثلاثة منها، يُضاف كل منها كخدمة: نظرة عامة ← الخدمات ← إضافة خدمة.
| الخدمة | اخترها من أجل |
|---|---|
| Valkey | طوابير المهام البسيطة (طوابير Laravel وHorizon وBullMQ وCelery وRQ)، والأحداث في Streams — عندما تستخدمها أصلًا للتخزين المؤقت والجلسات |
| NATS | مراسلة خفيفة بين الخدمات: الأحداث، والطلب والرد، والتدفقات الدائمة مع JetStream |
| RabbitMQ | وسيط رسائل كلاسيكي: التوجيه عبر exchanges، والإقرارات، وإعادة المحاولة، وdead-lettering، وquorum queues |
إذا لم تكن متأكدًا، فابدأ بـ Valkey للمهام في الخلفية: تدعمها معظم أُطر العمل مباشرةً. واختر RabbitMQ عندما يجب توجيه الرسائل بين طوابير كثيرة دون فقدان أي منها، وNATS عندما تتبادل الخدمات رسائل صغيرة كثيرة أو تطلب الإجابات من بعضها.
Valkey: طوابير المهام وStreams
Valkey مخزن متوافق مع Redis — وهو الخدمة المُدارة نفسها الموجودة في قواعد البيانات. تعطي أول Valkey في التطبيق كل خدمة كود المتغيرات REDIS_URL وREDIS_HOST وREDIS_PORT وREDIS_PASSWORD، وتعطي كل Valkey أيضًا RIVERVO_<NAME>_URL الخاص بها.
ثلاث طرق لإرسال الرسائل عبرها:
- طوابير المهام — طوابير Laravel مع المشغّل
redisوHorizon وBullMQ وCelery وRQ. تحفظ المكتبة المهام في Valkey، ويأخذها العامل واحدة تلو الأخرى ويعيد محاولة ما يفشل منها. - Streams مع مجموعات المستهلكين — يضيف
XADDحدثًا إلى التدفق، ويقرؤه مستهلكو المجموعة بـXREADGROUPويؤكدونه بـXACK. تُحفظ الأحداث: المستهلك الذي توقف يكمل من حيث توقف، والحدث غير المؤكد يمكن أخذه مجددًا، ويمكن لمجموعة جديدة قراءة التدفق من البداية. - Pub/Sub — يوصل
PUBLISHوSUBSCRIBEالرسالة فقط إلى المشتركين المتصلين في تلك اللحظة. لا تُحفظ الرسالة: المشترك الذي يُعاد تشغيله أو لم يتصل بعد يفوّتها. استخدم Pub/Sub فقط حيث لا يضر فقدان رسالة (مثل إشارة «تحديث»)، واستخدم Streams أو طابورًا لكل ما عدا ذلك.
تُنسخ Valkey احتياطيًا كل يوم مثل قواعد البيانات الأخرى، ويمكن الوصول إليها من الخارج أيضًا عند فتح الوصول. راجع قواعد البيانات.
NATS
NATS نظام مراسلة خفيف وسريع، مع تفعيل JetStream:
- النشر والاشتراك — تنشر خدمة إلى موضوع مثل
orders.created، ويحصل كل مشترك في الموضوع على الرسالة. بدون JetStream يكون ذلك إرسالًا دون ضمان، مثل Pub/Sub أعلاه. - الطلب والرد — خدمة تسأل وأخرى تجيب. عندما تجيب عدة نسخ كمجموعة طابور، يوزّع NATS الطلبات بينها.
- JetStream — تدفقات دائمة: تُحفظ الرسائل على قرص الخدمة، ويتذكر المستهلك ما قرأه، وتُسلَّم كل رسالة مرة واحدة على الأقل حتى يُقَرّ باستلامها.
- مخزن مفتاح-قيمة ومخزن كائنات مبنيان على JetStream — للإعدادات المشتركة الصغيرة أو الأقفال أو الملفات بين الخدمات.
المتغيرات. تعطي أول NATS في التطبيق كل خدمة كود:
NATS_URL=nats://<user>:<password>@<service name>:4222
تعطي كل خدمة NATS أيضًا RIVERVO_<NAME>_URL بعنوان بالصيغة نفسها — حيث NAME هو اسم الخدمة بأحرف كبيرة مع تحويل الشرطات إلى _: خدمة اسمها events تعطي RIVERVO_EVENTS_URL.
يحفظ JetStream تدفقاته على قرص الخدمة، ويمكن للتدفقات المحفوظة في الذاكرة استخدام نحو ربع ذاكرة الخدمة.
RabbitMQ
RabbitMQ 4.1 وسيط رسائل كلاسيكي: ينشر المنتجون إلى exchanges، وتوجّه exchanges الرسائل إلى الطوابير حسب مفاتيح التوجيه، ويُقِرّ المستهلكون باستلام كل رسالة، ويمكن للرسالة المرفوضة أو المنتهية الصلاحية الذهاب إلى exchange من نوع dead-letter. للطوابير التي يجب أن تصمد رسائلها بعد إعادة التشغيل، استخدم quorum queues (الوسيط x-queue-type: quorum) وانشر الرسائل كرسائل دائمة.
المتغيرات. تعطي أول RabbitMQ في التطبيق كل خدمة كود:
| المتغير | القيمة |
|---|---|
AMQP_URL | amqp://<user>:<password>@<service name>:5672/%2f |
RABBITMQ_HOST | اسم الخدمة |
RABBITMQ_PORT | 5672 |
RABBITMQ_USER، RABBITMQ_PASSWORD | المستخدم وكلمة المرور |
RABBITMQ_VHOST | / |
%2f في نهاية AMQP_URL هو المضيف الافتراضي /، مكتوبًا بالطريقة التي تتطلبها عناوين الاتصال. تعطي كل خدمة RabbitMQ أيضًا RIVERVO_<NAME>_URL الخاص بها بعنوان بالصيغة نفسها.
Management API. تستمع واجهة HTTP للإدارة على المنفذ 15672 داخل الشبكة الخاصة للتطبيق: تصل إليها خدمات التطبيق على http://<service name>:15672 بالمستخدم وكلمة المرور نفسيهما، مثلًا:
curl -u "$RABBITMQ_USER:$RABBITMQ_PASSWORD" "http://$RABBITMQ_HOST:15672/api/queues"لا توجد صفحة إدارة على الإنترنت. تعرض صفحة الخدمة في لوحة التحكم قائمة مختصرة للقراءة فقط بطوابيرها: الرسائل الجاهزة وغير المُقَرّ بها والمستهلكون.
داخلية فقط
ليس لـ NATS وRabbitMQ عنوان عام ولا يمكن الوصول إليهما من خارج التطبيق — من حاسوبك أو خادم آخر أو تطبيق آخر. وعلى خلاف PostgreSQL وMySQL وValkey، لا يتوفر لهما الوصول من الخارج. تعمل الخدمات التي تنشر الرسائل وتستهلكها كخدمات في التطبيق نفسه: خدمات الويب والعمّال في الخلفية والمهام المجدولة.
خدمة ثانية من النوع نفسه
تحصل أول Valkey وNATS وRabbitMQ في التطبيق فقط على الأسماء المعتادة (REDIS_* وNATS_URL وAMQP_URL وRABBITMQ_*). أما الخدمة التالية من النوع نفسه فلا تضيف إلا RIVERVO_<NAME>_URL الخاص بها؛ اقرأ هذا المتغير في الكود، أو عيّن الأسماء المعتادة بقيمها في علامة التبويب المتغيرات. تصل المتغيرات إلى الخدمة مع النشر التالي — راجع متغيرات البيئة.
Laravel
Valkey. عيّن في علامة التبويب المتغيرات:
QUEUE_CONNECTION=redisشغّل php artisan queue:work — أو php artisan horizon مع Horizon — كعامل في الخلفية. راجع Laravel.
RabbitMQ. لا يتضمن Laravel مشغّلًا مدمجًا لـ RabbitMQ، ولا تغيّر Rivervo قيمة QUEUE_CONNECTION من تلقاء نفسها. لاستخدام RabbitMQ لطوابير Laravel:
- ثبّت الحزمة:
composer require vladimir-yuldashev/laravel-queue-rabbitmq. - أضف الاتصال
rabbitmqإلىconfig/queue.phpكما يوضح ملف README للحزمة لإصدارك. يقرأRABBITMQ_HOSTوRABBITMQ_PORTوRABBITMQ_USERوRABBITMQ_PASSWORDوRABBITMQ_VHOST، وهي متوفرة لدى التطبيق مسبقًا:
'rabbitmq' => [
'driver' => 'rabbitmq',
'hosts' => [
[
'host' => env('RABBITMQ_HOST', '127.0.0.1'),
'port' => env('RABBITMQ_PORT', 5672),
'user' => env('RABBITMQ_USER', 'guest'),
'password' => env('RABBITMQ_PASSWORD', 'guest'),
'vhost' => env('RABBITMQ_VHOST', '/'),
],
],
],- عيّن
QUEUE_CONNECTION=rabbitmqفي علامة التبويب المتغيرات وانشر. يبقى العاملphp artisan queue:work.
NATS. لا يوجد مشغّل طوابير رسمي من Laravel لـ NATS. استخدم عميل NATS لـ PHP في الكود الخاص بك — مثل basis-company/nats — ومرّر إليه المضيف والمنفذ والمستخدم وكلمة المرور من NATS_URL. تحقق من أن العميل يدعم الميزات التي تحتاجها (JetStream، مفتاح-قيمة) قبل أن تبني عليه.
Node.js
BullMQ (Valkey)
import { Queue, Worker } from 'bullmq'
import IORedis from 'ioredis'
const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null })
// في خدمة الويب
const emails = new Queue('emails', { connection })
await emails.add('welcome', { userId: 42 }, { attempts: 3 })
// في العامل في الخلفية
new Worker('emails', async (job) => {
await sendWelcome(job.data.userId)
}, { connection })يحتاج BullMQ إلى maxRetriesPerRequest: null في الاتصال الذي يستخدمه عمّاله.
Valkey Streams
import IORedis from 'ioredis'
const redis = new IORedis(process.env.REDIS_URL)
// المنتج
await redis.xadd('orders', '*', 'id', '42')
// مستهلك من المجموعة «billing»
await redis.xgroup('CREATE', 'orders', 'billing', '0', 'MKSTREAM').catch((err) => {
if (!String(err).includes('BUSYGROUP')) throw err // المجموعة موجودة مسبقًا
})
const me = process.env.HOSTNAME ?? 'worker'
for (;;) {
const res = await redis.xreadgroup('GROUP', 'billing', me, 'COUNT', 10, 'BLOCK', 5000, 'STREAMS', 'orders', '>')
for (const [, entries] of res ?? []) {
for (const [id, fields] of entries) {
await handleOrder(fields)
await redis.xack('orders', 'billing', id)
}
}
}يبقى الإدخال الذي قُرئ ولم يُقَرّ به معلقًا في المجموعة، ويسلّمه XAUTOCLAIM إلى مستهلك آخر.
NATS (nats.js)
import { connect, JSONCodec, AckPolicy } from 'nats'
const nc = await connect({ servers: process.env.NATS_URL })
const jc = JSONCodec()
// مرة واحدة: تدفق للمواضيع orders.* ومستهلك دائم
const jsm = await nc.jetstreamManager()
await jsm.streams.add({ name: 'ORDERS', subjects: ['orders.>'] })
await jsm.consumers.add('ORDERS', { durable_name: 'billing', ack_policy: AckPolicy.Explicit })
// المنتج
const js = nc.jetstream()
await js.publish('orders.created', jc.encode({ id: 42 }))
// المستهلك
const consumer = await js.consumers.get('ORDERS', 'billing')
for await (const m of await consumer.consume()) {
await handleOrder(jc.decode(m.data))
m.ack()
}الطلب والرد: تجيب خدمة بـ nc.subscribe('prices.get', { queue: 'prices', callback: (err, msg) => msg.respond(jc.encode(price)) })، وتسأل أخرى بـ await nc.request('prices.get', jc.encode({ sku: 'A1' }), { timeout: 2000 }).
RabbitMQ (amqplib)
import amqp from 'amqplib'
const conn = await amqp.connect(process.env.AMQP_URL)
const ch = await conn.createChannel()
await ch.assertQueue('emails', { durable: true, arguments: { 'x-queue-type': 'quorum' } })
// المنتج
ch.sendToQueue('emails', Buffer.from(JSON.stringify({ userId: 42 })), { persistent: true })
// المستهلك: 10 رسائل غير مُقَرّ بها كحد أقصى في وقت واحد
await ch.prefetch(10)
await ch.consume('emails', async (msg) => {
try {
await sendWelcome(JSON.parse(msg.content.toString()).userId)
ch.ack(msg)
} catch {
ch.nack(msg, false, false) // إلى dead-letter exchange إن كان للطابور واحد
}
})يجب على كل خدمة تعرّف الطابور أن تعرّفه بالوسائط نفسها.
Python
Celery (Valkey أو RabbitMQ)
import os
from celery import Celery
app = Celery("tasks", broker=os.environ["REDIS_URL"]) # أو os.environ["AMQP_URL"]
@app.task(acks_late=True)
def send_welcome(user_id):
...شغّل celery -A tasks worker --loglevel=info كعامل في الخلفية. يقبل Celery عناوين amqp:// كما هي. ومع RabbitMQ، يمكن لإصدارات Celery الحديثة تعريف quorum queues (task_default_queue_type = "quorum") — راجع توثيق Celery لإصدارك.
RQ (Valkey)
import os
from redis import Redis
from rq import Queue
queue = Queue("emails", connection=Redis.from_url(os.environ["REDIS_URL"]))
queue.enqueue(send_welcome, 42)العامل: rq worker emails --url "$REDIS_URL".
NATS (nats-py)
import asyncio, json, os
import nats
from nats.errors import TimeoutError
async def main():
nc = await nats.connect(os.environ["NATS_URL"])
js = nc.jetstream()
await js.add_stream(name="ORDERS", subjects=["orders.>"])
await js.publish("orders.created", json.dumps({"id": 42}).encode())
sub = await js.pull_subscribe("orders.>", durable="billing")
while True:
try:
msgs = await sub.fetch(10, timeout=5)
except TimeoutError:
continue
for msg in msgs:
await handle_order(json.loads(msg.data))
await msg.ack()
asyncio.run(main())RabbitMQ (pika)
import json, os
import pika
conn = pika.BlockingConnection(pika.URLParameters(os.environ["AMQP_URL"]))
ch = conn.channel()
ch.queue_declare(queue="emails", durable=True, arguments={"x-queue-type": "quorum"})
# المنتج
ch.basic_publish(exchange="", routing_key="emails",
body=json.dumps({"user_id": 42}),
properties=pika.BasicProperties(delivery_mode=2))
# المستهلك
def on_message(ch, method, properties, body):
send_welcome(json.loads(body)["user_id"])
ch.basic_ack(delivery_tag=method.delivery_tag)
ch.basic_qos(prefetch_count=10)
ch.basic_consume(queue="emails", on_message_callback=on_message)
ch.start_consuming()التسليم أكثر من مرة
تعيد الطوابير والوسطاء تسليم الرسالة عندما يتوقف العامل قبل تأكيدها — أثناء نشر أو إعادة تشغيل أو استعادة. اكتب المستهلكين بحيث لا تضر معالجة الرسالة نفسها مرتين: احتفظ بمعرّف كل رسالة تمت معالجتها، أو اجعل الإجراء نفسه قابلًا للتكرار (مثل «تعيين الحالة إلى مدفوع» بدلًا من «إضافة دفعة»).
الموارد والسعر
| الخدمة | تبدأ بـ | أقل ذاكرة |
|---|---|---|
| NATS | ذاكرة 256 MB · نواة معالج واحدة · قرص 5 GB | 256 MB |
| RabbitMQ | ذاكرة 1 GB · نواة معالج واحدة · قرص 10 GB | 512 MB |
تُسعَّر كل منهما حسب الذاكرة والمعالج والقرص مثل أي خدمة — راجع خدمات المشروع. ويمكن تغيير الموارد لاحقًا من الإعدادات في الخدمة.
النسخ الاحتياطي والاستعادة
تُنسخ NATS وRabbitMQ احتياطيًا كل يوم، ونحتفظ بآخر 7 أيام و4 أسابيع مثل الخدمات الأخرى.
- تنسخ النسخة الاحتياطية ملفات بيانات الخدمة أثناء عملها. وفي RabbitMQ تتضمن النسخة نفسها أيضًا تصديرًا لتعريفاتها: المستخدمين والمضيفين الافتراضيين والطوابير وexchanges والارتباطات والسياسات.
- لا تتوفر الاستعادة إلى لحظة محددة — فهي متاحة فقط لـ PostgreSQL وMySQL. تستعيد إحدى النسخ اليومية.
- توقف الاستعادة الخدمة لفترة قصيرة، وتعيد الملفات، ثم تشغّلها مجددًا. قد تُفقد الرسائل التي وصلت أو أُقِرّ بها قرب وقت النسخ الاحتياطي أو تُسلَّم مجددًا — وهذا سبب آخر لجعل المستهلكين آمنين عند التكرار.
- في RabbitMQ، إذا تعذّر تشغيل الملفات المنسوخة، تبدأ الخدمة بالتعريفات فقط: الطوابير وexchanges والمستخدمون موجودون، لكن رسائل النسخة الاحتياطية تُفقد.
الصيانة والنقل
ليس لـ NATS وRabbitMQ وقت صيانة يُضبط. ولا تُنقلان إلى خادم آخر تلقائيًا، وإذا احتاج الأمر إلى ذلك يومًا، يرتبه فريق الدعم معك.