التعلم المعزز متعدد الوكلاء، بناءً تدريجيًا من روبوت واحد

تخيّل روبوتًا في مستودع. عشر مرات في الثانية يقرأ حساساته، ويختار أمرًا للمحركات، فيستجيب العالم: يتحرك، وربما يصطدم برفّ، وربما يصل إلى نقطة الالتقاط. لا أحد يخبره بالأمر الصحيح. كل ما يحصل عليه رقم، هو المكافأة (reward)، يخبره بمدى جودة تلك اللحظة. والتعلم المعزز (Reinforcement Learning, RL) هو هندسة تحويل هذه الأرقام إلى سلوك جيد.

# الحلقة التي تنفّذها كل مكتبة للتعلم المعزز (واجهة Gymnasium البرمجية)
obs, info = env.reset()
for t in range(T):
    action = policy(obs)                       # الوكيل يقرّر
    obs, reward, terminated, truncated, info = env.step(action)  # العالم يستجيب
    if terminated or truncated:
        break

السيارة التي لا تعظّم إلا مكافأة هذه الثانية ستضغط دواسة الوقود حتى آخرها نحو طابور من السيارات. نريدها أن تهتم بالرحلة كلها، لكن أن تهتم أقل قليلًا بالمستقبل البعيد، فهو غير مؤكد على أي حال. نحقق ذلك بواسطة معامل الخصم (discount factor) \(\gamma\in[0,1)\).

العائد (return) ابتداءً من الزمن \(t\) هو المجموع المخصوم للمكافآت (rewards) المستقبلية:

وهو يحقق علاقة تكرارية يُبنى عليها بقية التعلم المعزز (RL):

إذا كانت المكافآت محدودة، \(|r|\le R_{\max}\)، فإن المتسلسلة الهندسية تعطي \(|G_t|\le R_{\max}/(1-\gamma)\)، أي أن المجموع منتهٍ. والأفق الفعلي (effective horizon) يساوي تقريبًا \(1/(1-\gamma)\) خطوة. قاعدة تقريبية للروبوتات: الأفق بالثواني ≈ \(\frac{1}{1-\gamma}\cdot \Delta t\). اختر \(\gamma\) بناءً على تردد التحكم وعلى المدى الذي تتطلب المهمة أن تنظر إليه مسبقًا. لا تختره عشوائيًا.

لكي نفكر في الروبوت رياضيًا، نصف عالمه بخمسة مكوّنات: ما المواقف الموجودة، وما الأفعال المتاحة، وكيف تغيّر الأفعال المواقف (مع وجود ضوضاء)، وما قيمة كل نتيجة، وبأي قدر نخصم المستقبل. هذه الحزمة هي عملية قرار ماركوف (MDP).

خاصية ماركوف (Markov property): يعتمد المستقبل على الحالة الحاضرة فقط، لا على الطريقة التي وصلت بها إليها: \(\Pr(s_{t+1}\mid s_t,a_t) = \Pr(s_{t+1}\mid s_0,a_0,\dots,s_t,a_t)\). بالنسبة للسيارة، الموقع والسرعة معًا يحققان خاصية ماركوف؛ أما الموقع وحده فلا.

تقيس دالتا قيمة (value functions) مدى جودة الأمور تحت سياسة (policy) \(\pi\):

تجيب \(V\) عن سؤال "ما مدى جودة أن أكون هنا؟"، وتجيب \(Q\) عن سؤال "ما مدى جودة أن أفعل هذا هنا؟". وبمجرد معرفة \(Q\) يصبح التصرف سهلًا: اختر \(\arg\max_a Q(s,a)\).

عوّض \(G_t = r_{t+1}+\gamma G_{t+1}\) في التعريف وخذ القيم المتوقعة. ستحصل على شرط اتساق لخطوة واحدة:

أما القيمة المثلى فتستبدل "المتوسط على السياسة" بـ"اختيار أفضل فعل":

عرّف مؤثر أمثلية بلمان (Bellman optimality operator) \(\mathcal{T}\) على أنه الطرف الأيمن. إنه \(\gamma\)-انكماش (contraction) بالنسبة لمعيار القيمة العظمى (max-norm): \(\|\mathcal{T}V - \mathcal{T}U\|_\infty \le \gamma \|V-U\|_\infty\). وبحسب مبرهنة باناخ للنقطة الثابتة (Banach fixed-point theorem) له نقطة ثابتة واحدة بالضبط هي \(V^*\)، وتطبيقه بشكل متكرر (تكرار القيمة (value iteration)) يتقارب من أي نقطة بداية. كل مسح يقلّص الخطأ بمعامل \(\gamma\) على الأقل.

مونت كارلو (Monte Carlo, MC): قُد المسار كاملًا، وسجّل إجمالي المكافأة، واحسب متوسطه على رحلات كثيرة. الفرق الزمني (Temporal Difference, TD): بعد كل خطوة منفردة، حدّث تقديرك باستخدام المكافأة التي حصلت عليها للتو مضافًا إليها تقديرك الحالي للمكان الذي وصلت إليه. يتعلم TD أثناء القيادة ولا يحتاج إلى انتهاء الرحلة.

كلتاهما تعني "حرّك التقدير بنسبة \(\alpha\) نحو هدف ما". والفرق بينهما هو الهدف.

وبينهما تقع العوائد متعددة الخطوات (n-step returns) وTD(λ)، اللتان تمزجان أهدافًا بكل الأطوال. وGAE في PPO (الفصل 6) هو هذه الفكرة بعينها مطبّقة على دوال الميزة (advantages). التقارب: يتقارب TD(0) الجدولي إلى \(V^\pi\) في ظل أحجام خطوات روبنز–مونرو (Robbins–Monro) (\(\sum\alpha_t=\infty,\ \sum\alpha_t^2<\infty\)).

تقييم سياسة (policy) ثابتة لا يكفي. نريد للروبوت أن يتحسّن. احتفظ بجدول \(Q(s,a)\)، وتصرّف في الغالب بجشع (greedily)، وجرّب أحيانًا فعلًا عشوائيًا (ε-greedy). إذا لم يجرّب الروبوت المسار غير المألوف أبدًا، فلن يكتشف أبدًا أن ذلك المسار أفضل.

Q-learning خارج السياسة (off-policy): يتعلم قيمة السياسة الجشعة بينما يتصرف بأسلوب ε-greedy، وذلك بفضل \(\max\). أما SARSA فهو ضمن السياسة (on-policy): يتعلم قيمة ما يفعله فعلًا، بما في ذلك الاستكشاف، ولذلك يتعلم مسارات أكثر أمانًا بالقرب من المنحدرات والحُفَر. هذا التمييز يتكرر كثيرًا في النقاشات المتعلقة بسلامة الروبوتات.

يتقارب Q-learning الجدولي إلى \(Q^*\) باحتمال 1 (Watkins & Dayan, 1992) إذا زِير كل زوج حالة–فعل عددًا لانهائيًا من المرات وحققت أحجام الخطوات شروط روبنز–مونرو. إنه تقريب عشوائي (stochastic approximation) للنقطة الثابتة لمعادلة أمثلية بلمان من الفصل 3. تذكّر هذا جيدًا: يفترض البرهان بيئة ثابتة (stationary). وفي MARL يكون الوكلاء المتعلمون الآخرون جزءًا من البيئة، فينهار هذا الافتراض. وهذه هي المشكلة الجذرية في الفصل 7.

حالة السيارة متصلة وعالية الأبعاد، فلا يمكن لأي جدول أن يستوعبها. لذا نستبدل الجدول بشبكة عصبية، \(Q_\theta(s,a)\) أو \(\pi_\theta(a\mid s)\). والتوجيه ودوّاسة الوقود متغيّران متصلان، مما يجعل «أخذ القيمة العظمى على الأفعال» أمرًا مُربكًا، ولذلك كثيرًا ما نتعلّم السياسة مباشرةً.

ثمة عاملا تثبيت. مخزن إعادة التشغيل (replay buffer) \(\mathcal{D}\) يكسر الارتباط بين العيّنات المتتالية. والشبكة الهدف (target network) \(\bar\theta\)، وهي نسخة تُحدَّث ببطء، تمنع الهدف من ملاحقة نفسه. ويعالج Double DQN مشكلة المبالغة في التقدير الناتجة عن أخذ القيمة العظمى. أمّا عدم الاستقرار فمصدره الثالوث القاتل (deadly triad): تقريب الدوال + التمهيد الذاتي (bootstrapping) + البيانات خارج السياسة (off-policy).

نعظّم \(J(\theta)=\mathbb{E}_{\pi_\theta}[G_0]\) مباشرةً. وتنصّ مبرهنة تدرّج السياسة (Sutton et al., 2000) على ما يلي:

بعبارة أخرى: اجعل الأفعال التي تبيّن أنها أفضل من المتوسط (\(A>0\)) أكثر احتمالًا. تستخدم خوارزمية REINFORCE القيمة \(G_t\) بدلًا من \(A\)، وهي فكرة مونت كارلو (MC) وتعاني تباينًا مرتفعًا. أمّا الفاعل–الناقد (Actor–critic) فيتعلّم ناقدًا \(V_\phi\) ويستخدم خطأ الفرق الزمني \(\delta_t\) تقديرًا للأفضلية (advantage)، وهي فكرة الفرق الزمني (TD). ويمزج GAE بين الفكرتين: \(\hat A_t=\sum_l (\gamma\lambda)^l \delta_{t+l}\).

الخطوات الكبيرة في السياسة قد تُفسد الأداء. تحدّ PPO (Schulman et al., 2017) من مدى ابتعاد السياسة الجديدة عن السياسة التي جمعت البيانات، مستخدمةً نسبة الاحتمال \(\rho_t(\theta) = \pi_\theta(a_t\mid s_t)/\pi_{\text{old}}(a_t\mid s_t)\):

إنها تقريب رخيص من الرتبة الأولى لمنطقة الثقة (trust region) في TRPO (قيد KL). وتكتسب PPO أهميتها هنا لأن MAPPO، أقوى خط أساس بسيط في التعلّم المعزَّز متعدد الوكلاء (MARL)، ليست سوى PPO مع ناقد مركزي.

الخوارزميات الأساسية للتحكم المتصل: DDPG ← TD3 (ناقدان توأمان، وفاعل مؤخَّر التحديث) ← SAC (أقصى إنتروبيا، خارج السياسة، وعالية الكفاءة في استخدام العيّنات). تهيمن PPO المعتمدة على السياسة (on-policy) على المحاكاة المتوازية على نطاق واسع (روبوتات بأرجل على نمط Isaac Gym). وتشيع SAC/TD3 خارج السياسة حين تكون العيّنات مكلفة.

ضع سيارتين ذاتيتي القيادة عند تقاطع بلا إشارات. ما هو أمثل للسيارة 1 يتوقف الآن على ما تفعله السيارة 2، والسيارة 2 تتعلّم هي الأخرى. فمن وجهة نظر السيارة 1، تظل البيئة تغيّر قواعدها. وأسطول روبوتات المستودعات، وقافلة الشاحنات، وسرب الطائرات المسيّرة، كلها تحمل هذه البنية.

لعبة ماركوف (العشوائية) (Markov/stochastic game) (Shapley 1953; Littman 1994) مع \(N\) وكيلًا:

تعتمد قيمة كل وكيل على السياسة المشتركة (joint policy) \(\boldsymbol\pi=(\pi_1,\dots,\pi_N)\): \(V_i^{\boldsymbol\pi}(s)=\mathbb{E}_{\boldsymbol\pi}[\sum_k\gamma^k r_{i,t+k+1}\mid s_t=s]\). والروبوتات والسيارات لا ترى إلا محليًا، وفي المهام التعاونية تتشارك مكافأة فريق واحدة، ولذلك فالنموذج المعياري هو Dec-POMDP (عملية ماركوف القرارية اللامركزية جزئية الرصد):

هنا \(\tau_i\) هو تاريخ الأفعال–الأرصاد الخاص بالوكيل \(i\). وإيجاد سياسة مثلى لـ Dec-POMDP ذات أفق منتهٍ مسألة NEXP-complete (Bernstein et al., 2002)، وهي أصعب بكثير من MDP لوكيل واحد (P-complete). ولهذا يلجأ MARL العملي إلى التقريبات والتعلّم.

في الألعاب ذات المجموع العام (general-sum) لا توجد سياسة «مثلى» واحدة. والمفهوم المحوري هو توازن ناش (Nash equilibrium): لا يستطيع أي وكيل أن يحقق نتيجة أفضل بتغيير سياسته وحدها.

مفاهيم ذات صلة: الاستجابة الفضلى (best response) \(\pi_i\in \arg\max V_i^{(\pi_i,\boldsymbol\pi_{-i})}\)؛ وأمثلية باريتو (Pareto optimality) (لا يمكن لأحد أن يكسب دون أن يخسر غيره)؛ والتوازن المترابط (correlated equilibrium) (إشارة مشتركة، كإشارة المرور، تنسّق بين الوكلاء). يوجد توازن ناش في الاستراتيجيات المختلطة للألعاب المنتهية (Nash 1950)، لكنه قد يكون غير كفء بمعيار باريتو. ويُظهر الإعداد المسبق لمعضلة السجين أدناه ذلك. وللألعاب صفرية المجموع (zero-sum) هناك minimax-Q (Littman 1994)؛ وللألعاب ذات المجموع العام هناك Nash-Q (Hu & Wellman 2003)، التي تحتاج إلى افتراضات قوية كي تتقارب.

في المحاكاة يمكنك أن ترى كل شيء: موضع كل سيارة، وكل فعل. أمّا على الطريق الحقيقي فلا تملك كل سيارة سوى حسّاساتها الخاصة، وربما وصلة اتصال بين المركبات (V2V) متقطّعة. والنموذج السائد يستثمر هذا اللاتماثل: درِّب بالمعلومات الشاملة، ونفِّذ بالمعلومات المحلية.

تعلَّم قيمة فريق \(Q_{tot}\) لكن فكِّكها إلى منافع خاصة بكل وكيل \(Q_i(\tau_i,a_i)\)، بحيث يستطيع كل وكيل أن يتصرّف بجشع بمفرده ويظل يختار أفضل فعل مشترك للفريق. ويُسمّى هذا الشرط مبدأ IGM (Individual-Global-Max، التطابق بين القيمة العظمى الفردية والشاملة):

• VDN (Sunehag et al., 2018): \(Q_{tot}=\sum_i Q_i\). بسيط، لكنه لا يستطيع تمثيل سوى قيم الفريق الجمعية.
• QMIX (Rashid et al., 2018): \(Q_{tot}=f_{mix}(Q_1,\dots,Q_N; s)\) مع \(\frac{\partial Q_{tot}}{\partial Q_i}\ge 0\). والرتابة (monotonicity) شرط كافٍ لتحقيق IGM. تُولَّد أوزان الخالط من الحالة الشاملة بواسطة الشبكات الفائقة (hypernetworks) وتُبقى غير سالبة (بأخذ القيمة المطلقة)، بحيث تستطيع الحالة تشكيل عملية الخلط مع بقاء الرتابة قائمة.
• QTRAN و QPLEX و Weighted QMIX: تُرخي شرط الرتابة لتمثيل تنسيق أغنى (غير رتيب) مع الحفاظ على IGM.

MADDPG (Lowe et al., 2017): لكل وكيل فاعل حتمي \(\mu_i(o_i)\) وناقد مركزي \(Q_i(\mathbf{x}, a_1,\dots,a_N)\) يرى أرصاد الجميع وأفعالهم. يعمل في الإعدادات التعاونية والتنافسية والمختلطة، ويتعامل مع التحكم المتصل كالتوجيه.

COMA (Foerster et al., 2018) يستهدف إسناد الفضل. فهو يسأل: «بكم كان فعلي أفضل مما كنت سأفعله عادةً، مع تثبيت أفعال الجميع الآخرين؟»، مستخدمًا خط أساس مضادًّا للواقع (counterfactual baseline):

MAPPO (Yu et al., 2022, "The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games"): فاعلو PPO مع مشاركة المعاملات، إضافةً إلى دالة قيمة مركزية \(V_\phi(s)\). يضاهي الطرائق الأعقد أو يتفوّق عليها في SMAC و MPE و Google Research Football، وهو خط الأساس القوي الافتراضي في MARL للروبوتات. أمّا HAPPO/HATRPO (Kuba et al., 2022) فتحدّث الوكلاء تتابعيًا وتأتي بضمان تحسّن رتيب للوكلاء غير المتجانسين.

# MAPPO: الحلقة التي ينبغي أن تستطيع رسمها على السبّورة
for iteration in range(K):
    for t in range(T):                            # جمع المسارات في محاكاة متوازية
        a_i, logp_i = actor_θ(o_i)  for each agent i     # أوزان مشتركة + معرّف الوكيل
        s', o', r, done = env.step(a_1..a_N)
        buffer.add(o_i, a_i, logp_i, s, r, done)
    A_i  = GAE(r, V_φ(s), γ, λ)                   # الناقد المركزي يرى الحالة الشاملة
    for epoch in range(E):
        θ ← θ + ∇ L_CLIP(θ; A_i)                   # قصّ PPO لكل عيّنة وكيل
        φ ← φ − ∇ (V_φ(s) − R̂)²
# النشر: لا يعمل على كل روبوت سوى actor_θ(o_i)

• مشاركة المعاملات (Parameter sharing): شبكة واحدة لجميع الوكلاء المتجانسين، مع معرّف الوكيل ضمن المُدخل. كفؤة في استخدام العيّنات، وهي الخيار المعياري للأساطيل.
• MARL بالحقل المتوسط (Mean-field MARL) (Yang et al., 2018): تقريب الآخرين بـمتوسط أفعالهم، \(Q_i(s,a_i,\bar a_{-i})\). يتوسّع هذا إلى مئات الوكلاء (مرور كثيف، أسراب).
• الشبكات العصبية البيانية / الانتباه (attention): الوكلاء عُقد، والجيران ضمن مدى الاستشعار حواف. تتعامل مع عدد متغيّر من السيارات، وهي لا متغيّرة تحت التباديل (permutation-invariant).
• التواصل المُتعلَّم (Learned communication): CommNet (Sukhbaatar et al., 2016)، و DIAL (Foerster et al., 2016)، و TarMAC (Das et al., 2019، رسائل انتباه موجَّهة). وهي النظير لاتصال V2V.

هكذا تبدو شريحة قوية في حلقة بحثية بعنوان «كيف سأصوغ المسألة». السيناريو: N مركبة ذاتية القيادة متصلة (AVs) تتفاوض على عبور تقاطع بلا إشارات وسط حركة مرور يقودها بشر.

• الاندماج في الطرق السريعة وتغيير المسار: التفاوض مع المركبات التعاونية والمركبات التي يقودها بشر. صاغ Shalev-Shwartz et al. (2016) القيادة الآمنة متعددة الوكلاء بوصفها RL مع قيود سلامة صارمة.
• التقاطعات والدوّارات: تنسيق بلا إشارات؛ وكذلك التحكم في إشارات المرور، حيث تكون كل إشارة وكيلًا.
• تسيير القوافل (Platooning) / مثبّت السرعة التكيّفي التعاوني: استقرار السلسلة (string stability)، وتوفير الوقود.
• الاستقلالية المختلطة: عدد قليل من المركبات الذاتية يخفّف موجات التوقّف والانطلاق لصالح حركة المرور البشرية (Wu et al.، إطار Flow على SUMO).
• القيادة الاجتماعية: التوجّه نحو القيمة الاجتماعية (Social Value Orientation)، أي تقدير مدى أنانية السائقين الآخرين أو إيثارهم (Schwarting et al., PNAS 2019).
• ملاحة الروبوتات المتعددة: تجنّب الاصطدام اللامركزي انطلاقًا من بيانات LiDAR الخام باستخدام PPO وسياسة مشتركة (Long et al., ICRA 2018)؛ وأساطيل المستودعات؛ وتغطية المناطق بطائرات مسيّرة متعددة؛ والمعالجة بأذرع متعددة.

• السلامة المضمونة: MARL المقيَّد، والتدريع (shielding)، ودوال حاجز التحكم (CBFs) في الإعدادات متعددة الوكلاء؛ والتحقّق من السياسات المتعلَّمة.
• من المحاكاة إلى الواقع (Sim-to-real): التعشية النطاقية (domain randomisation)، وتعرّف الأنظمة (system identification)، والمتانة أمام ضوضاء الحسّاسات والتأخير. والفجوة أكبر في حالة تعدّد الوكلاء، لأن سلوك الوكلاء الآخرين يتغيّر أيضًا.
• التفاعل مع البشر: نمذجة السائقين البشريين غير المتجانسين، والتنسيق دون تدريب مسبق (zero-shot coordination) / العمل الجماعي الارتجالي (ad hoc teamwork) مع شركاء مجهولين.
• قابلية التوسّع و N المتغيّر: سياسات بيانية/قائمة على الانتباه تعمّم من 5 سيارات في التدريب إلى 50 في الاختبار.
• التواصل تحت القيود: عرض النطاق، والتأخير، وانقطاع الاتصال في V2V؛ وماذا ينبغي أن يُتواصَل بشأنه.
• المتانة والخصوم: وكلاء عدائيون لاختبار أنظمة المركبات الذاتية تحت الضغط (استخدام تنافسي لـ MARL).
• MARL غير المتصل (Offline MARL): التعلّم من بيانات الأسطول المسجَّلة دون استكشاف مباشر محفوف بالمخاطر.
• التقييم: البذور، وتنوّع السيناريوهات، والمقاييس المعيارية. يعاني هذا المجال مشكلات حقيقية في قابلية إعادة إنتاج النتائج.

• الدافع: القيادة متعددة الوكلاء بطبيعتها؛ والتعلّم المعزَّز لوكيل واحد يعامل السيارات الأخرى كضوضاء.
• الصياغة الشكلية: MDP ← لعبة ماركوف ← Dec-POMDP (شريحة واحدة، ثلاث صفوف مرتّبة (tuples)).
• لماذا هو صعب: عدم الثبات، وإسناد الفضل، و \(|\mathcal A|^N\)، وقابلية الرصد الجزئية.
• CTDE والعائلات الرئيسية: تفكيك القيمة (QMIX، IGM) مقابل النقّاد المركزيين (MAPPO، MADDPG).
• التطبيق: جدول صياغة التقاطع من الفصل 10.
• المسائل المفتوحة وزاويتك البحثية: السلامة، ومن المحاكاة إلى الواقع، والتفاعل مع البشر، وقابلية التوسّع.

النتيجة: 0 / 0