كلّ مشغّل لأسطول GPU داخل المنشأة يبدأ بالطريقة ذاتها: فتح طرفية، وتشغيل nvidia-smi، ومتابعة الاستخدام واستهلاك الطاقة والحرارة. هذه أصدق رؤية لما يفعله مسرّع NVIDIA، وهي تأتي مع التعريف نفسه — بلا وكيل، وبلا SaaS، وبلا اتصال صادر. يغطّي هذا الدليل كيفية استخدام nvidia-smi بشكل جيد على مستوى العقدة، وأين يتوقّف عن التوسّع على مستوى الأسطول، وما الذي تفعله بعد ذلك.
ما هو nvidia-smi فعليًا
nvidia-smi هو واجهة سطر أوامر رفيعة فوق مكتبة NVML. وهي نفس المكتبة التي يستدعيها DCGM ومصدّرات Prometheus ومنصات التنسيق. حين تقرأ رقمًا من nvidia-smi فأنت تقرؤه من NVML — لا توجد "منصة مراقبة" منفصلة بينك وبين الـ GPU.
المؤشّرات الأربعة التي تهمّك فعلًا
1. الاستخدام
utilization.gpu هو نسبة الزمن التي كانت خلالها نواة واحدة على الأقل تنفّذ على الـ GPU. ليست نطاقًا للذاكرة ولا FLOPs ولا إشغالًا لأنوية التنسور. مهمّة بنسبة 99% قد تكون غير فعّالة تمامًا.
2. استهلاك الطاقة
power.draw أوثق مؤشّر على أن الـ GPU يقوم بعمل حقيقي. H100 في وضع الخمول حوالي 70 واط؛ خطوة تدريب مشبعة تسحب 650–700 واط. إن كان الاستخدام 100% والطاقة 200 واط فالنواة محدودة بالإطلاق أو بالذاكرة، لا بالحساب.
3. الذاكرة
تابع memory.used وutilization.memory معًا. الأوّل سعة والثاني نطاق HBM. أعطال نفاد الذاكرة هي أكثر أعطال الإنتاج شيوعًا على H100 ضمن جدولة متعددة المستأجرين.
4. الحرارة
temperature.gpu حرارة الرقاقة وtemperature.memory حرارة HBM. تخفض H100 ساعة SM عند ~87°م و HBM عند ~95°م. التشغيل المستمر فوق 80°م مشكلة تدفّق هواء في الخزانة لا مشكلة حِمل.
استعلام عملي لمشغّلي العناقيد
تجاوز عرض الجدول الافتراضي — فهو مصمّم لشخص واحد ينظر إلى صندوق واحد. استخدم --query-gpu مع--format=csv,noheader,nounits لمخرجات قابلة للبرمجة:
nvidia-smi \
--query-gpu=index,name,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw,temperature.gpu,temperature.memory,ecc.errors.uncorrected.aggregate.total \
--format=csv,noheader,nounits \
-l 1أين يتوقّف هذا عن العمل
nvidia-smi مناسب لصندوق واحد. تتعطّل المنظومة في مكان ما بين ثمانية وعشرين صندوقًا: لا احتفاظ تاريخي حقيقي، لا تنبيهات ليلية، لا رؤية لكل مستأجر، ولا وعي بالطوبولوجيا.
مسار التطوير
الطبقة التالية هي DCGM من NVIDIA نفسها، تكشف نفس عدّادات NVML كخدمة طويلة الأمد مع فحوصات صحّة وسياسات. dcgm-exporterينشرها إلى Prometheus. لكنك تظلّ مسؤولًا عن تكامل المجدول، نموذج المستأجرين، وعي الطوبولوجيا، وتوجيه التنبيهات.
كيف يتعامل Clastiq Orchestrator مع ذلك
يشغّل Clastiq Orchestrator DCGM تحت الغطاء وتسحب نفس عدّادات NVML التي تقرؤها بـ nvidia-smi — لكلّ GPU، ولكلّ مضيف، ولكلّ شريحة — إلى مستوى قياس بزمن تحديث ~4 م.ث، مع نسب المستأجرين تلقائيًا، ووعي بالطوبولوجيا لجدولة NVLink وInfiniBand، وتوجيه التنبيهات إلى PagerDuty أو Opsgenie، واحتفاظ تاريخي داخل تخزينك ومحيطك.
تعمل بالكامل داخل المنشأة. لا قياس صادر، ولا مستوى تحكم SaaS، ولا سلطة أجنبية تلامس بياناتك — مصمّمة للبيئات السيادية والمنظّمة والمعزولة.