إذا كنت تستخدم أولاما قيد الإنتاج لخدمة نماذج ماجستير القانونربما أدركت بالفعل أن الأمر لا يتعلق فقط بـ "التثبيت والتخلص". فبين اختيار النموذج المناسب، والتكميم، والحصول على الكمية المناسبة من ذاكرة الوصول العشوائي للفيديو، وعدد الطلبات المتزامنة، والوكلاء متعددي المراحل، من السهل جدًا أن ينتهي بك الأمر باستجابات بطيئة، أو أخطاء 503، أو حتى أعطال بسبب عدم كفاية الذاكرة.
والخبر السار هو أنه، بمعرفة كيفية إدارتها أولاما la التزامن، وقوائم الانتظار، والذاكرةبتطبيق بعض الممارسات المعمارية والنظامية الجيدة، يمكنك تحسين الأداء بشكل ملحوظ على كلٍ من وحدات معالجة الرسومات ووحدات المعالجة المركزية. علاوة على ذلك، يمكن تحقيق ذلك دون المساس بخصوصية البيانات أو مرونة النماذج المحلية.
Ollama و llama.cpp قيد الإنتاج: الأجزاء والأدوار
قبل إجراء أي تعديلات دقيقة، من المهم فهم من يقوم بماذا. llama.cpp هو محرك الاستدلال، مُحسَّن للغاية بلغة C++ لتحقيق أقصى استفادة من الأجهزة (وحدة المعالجة المركزية، Apple Silicon، NVIDIA، AMD). أولاما هي "التغليف" عالي المستوى الذي يقوم بتنسيق هذا المحرك والأنظمة الخلفية الأخرى (مثل vLLM في بعض الحالات)، وعرض واجهة سطر أوامر بسيطة وواجهة برمجة تطبيقات REST جاهزة للاستخدام.
عمليًا، عند تشغيل نموذج باستخدام Ollama، فإن ما يحدث هو أن التطبيق (المكتوب بلغة Go) يقوم بتشغيل عملية فرعية تقوم بتنفيذ ملف llama.cpp (أو أي بيئة تشغيل متوافقة أخرى)، تتولى إدارة تفريغ الأوزان، وتكوين وحدة معالجة الرسومات/وحدة المعالجة المركزية، وحجم السياق، وعمر النموذج في الذاكرة. هذا يُبسط عمليات الإنتاج بشكل كبير مقارنةً باستخدام ملف llama.cpp مباشرةً، حيث سيتعين عليك تجميعه، وإدارة المسارات، والمعلمات مثل –n-gpu-layersالتكميم، إلخ.
إذا فكرنا من منظور القياس، llama.cpp هو مركز جراحة الموتربسيط، مُحسَّن لتحقيق أقصى استفادة من كل دورة معالجة مركزية/معالج رسوميات. أولاما هي "إيكيا" الذكاء الاصطناعي المحلي: فهي تُقدم لك نظامًا مُجهزًا مُسبقًا مع إدارة النماذج، وواجهة برمجة التطبيقات القياسية، وقائمة انتظار الطلبات، والضبط التلقائي للأجهزةمثالي لبيئات الإنتاج حيث لا ترغب في التعامل مع كل علامة تجميع.
متطلبات الأجهزة واختيار النموذج للإنتاج
من أهم عوامل ضمان سير الأمور بسلاسة عدم المبالغة في حجم النموذج مقارنةً بمواصفات جهازك. معلمات النموذج + نوع التكميم + طول السياق يحدد أوقات ذاكرة الوصول العشوائي (RAM) وذاكرة الوصول العشوائي للفيديو (VRAM) والاستدلال.
كإرشادات عامة، بالنسبة للإنتاج باستخدام أولاما على آلة واحدة، تُستخدم هذه النطاقات عادةً:
- غيغابايت من ذاكرة الوصول العشوائي 8نماذج صغيرة (1B، 3B، 7B مُكمّمة). مناسبة للنماذج الأولية والخدمات الصغيرة، ولكن قد تتأثر سلاسة الأداء تحت الأحمال الثقيلة.
- غيغابايت من ذاكرة الوصول العشوائي 16نقطة معقولة بالنسبة لنماذج 7B و 13B الكمية من النوع Q4_K_M. يمكن تقديم خدمة حقيقية إذا تم التحكم في التزامن بشكل جيد.
- 32 جيجا او اكثريوصى به إذا كنت ترغب في اللعب بنماذج 30B أو 40B أو 70B، أو إذا كنت تخطط لخدمة عدة نماذج بالتوازي.
أما بالنسبة لوحدات معالجة الرسومات، فالنمط مشابه: كلما زادت سعة ذاكرة الوصول العشوائي للفيديو (VRAM)، زادت الطبقات التي يمكنك نقلها إلى بطاقة الرسومات. وستحقق إنتاجية أعلى. مع وحدة معالجة رسومية بسعة 16 جيجابايت، يمكنك بسهولة خدمة نماذج 7-13 مليار بت ذات تكميم جيد، بينما يتطلب الوصول إلى 70 مليار بت أجهزة متطورة للغاية أو وحدات معالجة رسومية متعددة.
فيما يتعلق بالتخزين، من المهم أن نضع في اعتبارنا ما يلي: يمكن أن تشغل النماذج الكمية "الصغيرة" مساحة 2 جيجابايتتتراوح سعة محركات الأقراص الصلبة متوسطة الحجم من 5 جيجابايت أو أكثر إلى محركات كبيرة جدًا بسعة عشرات أو حتى مئات الجيجابايت. ويُحدث محرك الأقراص الصلبة من نوع NVMe فرقًا ملحوظًا عند تحميل الملفات أو تبديلها.
وأخيرًا، لا تزال وحدة المعالجة المركزية مهمة، خاصة إذا كنت تقوم بالاستدلال باستخدام المعالج فقط أو بالاشتراك مع وحدة معالجة الرسومات. أربعة أنوية هي الحد الأدنى المقبولللحصول على خدمة مستقرة مع عدة طلبات متزامنة، فإن 8 أنوية أو أكثر هي الأنسب.
التكميم وتنسيقات النماذج: كيفية تحسين الأداء دون المساس بالجودة
لكي يكون برنامج ماجستير القانون قابلاً للاستخدام في الإنتاج، فأنت تحتاج دائمًا تقريبًا إلى شكل من أشكال توضيحإنها عملية التحويل من الأوزان ذات الفاصلة العائمة (FP16، FP32) إلى تمثيلات عددية صحيحة بعدد أقل من البتات (4، 8، إلخ)، مما يقلل من حجم النموذج والذاكرة التي يستهلكها، على حساب فقدان طفيف للدقة.
القاعدة العامة التي تُردد كثيراً في المجتمع هي أن Q4_K_M هو المعيار المعقول للمحلييُقلل هذا من حجم البيانات إلى نصف حجم FP16 تقريبًا، ويقل فقدان الجودة بنسبة 1-2% في مقاييس مثل التعقيد، وتزداد سرعة الاستدلال بشكل ملحوظ. إذا كنت بحاجة إلى ضغط أكبر، يمكنك استخدام Q3 أو Q2، ولكن على حساب زيادة التشويش وضعف الاستدلال.
لاستخدام النماذج مع أولاما، يكون التنسيق القياسي هو جي جي يو إفتتضمن هذه الحزمة الأوزان والبيانات الوصفية ومحلل الكلمات بطريقة مُحسَّنة لبيئات التشغيل من نوع llama.cpp. العديد من النماذج في مكتبة Ollama تأتي بالفعل بتنسيق GGUF وهي مُكمَّمة، لذا سحب أولاماإذا قمت بإحضار نماذج خارجية (على سبيل المثال من Hugging Face)، يمكنك:
- قم بالتحويل من تنسيقات مثل Safetensors إلى GGUF باستخدام أدوات اللاما (نصوص مثل convert_hf_to_gguf.py).
- قم بتكميمها باستخدام النظام الثنائي تكميم من ملف llama.cpp اختيار المخطط (Q4_K_M، Q5_K_S، إلخ).
- إنشاء ملف النموذج في Ollama يشير إلى ملف .gguf ويحدد القالب والمعلمات الافتراضية والنظام.
هذا التدفق من تنزيل ← تحويل ← تحديد الكمية ← تسجيل في أولاما يسمح ذلك بدمج النماذج المتخصصة في الإنتاج، مثل نماذج LLM القانونية (على سبيل المثال، نموذج مثل Jurema-7B) أو النماذج الخاصة بمجال معين، مع الحفاظ على نفس مسار النشر.
معلمات النموذج الداخلية: عدد السياقات، ودرجة الحرارة، والتحكم في الإخراج
بمجرد اختيار النموذج، يحين وقت ضبط سلوكه. في بيئة الإنتاج، لا يكفي أن "يستجيب بشكل جيد"؛ بل يجب أن يكون يمكن التنبؤ بها، ومحدودة، وفعالةالمعلمات الرئيسية التي يعرضها برنامج Ollama (الموروثة من llama.cpp) هي:
من ناحية num_ctxتحدد نافذة السياق عدد العناصر التي يمكن للنموذج أخذها في الاعتبار في وقت واحد: رسائل النظام، وسجل المحادثات، والموجه الحالي. وتسمح النوافذ الأكبر حجماً بمعالجة المزيد من العناصر. محادثات مطولة وتحليل لوثائق واسعة النطاقمع ذلك، فإنها تزيد بشكل ملحوظ من استهلاك ذاكرة الوصول العشوائي (RAM) وذاكرة الفيديو (VRAM) ووقت الحساب. علاوة على ذلك، إذا قمت بتعيين قيمة أعلى مما تم تدريب النموذج على التعامل معه، فقد تواجه سلوكًا غير طبيعي أو تراجعًا في الأداء.
من الضروري أيضاً التحكم في توليد الطاقة باستخدام num_predict (الحد الأقصى لعدد رموز الخروج)، قوائم من توقف ودرجة الحرارة. تُنتج قيمة درجة الحرارة المنخفضة (0,2-0,5) استجابات أكثر استقرارًا وأقل إبداعًا، وهي مثالية لـ RAG، أو الترميز، أو عمليات التحققتُخصص القيم العالية للاستخدامات الإبداعية، والتي نادراً ما تكون سيناريوهات إنتاج جادة.
بالإضافة إلى ذلك، خيارات مثل top_p y top_k تساعد هذه العوامل في الحد من العشوائية. إن تقليل قيمة top_p إلى قيم معتدلة (مثل 0,8-0,9) يحد من نطاق الرموز الممكنة، وهو أمر مفيد للحد من الهلوسة وتحقيق مخرجات أكثر قابلية للتكرار.
يمكن ضبط جميع هذه المعلمات بشكل دائم في ملف النموذج من خلال التعليمات PARAMETER، قم بالكتابة فوق الملفات الموجودة باستخدام واجهة سطر الأوامر (الأمر) /set في الوضع التفاعلي) أو تمريرها ديناميكيًا عبر واجهة برمجة تطبيقات REST في الحقل options من JSON.
التزامن، وقوائم الانتظار، والتجميع في أولاما: استغلال إمكانيات الجهاز دون تعطيله
القفزة الحقيقية من "لعبة محلية" إلى الخدمة قيد الإنتاج يحدث ذلك عندما تبدأ في تلقي طلبات متعددة في وقت واحد. يدمج أولاما نظامه الخاص من الحشود والصفوف لإدارة هذا الأمر دون الحاجة إلى إعداد خادم إضافي.
العنصر المركزي هو المتغير البيئي OLLAMA_NUM_PARALLELيُحدد هذا عدد الطلبات التي يُمكن لنموذج مُحمّل معالجتها بالتوازي. القيمة الافتراضية عادةً هي 4 (أو 1 إذا كانت الذاكرة محدودة). تزيد القيم الأعلى من الإنتاجية إذا كان لديك مساحة كافية في وحدة المعالجة المركزية/وحدة معالجة الرسومات وذاكرة الوصول العشوائي للفيديو، ولكنها تزيد أيضًا من الحمل على الذاكرة وقد تُؤدي إلى تفاقم زمن استجابة كل طلب على حدة.
عندما ترد طلبات متعددة لنفس الطراز، يحاول أولاما أن يجعل الخلطيقوم النظام بتجميع الطلبات ومعالجتها معًا، مما يُحسّن استخدام عمليات مصفوفة وحدة معالجة الرسومات. من الخارج، يرى المستخدمون بدء إرسال الاستجابات في وقت واحد. إذا وصل عدد من الطلبات يفوق ما يسمح به OLLAMA_NUM_PARALLEL، فسيتم إدخالها في مصفوفة. قائمة انتظار FIFO يخضع للتنظيم من قبل فرن ماكس كوادر، وهو 512 افتراضياً.
إذا امتلأت قائمة الانتظار، يُعيد نظام أولاما خطأ 503 ("حمل زائد على الخادم"). وإذا وصلت الذاكرة إلى أقصى حد لها، فسيدخل حد آخر حيز التنفيذ. موديلات الفرن ذات التحميل الأقصىيشير هذا إلى عدد النماذج التي يمكن تحميلها في وقت واحد. عندما يلزم تحميل نموذج جديد ولا تتوفر ذاكرة كافية، يتم إلغاء تحميل النماذج غير النشطة، وينتظر الطلب حتى يصبح النموذج الجديد جاهزًا.
في عمليات النشر الواقعية، يتمثل النهج الشائع في البدء بـ OLLAMA_NUM_PARALLEL=1 أو 2 لإعطاء الأولوية للاستقرار، راقب استخدام وحدة المعالجة المركزية وذاكرة الوصول العشوائي للفيديو وزمن استجابة p95، وقم بزيادة الإعدادات تدريجياً طالما لم تظهر أخطاء نقص الذاكرة أو ارتفاعات مفاجئة في قائمة الانتظار.
استراتيجيات إدارة الذاكرة في أولاما
تُعدّ الذاكرة (RAM وVRAM) موردًا بالغ الأهمية في أي خدمة إدارة دورة حياة محلية. يجمع نظام أولاما بين عدة استراتيجيات لـ تجنب تعطل النظام عندما تصل طلبات أكثر مما يمكن تخزينه في الذاكرة أو عندما تنوي استخدام نماذج كبيرة جدًا بالنسبة لجهازك.
من جهة، يستخدم قائمة انتظار FIFO يتم التحكم في ذلك بواسطة OLLAMA_MAX_QUEUE لتجنب رفض جميع الطلبات دفعة واحدة عندما لا تتوفر ذاكرة فورية. إذا امتلأت قائمة الانتظار، فإنه يُرجع صراحةً رمز 503 بدلاً من السماح للعملية بالإنهاء ببساطة.
من ناحية أخرى، فإنه يحتفظ بعدد محدود من تم تحميل النموذج في الذاكرة باستخدام OLLAMA_MAX_LOADED_MODELS (افتراضيًا، 3 لكل وحدة معالجة رسومية أو 3 لكل وحدة معالجة مركزية). يمكن إلغاء تحميل النماذج التي ظلت غير نشطة لفترة زمنية معينة تلقائيًا، مما يحرر ذاكرة الوصول العشوائي للفيديو وذاكرة الوصول العشوائي للطلبات اللاحقة.
يدخل هذا المعيار أيضًا في الاعتبار أولاما_ابقوا_على_الحياةيُحدد هذا الخيار مدة بقاء النموذج في الذاكرة بعد آخر طلب. تمنع قيم مثل 5 دقائق إعادة تحميل النموذج مع كل طلب، لكنها لا تُبقيه في ذاكرة الوصول العشوائي (RAM) إلى أجل غير مسمى. عند استخدام القيمة 0، يتم تنزيل النموذج فور اكتمال التحميل، مما يوفر الذاكرة ولكنه يزيد من وقت بدء التشغيل؛ أما عند استخدام القيمة -1، فيبقى النموذج إلى أجل غير مسمى طالما أن الخادم نشط.
في حالات الضغط الشديد على الذاكرة، قد يلجأ نظام التشغيل إلى تبديل على القرصيؤدي هذا إلى تدهور كبير في الأداء، وقد يتسبب حتى في أخطاء "نفاد الذاكرة" وتعطل النظام. لذلك، من الضروري ضبط: حجم النموذج، والتكميم، وطول السياق، وعدد الطلبات المتوازية، وعدد النماذج المحملة في وقت واحد.
مقارنة بين وحدة المعالجة المركزية ووحدة معالجة الرسومات في بيئات الإنتاج باستخدام أولاما
لا يمتلك الجميع إمكانية الوصول إلى وحدات معالجة الرسومات القوية في بيئات الإنتاج، خاصةً إذا تم استخدامها في خوادم أو أجهزة كمبيوتر محمولة منخفضة التكلفة. ومن هنا يأتي الاهتمام المتزايد بـ تحسين الاستدلال باستخدام وحدة المعالجة المركزية فقط، واختيار نماذج خفيفة الوزن ومُقاسة بشكل جيد تسمح بفترات كم معقولة.
بالنسبة لاستخدام وحدة المعالجة المركزية فقط، تتضمن أفضل الممارسات اختيار نماذج من 2 مليار، أو 3 مليارات، أو 7 مليار بالنسبة للسياقات الكمية (Q4_K_M، Q5، إلخ)، استخدم أحجام سياق معتدلة وقلل عدد الطلبات المتوازية. اضبط خيوط OLLAMA_NUM يساعد عدد النوى المادية (أو أقل قليلاً) على تحقيق التوازن بين الأداء واستخدام الموارد، مما يمنع التحميل الزائد على النظام.
إذا كان لديك وحدة معالجة رسومات (GPU)، فمن الضروري التحقق باستخدام أولاما بي إسأن النموذج يستخدم بالفعل بطاقة الرسومات (ويُفضل أن يكون "100% GPU" في حقل المعالج). تميل التكوينات التي تمزج بين العديد من طبقات وحدة المعالجة المركزية ووحدة معالجة الرسومات إلى إنتاج ضعف المحصولفي البيئات التي تحتوي على ذاكرة وصول عشوائي كافية للفيديو (VRAM)، من المستحسن تفريغ أكبر عدد ممكن من الطبقات إلى وحدة معالجة الرسومات (GPU).
لتفعيل التسارع بشكل صريح، ستحتاج في بعض البيئات إلى تصدير متغيرات مثل CUDA_OVEN=1 أو قم بضبط إعدادات برامج تشغيل NVIDIA/AMD بشكل صحيح. إذا ظهرت لك أخطاء مثل "خطأ CUDA" أو "خطأ ROCm" في سجلات النظام، فمن المحتمل وجود مشكلة في توافق برنامج التشغيل أو الأجهزة.
التكوين المتقدم: متغيرات البيئة والنشر المستقر
بالإضافة إلى معايير الاستدلال، يمكن ضبط أولاما بدقة باستخدام عدد قليل من متغيرات البيئة التي تحدد الشبكة، والمسارات، و CORS، والتسجيل، وسلوك تحميل النماذج. في بيئة الإنتاج، من الشائع تعديل ما يلي على الأقل:
من جهة، أولاما_هوست يُحدد هذا الإعداد الواجهة والمنفذ اللذين يستمع إليهما واجهة برمجة التطبيقات (API). افتراضيًا، يكون المنفذ 127.0.0.1:11434، مما يعني أنه متاح محليًا فقط. إذا كنت ترغب في إتاحته للشبكة الداخلية، يمكنك تغييره إلى 0.0.0.0:11434 أو عنوان IP محدد، مع ضمان حمايته دائمًا بجدار ناري أو خادم وكيل عكسي.
إعداد آخر مفيد للغاية هو نماذج الفرنيتيح لك هذا نقل المجلد الذي تُخزَّن فيه النماذج إلى قرص أو وحدة تخزين أخرى (على سبيل المثال، قرص SSD كبير). يمنحك هذا مرونة في إدارة المساحة والنسخ الاحتياطية، شريطة أن يكون لدى المستخدم الذي يُشغِّل الخدمة صلاحيات القراءة والكتابة لهذا المسار.
لدمج واجهات الويب الأمامية مثل افتح واجهة مستخدم الويب أو واجهات المستخدم الرسومية الأخرى، ستحتاج إلى تعديلها أولاما_الأصوليتحكم هذا في المصادر المسموح بها في CORS. يمكنك تحديد نطاقات معينة (http://localhost:3000، إلخ) أو استخدام "*" للسماح بجميع النطاقات، وهو أمر منطقي فقط إذا لم تكن الخدمة متاحة خارج شبكة محكمة التحكم.
أثناء النشر واستكشاف الأخطاء وإصلاحها، التمكين OLLAMA_DEBUG=1 لعرض سجلات مفصلة: اكتشاف وحدة معالجة الرسومات، وتحميل نماذج البيانات الثنائية، وأوقات الاستجابة، وأخطاء محددة، وما إلى ذلك. على نظام لينكس، يمكن الوصول إلى هذه السجلات بسهولة باستخدام journalctl -u ollama، والقدرة على إعادة توجيهها إلى ملفات أو تصفيتها حسب التاريخ.
تعتمد الطريقة المحددة لضبط هذه المتغيرات على بيئة التشغيل: في نظام لينكس، يتم ذلك عادةً باستخدام تعديل systemd للخدمة ollama.serviceعلى نظام macOS عبر Launchctlفي نظام التشغيل ويندوز، يتم ذلك باستخدام متغيرات بيئة النظام، وفي دوكر، يتم ذلك من خلال الخيار -e en تشغيل عامل ميناء.
إدارة النماذج، وملفات النماذج، وسير العمل مع نماذج التعلم المختلط المتعددة
بعد جزء النظام، حان الوقت للتفكير في كيفية تنظيم النماذجتقدم أولاما كتالوجها الخاص الذي يتم تشغيله بأوامر مثل سحب أولاما, قائمة العلماء, أولاما آر إم y أولاما بوشتتيح لك هذه الميزة الأخيرة تحميل قوالب مخصصة إلى سجلّك، مما يسهل التوزيع والتحكم في الإصدارات داخل الفرق أو الشركات.
لتخصيص سلوك النموذج (النبرة، قالب التوجيه، المعلمات الافتراضية)، يستخدم النظام لـ ملفات النماذجتحدد هذه الملفات، على سبيل المثال، التعليمات FROM مع المسار إلى .gguf، الخطوط PARAMETER (درجة الحرارة، عدد السياقات، عدد التوقعات، أعلى قيمة، إلخ.) و أ نموذج والتي تحدد كيفية تنظيم الموجه (رسائل النظام، رسائل المستخدم، رسائل المعالج، الفواصل).
مع أولاما كرييت يمكنك تجميع ملف النموذج وتسجيل نموذج منطقي جديد في النظام دون الحاجة إلى تكرار مساحة القرص فعليًا. يُعد هذا مفيدًا جدًا لإنشاء نسخ متعددة من النموذج الأساسي نفسه (على سبيل المثال، نسخة للاستخدام العام، ونسخة مُحسّنة للبرمجة، ونسخة أخرى للأسلوب الرسمي، وما إلى ذلك).
في البنى التي تحتوي على وكلاء أو تدفقات متعددة المراحل (RAG + الضوابط + تقييم المستندات + توسيع الاستعلام + التحقق من الوهم)، من الشائع دمج عدة نماذجنموذج واحد للأغراض العامة، ونموذج صغير وسريع للتصنيف/حواجز الأمان، وربما نموذج متخصص للتضاريس. وهنا أيضًا، من الضروري ضبط قيمتي OLLAMA_MAX_LOADED_MODELS وKEEP_ALIVE بشكل صحيح لتجنب تحميل وتفريغ النماذج باستمرار.
وأخيرًا، توفر واجهة برمجة تطبيقات REST الخاصة بـ Ollama نقاط نهاية لـ الدردشة، والتوليد، والتضمينات، وإدارة النماذجوهذا يسمح بالتكامل السهل مع منسقي الوكلاء مثل LangGraph، بالإضافة إلى تطبيقات الواجهة الخلفية في Python وJavaScript وPHP وما إلى ذلك، مما يضيف محاولات إعادة الاتصال المتقطعة واتصالات إبقاء الاتصال نشطًا على جانب العميل لتجنب الارتفاعات العرضية في قائمة الانتظار.
مع كل هذا، من الممكن الانتقال من مجرد "لعبة" ذكاء اصطناعي محلية بسيطة إلى منصة قوية لبرامج الماجستير في القانون قيد الإنتاجبفضل التحكم الدقيق في الأداء والذاكرة والسلوك، والحفاظ على البيانات ضمن البنية التحتية الخاصة بك ودون الاعتماد كليًا على موفري الخدمات السحابية الخارجيين، وهو أمر ذو قيمة خاصة في السيناريوهات التي تتطلب الخصوصية أو التكاليف المحدودة أو الحاجة إلى تخصيص عميق.