تدريب وتقديم نماذج في أولاما للاستخدام الداخلي الآمن والفعال

ظهور الذكاء الاصطناعي التوليدي لقد غيّر هذا الأمر تمامًا طريقة عمل الشركات والمطورين مع البرمجيات والبيانات والأتمتة. تظهر نماذج وأدوات جديدة كل أسبوع، ولكن في الوقت نفسه، ما زلنا نعتمد بشكل كبير على عدد قليل من منصات الحوسبة السحابية الكبيرة التي تتحكم في التسعير والخصوصية والميزات. في هذا السياق، تبرز فكرة تشغيل وتدريب النماذج محليًامع حلول مثل أولاما والتي تسمح لك بالعمل مع أنظمة إدارة التعلم على بنيتك التحتية الخاصة، دون تعريض البيانات لأطراف ثالثة.

على النقيض من النهج المركزي الذي تتبعه الشركات الكبيرة، فإن النظام البيئي لـ نماذج وأدوات مفتوحة المصدر والتي يمكن لأي شخص تنزيلها وتخصيصها ونشرها على أجهزة الكمبيوتر الخاصة به. وقد رسخت أولاما مكانتها كلاعب رئيسي في هذا المجال: فهي تُبسط بشكل كبير تنفيذ نماذج التعلم المحلية، وتُسد الفجوة مع واجهات الويب مثل Open WebUI أو n8n، وتسمح بتقديم النماذج عبر واجهة برمجة التطبيقات بطريقة مشابهة جدًا لـ OpenAI، ولكن مع خصوصية تامة، وتكاليف مضبوطة، ومرونة فائقة لتخصيص كل نموذج وضبطه بدقة.

لماذا يتم تدريب النماذج وخدمتها في أولاما للاستخدام الداخلي؟

عندما نستخدم برنامج دردشة آلي على موقع ويب أو واجهة برمجة تطبيقات سحابية، ينطوي كل طلب على تكاليف، ووقت استجابة، ومخاطر محتملة تتعلق بالخصوصية.قد لا يكون الأمر دراماتيكيًا بالنسبة للمستخدم الفردي، ولكن في شركة تعالج العقود أو السجلات الطبية أو الوثائق المالية، فإن إرسال كل ذلك إلى مزود خارجي هو، على أقل تقدير، مسألة حساسة.

من خلال تدريب (أو تحسين) وتقديم نماذج في أولاما ضمن شبكة الفرد أو فريقه الخاص، تبقى دورة حياة البيانات بأكملها تحت سيطرتكلا تغادر أي من البيانات، سواءً كانت مطالبات أو مستندات تُحمّلها إلى النموذج، أو ردودًا مُولّدة، أو بيانات وصفية، أو سجلًا، أجهزتك. يُعدّ هذا النظام مثاليًا للمؤسسات التي لديها متطلبات صارمة بشأن السرية، أو تلتزم باللوائح التنظيمية، أو ببساطة تُفضّل عدم الاعتماد على جهات خارجية في أمر استراتيجي كالذكاء الاصطناعي.

وبالإضافة إلى ذلك، لم تعد تكلفة الاستخدام مشكلةبدلاً من دفع ثمن كل مليون رمز مميز لواجهة برمجة تطبيقات تجارية، تستثمر في أجهزة (أو خادم مخصص/خادم افتراضي خاص مزود بوحدة معالجة رسومية)، ومن ثم يصبح الاستدلال مجانيًا تقريبًا. أما بالنسبة لسير العمل الذي يعتمد بشكل كبير على الأتمتة، مثل عمليات التكامل مع n8n أو أنظمة الدعم الفني الداخلية، فإن فرق التكلفة هائل.

نقطة رئيسية أخرى هي مرونة في اختيار وتخصيص النماذجباستخدام أولاما، يمكنك دمج نماذج صغيرة وسريعة جدًا (مثل فاي، تايني لاما، أوركا ميني) للمهام البسيطة مع نماذج أكبر وأكثر قوة (مثل لاما 3، ميسترال، جيما، كوين، ديب سيك، وغيرها) للاستدلال المعقد أو توليد التعليمات البرمجية. وإذا كنت بحاجة إلى شيء أكثر تحديدًا، يمكنك دائمًا ضبطه بدقة باستخدام تقنيات مثل لو را، ثم تقديم هذا النموذج المُعدّل مباشرةً من أولاما.

المفاهيم الأساسية: نماذج LLM، والمحولات، والتكميم للاستخدام المحلي

قبل الخوض في تفاصيل أولاما، يجدر بنا توضيح بعض النقاط دون الخوض في الكثير من النظريات المعقدة، ما الذي يكمن وراء برامج الماجستير في القانون الحديثة؟ ولماذا تعتبر مفاهيم مثل التكميم مهمة للغاية عندما تريد تشغيلها على جهازك الخاص.

نماذج اللغة الكبيرة هي شبكات عصبية كبيرة مدربة باستخدام التعلم الآلي ذاتي الإشراف تعتمد هذه الأنظمة على كميات هائلة من النصوص والبيانات الأخرى. وتتمثل مهمتها في التنبؤ بالكلمة (الرمز) الأكثر احتمالاً التالية بناءً على الكلمات السابقة، ومن ثم توليد النصوص أو التعليمات البرمجية أو الملخصات أو الترجمات أو التحليلات.

تعتمد معظم برامج الماجستير في القانون الحالية على... بنية المحولتحوّل هذه العملية الكلمات المدخلة إلى متجهات رقمية (تضمينات)، وباستخدام آليات الانتباه، تحسب أجزاء السياق الأكثر صلة بإنتاج كل كلمة مخرجة. وعلى مستوى عالٍ جدًا، هناك وحدتان أساسيتان: وحدة التشفير التي "تفهم" المدخلات، ووحدة فك التشفير التي تولد الاستجابة، مع أن العديد من نماذج المحادثة في الواقع هي مجرد وحدات فك تشفير.

لإنشاء النص، يقوم النموذج بمعالجة الرموز بالتوازي، ويحسب احتمالات الكلمة التالية ثم اختر أحدها (باستخدام تقنيات أخذ العينات مثل درجة الحرارة، أو أعلى قيمة p، أو أعلى قيمة k). تُضاف هذه الكلمة إلى السياق، وتُكرر العملية حتى تكتمل الإجابة. يؤثر تغيير هذه المعلمات بشكل مباشر على ما إذا كان النموذج أكثر إبداعًا أم أكثر تحفظًا.

تكمن المشكلة العملية الرئيسية في هذه النماذج في أنها، في نسختها "الخالصة"، تستخدم أوزانًا ذات فاصلة عائمة 16 أو 32 بت، مما ينتج عنه ملفات ضخمة واستهلاك هائل لذاكرة الوصول العشوائي (RAM) وذاكرة الفيديو (VRAM). وهنا تكمن المشكلة. توضيح، مما يقلل من دقة الأوزان (على سبيل المثال، إلى 4 أو 8 بتات عددية صحيحة) لتقليل حجم النموذج وجعله أكثر قابلية للإدارة على الأجهزة العادية.

متطلبات الأجهزة اللازمة لتدريب وتقديم النماذج باستخدام أولاما

من الأسئلة المتكررة عند التفكير في تشغيل النماذج محليًا ما هي متطلبات الأجهزة اللازمة. والإجابة المختصرة هي: لست بحاجة إلى حاسوب فائق، ولكن لا يمكنك أيضاً استخدام جهاز كمبيوتر عمره 15 عاماً. وانتظر المعجزات.

• ميموريال. للاستخدام الأمثل لبرنامج أولاما، يُنصح بما يلي: 16 جيجا بايت على الأقل من ذاكرة الوصول العشوائيمع 8 جيجابايت يمكنك استخدام نماذج صغيرة (1 بايت، 3 بايت، 7 بايت مُكمّمة)، مع العلم أنه قد يكون هناك تقطع في الأداء.
• وحدة المعالجة المركزية‏:من الأفضل أن يكون لديك معالجات حديثة مزودة بمجموعات تعليمات متقدمة (AVX2، AVX-512) و4 أنوية كحد أدنى، مع التوصية بـ 8 أنوية أو أكثر.
• GPU. ليس ذلك إلزاميًا تمامًا، ولكن إذا كنت تريد إجابات سريعة إنه يُحدث فرقاً هائلاًيمكن لوحدة معالجة الرسومات NVIDIA المزودة بتقنية CUDA، أو وحدة معالجة الرسومات AMD المزودة بتقنية ROCm، أو وحدة معالجة الرسومات المدمجة من Apple (Metal) تسريع عملية الاستدلال من 5 إلى 10 مرات مقارنة بوحدة المعالجة المركزية النقية.
• تخزينبرنامج أولاما خفيف الوزن، لكن النماذج ليست كذلك. احجز ما لا يقل عن 50 جيجابايت إذا كنت تخطط لتنزيل العديد من نماذج 7B و 13B؛ إذا كنت ستلعب بوحوش 70B أو متغيرات متعددة مُكمّمة، فليس من غير المألوف أن ينتهي بك الأمر بعشرات أو مئات الجيجابايت.
• OSيعمل أولاما بدون مشاكل في Linux و macOS و Windows (وغالباً ما يعتمد الأخير على WSL أو Docker).

تثبيت نظام أولاما وتكوينه الأساسي للبيئات الداخلية

إحدى المزايا العظيمة لأولاما هي أن يتم التثبيت بأمر واحد في معظم الأنظمة، ويترك خدمة جاهزة للاستخدام من الجهاز الطرفي ومن التطبيقات الخارجية عبر واجهة برمجة التطبيقات (API).

في نظام لينكس، الطريقة الأكثر شيوعًا هي تشغيل الأمر التالي في سطر الأوامر:

حليقة -fsSL https://ollama.com/install.sh | ش

على نظامي التشغيل ويندوز وماك أو إس، يمكنك تنزيل برنامج التثبيت من موقع أولاما الرسمي، وتشغيله، وسيبدأ النظام تلقائيًا تشغيل الخدمة في الخلفية. يمكنك التأكد من أن كل شيء يعمل بشكل صحيح باستخدام أمر بسيط. أولاما – نسخة على وحدة التحكم.

بشكل افتراضي، يبدأ أولاما تشغيل خادم محلي في 127.0.0.1:11434 ويحفظ القوالب التي تم تنزيلها في مسار محدد حسب النظام. في نظام لينكس، مع التثبيت النموذجي، ينتهي بها المطاف عادةً في /usr/share/ollama/.ollama/modelsهذا المجلد بالغ الأهمية لأنه سيتم تخزين جميع القوالب فيه، ومن المهم الحفاظ عليه تحت السيطرة لإدارة المساحة والنسخ الاحتياطية وعمليات النقل.

لتكييف Ollama للاستخدام الداخلي الأكثر تقدمًا (على سبيل المثال، تقديم النماذج إلى معدات شبكة أخرى أو حاويات Docker)، يتم استخدام ما يلي متغيرات البيئة التي يقرأها النظام عند بدء التشغيل. ومن أهمها ما يلي:

• أولاما_هوست: الواجهة والمنفذ الذي يستمع إليه API (على سبيل المثال، 0.0.0.0:11434 لقبول الاتصالات الخارجية).
• نماذج الفرن: مسار مخصص حيث يتم تخزين النماذج.
• أولاما_الأصولالتحكم في CORS للسماح أو تقييد المصادر التي تستدعي واجهة برمجة التطبيقات (API).
• أولاما_ابقوا_على_الحياة: الوقت الذي يبقى فيه النموذج محملاً في الذاكرة بعد آخر طلب.
• OLLAMA_DEBUGقم بتفعيل وضع التصحيح لعرض المزيد من التفاصيل في السجلات.

في توزيعات لينكس التي تستخدم systemd، يتمثل النهج المعتاد في تعديل تكوين الخدمة باستخدام سودو systemctl تحرير rocama.serviceأضف الأسطر الموجودة أسفل [الخدمة] مع المتغيرات المطلوبة (البيئة="OLLAMA_HOST=0.0.0.0:11434", إلخ)، ثم احفظ الملف وشغّله. sudo systemctl daemon-loading y sudo systemctl restart ollama.

إدارة النماذج في أولاما: التنزيل والتشغيل والإدارة

بمجرد تشغيل الخدمة، يصبح سير العمل الأساسي مع أولاما بسيطًا للغاية: قم بتنزيل النماذج وتشغيلها والاستعلام عنها عبر واجهة برمجة التطبيقات، وإذا لزم الأمر، احذفها أو استنسخها. لتخصيصها.

قم بتنزيل القوالب

لتنزيل نموذج من سجل أولاما، يتم استخدام الأمر التالي: سحب أولاماعلى سبيل المثال:

ollama pull llama3.2:1b

إذا أدخلت الاسم فقط بدون الوسم، فسيتم تنزيل النسخة المحددة. آخروهو ما يمثل عادةً مزيجًا متوازنًا من الحجم والدقة. على موقع أولاما الإلكتروني، يمكنك تصفية النماذج حسب الموضوع (الدردشة، البرمجة، الرؤية، التفكير، إلخ)، وستجد ضمن كل موضوع عدة علامات مهمة:

• حجم (1B، 3B، 7B، 13B، 32B، 70B…): عدد معلمات النموذج، والتي تؤثر على كل من الجودة والموارد التي يحتاجها.
• توضيح (q2_K, q4_K_M, q8_0, fp16…): يشير إلى مخطط الضغط؛ كلما كان البت أصغر وكلما كان التكميم أكثر قوة، قلت الحاجة إلى الذاكرة وفقد بعض الدقة.
• المتغير الوظيفي: التوجيه، والدردشة، والبرمجة، والرؤية، وما إلى ذلك، مما يحدد نوع المهمة التي تم ضبطها من أجلها.

تسجيل الدخول

لبدء جلسة تفاعلية مع نموذج، يمكنك استخدام نموذج أولاما للجريإذا لم يتم تنزيل النموذج، فسيتم تنزيله أولاً، ثم ستظهر نافذة في الطرفية حيث يمكنك كتابة أسئلتك. يوجد في هذا الوضع أوامر خاصة مثل: /مساعدة, /تعيين المعلمة, /يعرض (لعرض القالب، والمعلمات، والترخيص)، /يحفظ y /حمولة من الجلسات، أو /الوداع للخروج.

يسمح أولاما أيضًا مرر الموجه كوسيط مباشر دون الدخول إلى الوضع التفاعلي، وهو أمر ملائم للغاية للبرامج النصية أو عمليات التكامل السريع، على سبيل المثال:

ollama run llama3.2:1b "تلخيص هذا الملف: $(cat README.md)"

تحقق من الطرازات المثبتة

لمعرفة الطرازات المثبتة على الجهاز، يمكنك استخدام قائمة العلماءوالذي يعرض الاسم، والمعرّف، والحجم، وتاريخ التعديل. إذا كنت بحاجة إلى معلومات تفصيلية حول نموذج (البيانات الوصفية، والقالب الكامل، والمعلمات الافتراضية)، فإن الأمر هو أولاما عرض اسم النموذج.

عندما لا تعود بحاجة إلى قالب أو تحتاج إلى تحرير مساحة على القرص، يمكنك حذفه باستخدام ollama rm model_nameوإذا كنت ترغب في إنشاء نسخة خاصة بك من نسخة أخرى (على سبيل المثال، لتغيير مطالبات النظام أو القوالب أو المعلمات)، فلديك أولاما سي بي، والذي يقوم بنسخ بيان النموذج دون تكرار ملف الأوزان فعليًا، مما يوفر مساحة كبيرة.

كما أنه مفيد جداً للبيئات الداخلية. أولاما بي إسيُظهر هذا النماذج المحملة في الذاكرة، وحجم المساحة التي تشغلها، وما إذا كانت تعمل على وحدة المعالجة المركزية أو وحدة معالجة الرسومات. ومن ثم، يمكنك مراقبة ما هو نشط في أي وقت وإيقافه باستخدام... أولاما ستوب موديل_اسم عندما لا تحتاج إليه.

نماذج مجانية موصى بها ومعايير الاختيار

تكمن روعة استخدام أولاما في إمكانية العمل مع مجموعة ضخمة من نماذج مفتوحة عالية الجودةيتم نشر العديد منها بموجب تراخيص مجانية تسمح باستخدامها وتعديلها وإعادة توزيعها دون قيود كثيرة.

لكي يُعتبر نموذج ما حراً حقاً، فإنه عادةً ما يكون مطلوباً منه أن يمكن تنزيل أوزانهم بدون قيودأن يكون الكود المصدري متاحًا، وأن يستخدم تراخيص برمجيات حرة (مثل MIT، وApache 2.0، وGPL)، وألا يفرض قيودًا مفرطة على الاستخدام. ومن الأمثلة المثيرة للاهتمام ضمن بيئة Ollama ما يلي:

• ديب سيك-R1: مع الأوزان بموجب ترخيص MIT، يسمح ذلك بالاستخدام التجاري واستنباط نماذج جديدة (بما في ذلك التقطير) دون مشاكل.
• فاي -4نموذج مايكروسوفت ذو 14 مليار معلمة، تم تدريبه باستخدام بيانات اصطناعية ومصادر عامة، وهو أيضاً تحت إشراف معهد ماساتشوستس للتكنولوجيا، مفيد جداً للمهام العامة.
• ميسترال 7 بيتم توزيعه بموجب ترخيص Apache 2.0، مع متغيرات التعليمات والإكمال، وهو سريع ومتوازن للغاية من حيث الجودة/الأداء.
• كوين2.5: عائلة بأحجام تتراوح من 0.5 بايت إلى 72 بايت، معظمها تحت رخصة Apache 2.0 باستثناء بعض الأحجام المرخصة بموجب Qwen.

عند التفكير في النموذج الذي ستستخدمه أو تُحسّنه لشركتك، فإن الحجم والترخيص ليسا العاملين الوحيدين المهمين: يجب عليك أيضًا النظر في المهمة المحددةبالنسبة للدردشة العامة والمساعدين المؤسسيين، عادةً ما تعمل Llama 3 أو Mistral أو Gemma أو Qwen بشكل جيد للغاية؛ أما بالنسبة لتوليد التعليمات البرمجية، فتبرز متغيرات مثل [أدخل المتغير هنا]. CodeLlama أو DeepSeek-Coderلتحليل أو تلخيص النصوص، تميل النماذج المصنفة على أنها [أنواع النماذج] إلى الأداء بشكل أفضل. أمروإذا كنت بحاجة إلى العمل مع الصور (متعددة الوسائط)، فسيتعين عليك استخدام نماذج محددة مثل Llava أو Moondream أو Bakllava.

ومنذ ذلك الحين، أصبحت الأدلة هي الأهم: قم بالقياس على مجموعة البيانات الخاصة بك وحالات الاستخدام الخاصة بك كيف يؤدي كل نموذج، من حيث وقت الاستجابة وجودة الإخراج، حتى تتمكن من اختيار النموذج الذي يناسب احتياجاتك على أفضل وجه.

تدريب النماذج وضبطها بدقة للاستخدام الداخلي

يُعدّ استخدام النماذج كما هي من سجل أولاما أمرًا جيدًا في البداية، ولكن بمجرد أن ترغب في أن يتحدث الذكاء الاصطناعي لغة عملك، أو يدير عملياتك، أو يتبنى نبرة معينة، يدخل الضبط الدقيق حيز التنفيذالأمر لا يتعلق بتدريب نموذج خطي من الصفر (فهذا موضوع مختلف تمامًا)، بل يتعلق بضبط نموذج أساسي باستخدام بياناتك الخاصة.

الطريقة الأكثر شيوعًا للقيام بذلك بتكلفة معقولة هي استخدام لورا (التكيف منخفض الرتبة)يُضيف هذا طبقات إضافية خفيفة الوزن فوق النموذج الأصلي. تتعلم هذه الطبقات "الاختلافات" التي ترغب في إدخالها دون التأثير على الأوزان الأساسية، مما يقلل بشكل كبير من تكاليف التدريب ويسمح لك بتطبيق التغييرات دون فقدان الفهم العام للنموذج.

المكتبات مثل قنفذ البحريُسهّل هذا الأمر إعداد مجموعات البيانات وضبط النماذج مثل Mistral-7B. وتتلخص الفكرة في إعداد مجموعة من الأمثلة بالتنسيق المناسب (عادةً JSONL مع حقول الدور والمحتوى، وفقًا لمخطط النظام/المستخدم/المساعد) والتي تُمثل المحادثات أو الاستجابات المثالية لحالة الاستخدام الخاصة بك.

في ملف التكوين (على سبيل المثال، config.yaml) يمكنك تحديد أشياء مثل:

• المحول: لورا للإشارة إلى أنك ستستخدم LoRA.
• base_model: ميسترالاي/ميسترال-7B-v0.1 أو طراز متوافق آخر.
• load_in_8bit: true لتوفير الذاكرة أثناء التدريب.
• قواعد البيانات مع مسار مجموعة البيانات وتعيين عمود الدور/المحتوى.

من حيث الأجهزة، فإن ضبط نموذج بهذا الحجم بدقة يتطلب ذلك عادةً وحدة معالجة رسومات جيدةإذا لم يكن لديك جهاز A100 أو ما شابهه في المنزل، فإن حلولًا مثل RunPod وColab وKaggle أو الآلات الافتراضية السحابية التي تعتمد على وحدة معالجة الرسومات (GPU) تتيح لك استئجار قوة معالجة بالساعة. مقابل بضعة يورو فقط، يمكنك تدريب عدة نماذج من LoRa إذا لم تكن مجموعة البيانات ضخمة.

من النموذج المُحسّن إلى GGUF ونشره في أولاما

بعد حصولك على نموذج "الوجه المحتضن" المدمج، فإن الخطوة التالية لتقديمه في أولاما هي قم بتحويله إلى تنسيق GGUFوهو الذي يستخدمه llama.cpp، وبالتالي Ollama، لإجراء استدلال فعال على وحدات المعالجة المركزية ووحدات معالجة الرسومات الخاصة بالمستهلكين.

يُستخدم البرنامج النصي للتحويل convert_hf_to_gguf.pyتحديد مجلد النموذج المدمج، ونوع التكميم (على سبيل المثال، q8_0)، واسم ملف GGUF الناتج. شيء من هذا القبيل:

python3 convert_hf_to_gguf.py merged/ –outfile model_q8_0.gguf –outtype q8_0

هذا الملف الناتج، المُكمّم والمضغوط، هو ما ستقوم بنسخه إلى مجلد نماذج Ollama. إذا كنت تستخدم Ollama داخل حاوية Docker مزودة بوحدة معالجة رسومية (GPU)، فإن أسهل طريقة هي تجميع مجلد بين نظامك والحاوية، بحيث يكون ملف GGUF متاحًا داخل /root/.ollama/models أو المسار الذي قمت بتكوينه.

تتم عملية تنسيق Docker عادةً باستخدام عامل ميناء-compose.yml شغّل حاوية Ollama، وافتح المنفذ 11434، وقم بتثبيت مجلد النماذج، وإذا لزم الأمر، حدد استخدام وحدة معالجة الرسومات (GPU). من تلك اللحظة فصاعدًا، ستعمل الحاوية تمامًا مثل التثبيت الأصلي: فهي تستجيب لطلبات واجهة برمجة تطبيقات HTTP وتقوم بتحميل النماذج من المسار المشترك.

لكي يتمكن نظام أولاما من "رؤية" النموذج المخصص الخاص بك، عليك إنشاء ملف النموذج (يشبه إلى حد كبير ملف Dockerfile) حيث تحدد ملف GGUF المراد استخدامه، والمعلمات الافتراضية التي سيحتويها، وقالب المطالبة المراد تطبيقه. مثال بسيط على ملف Modelfile:

من ملف model_q8_0.gguf
المعلمة درجة الحرارة 0.7
المعامل top_p 0.9
المعلمة top_k 40
المعلمة num_ctx 4096

بعد إنشاء ملف النموذج في المجلد المناسب، يمكنك تسجيل النموذج في أولاما باستخدام ollama create model_name -f path/Modelfileمن تلك اللحظة فصاعدًا، يمكنك استخدامه مثل أي شيء آخر، سواء في الطرفية (ollama run model_name) أو عبر واجهة برمجة التطبيقات أو من واجهات رسومية مثل Open WebUI.

تقديم النماذج بشكل آمن: واجهة برمجة التطبيقات المحلية، وواجهة المستخدم المفتوحة على الويب، وتقنية n8n، وغيرها.

بعد تدريب النموذج وتحديد كميته وتسجيله في أولاما، يبدأ الجزء الممتع: ضعها في خدمة تطبيقاتك الداخليةيوفر Ollama واجهة برمجة تطبيقات HTTP على المنفذ 11434، مع نقاط نهاية لتوليد النصوص ووظائف أخرى، كما يوفر وضع توافق مع واجهة برمجة تطبيقات OpenAI، مما يسهل دمج النماذج المحلية في التطبيقات التي كانت تتصل في الأصل بالسحابة.

إذا كنت ترغب في واجهة رسومية لفريقك على غرار ChatGPT، فإن Open WebUI خيار شائع جدًا. يتم نشره بسهولة باستخدام Docker، حيث يشير إلى الواجهة الخلفية لـ Ollama باستخدام عنوان URL للخادم (على سبيل المثال، http://localhost:11434 أو http://host.docker.internal:11434 إذا كان داخل حاوية أخرى)، ويتيح للمستخدمين اختر الطراز، وقم بإدارة سجلاتك، وقم بضبط المعلمات، وتحدث مع الآخرين. دون لمس الجهاز الطرفي.

للحصول على أتمتة أكثر تقدماً، يُستخدم n8n كمنسق للتدفقات. بفضل عقدة Ollama الأصلية، يمكنك استدعاء النماذج المحلية ضمن سير العمل التي تقرأ رسائل البريد الإلكتروني، وتعالج ملفات PDF، وتستعلم عن واجهات برمجة التطبيقات الخارجية أو تقوم بتحديث قواعد البيانات، كل ذلك مع الحفاظ على البيانات الحساسة داخل بنيتك التحتية.

يكمن مفتاح ربط n8n مع Ollama في ضبط المتغير بشكل صحيح أولاما_هوست على خادم الذكاء الاصطناعي (على سبيل المثال، 0.0.0.0:11434)، وفي بيانات اعتماد n8n، حدد العنوان الصحيح (localhost إذا كانا يشتركان في نفس المضيف، أو host.docker.internal إذا كان n8n يعمل داخل Docker). بعد ذلك، ما عليك سوى تحديد النموذج على كل عقدة وإنشاء المطالبات من المعلومات المتدفقة خلال سير العمل.