मुख्य सामग्री पर जाएं

स्थानीय AI मॉडलों के साथ चैट

##locally-स्थानीय AI मॉडल क्यों?

स्थानीय रूप से AI मॉडलों के साथ काम करना महत्वपूर्ण लाभ देता है:

  • इनहेरेंट सेफ - आपका डेटा आपके ही कंप्यूटर पर रहता है और कभी भी बाहरी सर्वरों पर नहीं भेजा जाता
  • कोई अतिरिक्त लागत नहीं - स्थानीय मॉडलों के पास उपयोग प्रति API-लागत नहीं होती
  • गोपनीयता की गारंटी - संवेदनशील दस्तावेज़ों और जानकारी के लिए आदर्श

Ollama क्यों?​

Ollama एक टूल है जो आपको सरलता से AI मॉडलों को स्थानीय रूप से चलाने की अनुमति देता है। इसे हर कंप्यूटर पर अलग से इंस्टॉल किया जाता है, जिससे उपयोगकर्ताओं की संख्या के बारे में कोई सीमा नहीं होती - साझा सर्वर की आवश्यकता नहीं।

Ollama इंस्टॉल करें​

  1. Ollama डाउनलोड पेज पर जाएँ
  2. अपने ऑपरेटिंग सिस्टम (Windows, macOS या Linux) के लिए संस्करण डाउनलोड करें
  3. इंस्टॉलर के निर्देशों का पालन करके Ollama इंस्टॉल करें
  4. इंस्टॉल के बाद Ollama पृष्ठभूमि में स्वतः चलने लगता है

एक भाषा मॉडल इंस्टॉल करना​

Ollama इंस्टॉल करने के बाद कम से कम एक भाषा मॉडल डाउनलोड करना आवश्यक है:

  1. Ollama इंटफेस खोलें (सिस्टम ट्रे आइकन या टर्मिनल के माध्यम से)
  2. पसंद के अनुसार एक भाषा मॉडल डाउनलोड करें

अनुशंसित मॉडल​

ऐसे मॉडल को प्राथमिकता दें जिसमें टूल और विजन क्षमताएं हों:

  • Tool capabilities - मॉडल एप्लिकेशन में उपलब्ध सभी टूल्स का उपयोग कर सकता है, जैसे इंटरनेट सर्च और इमेज जनरेशन
  • Vision capabilities - मॉडल छवियों को विश्लेषित कर सकता है और वर्णन दे सकता है
अनुशंसित मॉडल

qwen3-vl:4b швид गति और टूल/vision क्षमताओं के बीच अच्छा संतुलन देता है। इस मॉडल को टर्मिनल से इंस्टॉल करें:

ollama pull qwen3-vl:4b

हार्डवेयर के आधार पर मॉडल चुनना​

मॉडल की प्रदर्शन आपके कंप्यूटर के हार्डवेयर पर बहुत निर्भर करती है:

हार्डवेयरअनुशंसा
सीमित (8GB RAM, GPU नहीं)छोटे मॉडल चुनें (1-4B पैरामीटर)
मध्यम (16GB RAM, बेस GPU)मॉडल तक 7B पैरामीटर
शक्तिशाली (32GB+ RAM, मॉडर्न GPU)बड़े मॉडल संभव (13B+)
गति बनाम गुणवत्ता

छोटा मॉडल आम तौर पर गति में बेहतर होता है, पर अधिक सटीक उत्तर नहीं दे सकता। अपनी स्थिति के लिए सर्वोत्तम संतुलन खोजने के लिए परीक्षण करें।

डेस्कटॉप एप्लिकेशन में कॉन्फ़िगरेशन​

जैसे ही Ollama चालू होता है और एक मॉडल स्थापित होता है, डेस्कटॉप एप्लिकेशन इसे स्वचालित रूप से Detect कर लेता है। आप चैट में स्थानीय मॉडल को क्लाउड मॉडलों के विकल्प के रूप में चुन सकते हैं।

टूल/विजन सपोर्ट वाले उपलब्ध मॉडल​

पूर्ण सूची के लिए देखें ollama.com/library. मॉडल्स को फ़िल्टर करें:

  • Tools टैग टूल क्षमताओं के लिए
  • Vision टैग इमेज-रिकग्निशन के लिए

लोकप्रिय विकल्प:

  • qwen3-vl:4b - कॉम्पैक्ट, तेज़, टूल + विजन
  • llama3.2-vision - विज़न क्षमताएं
  • mistral - तेज सामान्य कार्य