VPS पर निजी AI मॉडल चलाना: DeepSeek और Llama गाइड

AI हमारे काम करने के तरीके को बदल रहा है, लेकिन ChatGPT जैसे क्लाउड-आधारित मॉडल का उपयोग करने का अर्थ है कॉर्पोरेशन्स के साथ अपना संवेदनशील डेटा साझा करना। वर्तमान चलन लोकल AI है। Hiddence के उच्च-प्रदर्शन वाले VPS (विशेष रूप से हमारे Ryzen 9 और Intel Core i9 प्लान) के साथ, आप अपने संकेतों और डेटा को 100% निजी रखते हुए क्लाउड में अपनी स्वयं की खुफिया एजेंसी चला सकते हैं।

हार्डवेयर आवश्यकताएँ

LLMs को RAM और तेज़ CPUs की आवश्यकता होती है। हम अनुशंसा करते हैं:

• न्यूनतम: 7B/8B मॉडल के लिए 16GB RAM (Llama 3, DeepSeek-7B)
• अनुशंसित: बड़े मॉडल या उच्च संदर्भ (context) के लिए 32GB+ RAM
• CPU: GPU के बिना तेज़ निष्कर्ष (inference) के लिए आधुनिक AMD Ryzen 9 या Intel Core i9

1. Ollama इंस्टॉल करें

लिनक्स पर LLMs चलाने का सबसे आसान तरीका Ollama है।

curl -fsSL https://ollama.com/install.sh | sh

2. अपना मॉडल डाउनलोड करें

कोडिंग और सामान्य कार्यों के लिए, DeepSeek-R1 एक शीर्ष प्रदर्शनकर्ता है। सामान्य चैट के लिए, Llama 3 उत्कृष्ट है।

ollama pull deepseek-r1:8b
# या
ollama pull llama3

3. API के माध्यम से उजागर करें (सुरक्षित रूप से)

Ollama एक OpenAI-संगत API प्रदान करता है। इसे ओपन वेब पर उजागर किए बिना अपनी स्थानीय मशीन से सुरक्षित रूप से एक्सेस करने के लिए आप इसे SSH के माध्यम से टनल कर सकते हैं।

ssh -L 11434:localhost:11434 root@your-vps-ip
# अब अपने स्थानीय ऐप्स में http://localhost:11434 एक्सेस करें