Покретање приватних AI модела на VPS-у: Водич за DeepSeek и Llama
Сазнајте како покренути моћне LLM-ове као што су DeepSeek-R1 и Llama 3 на властитом VPS-у за потпуну приватност података.

AI трансформише начин на који радимо, али коришћење модела темељених на облаку као што је ChatGPT значи дељење ваших осетљивих података са корпорацијама. Тренутни тренд је Локални AI. Са VPS-ом високих перформанси из Hiddence-а (посебно наши Ryzen 9 и Intel Core i9 планови), можете водити властиту обавештајну агенцију у облаку, држећи своје упуте и податке 100% приватнима.
Хардверски захтеви
LLM-ови требају RAM и брзе CPU-е. Препоручујемо:
- Минимум: 16GB RAM-а за 7B/8B моделе (Llama 3, DeepSeek-7B)
- Препоручено: 32GB+ RAM-а за веће моделе или већи контекст
- CPU: Модерни AMD Ryzen 9 или Intel Core i9 за брзо закључивање без GPU-а
1. Инсталирајте Ollama
Ollama је најлакши начин за покретање LLM-ова на Linux-у.
curl -fsSL https://ollama.com/install.sh | sh2. Преузмите свој модел
За кодирање и опште задатке, DeepSeek-R1 је врхунски извођач. За општи разговор, Llama 3 је изврсна.
ollama pull deepseek-r1:8b
# ИЛИ
ollama pull llama33. Изложите путем API-ја (Сигурно)
Ollama пружа API компатибилан са OpenAI-јем. Можете га тунелирати путем SSH-а како бисте му сигурно приступили са вашег локалног строја без излагања отвореном вебу.
ssh -L 11434:localhost:11434 root@your-vps-ip
# Сада приступите http://localhost:11434 у својим локалним апликацијама