Januarie 13, 2026Gidse

Loop van privaat AI-modelle op VPS: DeepSeek & Llama Gids

Leer hoe om kragtige LLM's soos DeepSeek-R1 en Llama 3 op jou eie VPS te bestuur vir totale dataprivaatheid.

AI verander hoe ons werk, maar die gebruik van wolkgebaseerde modelle soos ChatGPT beteken dat jy jou sensitiewe data met korporasies deel. Die huidige neiging is Plaaslike AI. Met hoë-prestasie VPS van Hiddence (veral ons Ryzen 9 en Intel Core i9 planne), kan jy jou eie intelligensie-agentskap in die wolk bestuur, en jou aanwysings (prompts) en data 100% privaat hou.

Hardeware Vereistes

LLM's het RAM en vinnige SVE's nodig. Ons beveel aan:

Minimum: 16GB RAM vir 7B/8B modelle (Llama 3, DeepSeek-7B)
Aanbeveel: 32GB+ RAM vir groter modelle of hoër konteks
SVE: Moderne AMD Ryzen 9 of Intel Core i9 vir vinnige inferensie sonder GPU

1. Installeer Ollama

Ollama is die maklikste manier om LLM's op Linux te bestuur.

bash

curl -fsSL https://ollama.com/install.sh | sh

2. Laai jou model af

Vir kodering en algemene take is DeepSeek-R1 'n top-presteerder. Vir algemene klets is Llama 3 uitstekend.

bash

ollama pull deepseek-r1:8b
# OF
ollama pull llama3

3. Stel bloot via API (Veilig)

Ollama bied 'n OpenAI-versoenbare API. Jy kan dit via SSH tonnel om dit veilig vanaf jou plaaslike masjien te verkry sonder om dit aan die oop web bloot te stel.

bash

ssh -L 11434:localhost:11434 root@your-vps-ip
# Verkry nou toegang tot http://localhost:11434 in jou plaaslike toepassings