Janvāris 13, 2026Ceļveži

Privāto AI modeļu darbināšana VPS: DeepSeek & Llama ceļvedis

Uzziniet, kā darbināt jaudīgus LLM, piemēram, DeepSeek-R1 un Llama 3, savā VPS, lai nodrošinātu pilnīgu datu privātumu.

AI maina veidu, kā mēs strādājam, bet mākoņos balstītu modeļu, piemēram, ChatGPT, izmantošana nozīmē jūsu sensitīvo datu kopīgošanu ar korporācijām. Pašreizējā tendence ir Vietējais AI. Ar augstas veiktspējas VPS no Hiddence (īpaši mūsu Ryzen 9 un Intel Core i9 plāniem), jūs varat vadīt savu izlūkošanas aģentūru mākonī, saglabājot savus uzvedņus un datus 100% privātus.

Aparatūras prasības

LLM nepieciešams RAM un ātri CPU. Mēs iesakām:

Minimums: 16GB RAM priekš 7B/8B modeļiem (Llama 3, DeepSeek-7B)
Ieteicams: 32GB+ RAM lielākiem modeļiem vai lielākam kontekstam
CPU: Moderns AMD Ryzen 9 vai Intel Core i9 ātrai secināšanai bez GPU

1. Instalējiet Ollama

Ollama ir vienkāršākais veids, kā darbināt LLM operētājsistēmā Linux.

bash

curl -fsSL https://ollama.com/install.sh | sh

2. Lejupielādējiet savu modeli

Kodēšanai un vispārīgiem uzdevumiem DeepSeek-R1 ir labākais veicējs. Vispārīgai sarunai Llama 3 ir lielisks.

bash

ollama pull deepseek-r1:8b
# VAI
ollama pull llama3

3. Atklājiet caur API (Droši)

Ollama nodrošina OpenAI saderīgu API. Jūs varat to tunelēt caur SSH, lai droši piekļūtu tam no savas vietējās mašīnas, neatklājot to atvērtajam tīmeklim.

bash

ssh -L 11434:localhost:11434 root@your-vps-ip
# Tagad piekļūstiet http://localhost:11434 savās vietējās lietotnēs