Pagpapatakbo ng Private AI Models sa VPS: DeepSeek & Llama Guide

Binabago ng AI kung paano tayo nagtatrabaho, ngunit ang paggamit ng mga cloud-based na modelo tulad ng ChatGPT ay nangangahulugan ng pagbabahagi ng iyong sensitibong data sa mga korporasyon. Ang kasalukuyang trend ay Local AI. Gamit ang high-performance VPS mula sa Hiddence (lalo na ang aming mga planong Ryzen 9 at Intel Core i9), maaari mong patakbuhin ang sarili mong intelligence agency sa cloud, na pinapanatili ang iyong mga prompt at data na 100% pribado.

Mga Kinakailangan sa Hardware

Ang mga LLM ay nangangailangan ng RAM at mabilis na mga CPU. Inirerekomenda namin:

• Minimum: 16GB RAM para sa 7B/8B models (Llama 3, DeepSeek-7B)
• Inirerekomenda: 32GB+ RAM para sa mas malalaking modelo o mas mataas na context
• CPU: Modernong AMD Ryzen 9 o Intel Core i9 para sa mabilis na inference nang walang GPU

1. I-install ang Ollama

Ang Ollama ang pinakamadaling paraan upang magpatakbo ng mga LLM sa Linux.

curl -fsSL https://ollama.com/install.sh | sh

2. I-download ang Iyong Modelo

Para sa coding at mga pangkalahatang gawain, ang DeepSeek-R1 ay isang nangungunang gumaganap. Para sa pangkalahatang chat, mahusay ang Llama 3.

ollama pull deepseek-r1:8b
# O
ollama pull llama3

3. I-expose sa pamamagitan ng API (Securely)

Nagbibigay ang Ollama ng API na katugma sa OpenAI. Maaari mo itong i-tunnel sa pamamagitan ng SSH upang ma-access ito nang secure mula sa iyong lokal na makina nang hindi ito inilalantad sa open web.

ssh -L 11434:localhost:11434 root@your-vps-ip
# Ngayon i-access ang http://localhost:11434 sa iyong mga lokal na app

Nagpapatakbo ka na ngayon ng sovereign AI stack. Walang mga pagtagas ng data, walang censorship, at kumpletong kontrol sa iyong digital na utak. Mag-upgrade sa isang Hiddence Dedicated Server kung kailangan mong magpatakbo ng napakalaking 70B+ na modelo!