Cara Install Ollama di VPS Pakai Docker: Jalanin LLM Sendiri Tanpa GPU

Ollama di VPS Itu Bukan Cuma Buat yang Punya GPU Mahal

Banyak yang mikir jalanin AI model sendiri itu wajib punya GPU kelas RTX 4090. Padahal enggak juga bro. Ollama di VPS yang cuma modal CPU dan RAM secukupnya udah bisa kepake buat ngejalanin model kecil kayak Llama 3.2 atau Qwen2.5 versi ringan. Emang gak secepat kalau pakai GPU. Tapi buat coba-coba, automasi internal, atau chatbot kecil di server sendiri, ini udah lebih dari cukup. Di artikel ini bakal dibahas cara install Ollama di VPS pakai Docker, mulai dari setup sampai milih model yang masuk akal buat spek server yang biasa-biasa aja.

Kenapa Jalanin LLM Sendiri, Bukan Pakai API Berbayar

Sebelum buru-buru install, ada baiknya tau dulu alasan orang mulai pindah dari API berbayar ke model open-source yang di-host sendiri. Yang paling kerasa itu soal data. Apalagi kalau kerjaan kamu megang infrastruktur yang isinya data internal atau punya klien, ngirim prompt yang isinya data sensitif ke API pihak ketiga itu bukan pilihan yang enak. Selain itu biayanya jadi predictable, soalnya gak ada tarif per-token yang bisa meledak begitu aja kalau trafficnya naik. Tapi jujur aja, kualitas jawabannya emang belum bisa nyaingin model besar kayak GPT-4 atau Claude versi terbaru. Jadi ini lebih cocok buat automasi internal, drafting, atau eksperimen, ketimbang kebutuhan production-critical yang butuh akurasi tinggi.

Cara Install Ollama di VPS Pakai Docker

Kalau Docker di VPS kamu belum jalan, install dulu ya. Baca Cara Install Docker di Ubuntu VPS biar gak keder. Setelah Docker siap, jalanin Ollama itu gampang banget. Cukup satu command buat versi CPU-only:

docker run -d 
  -v ollama:/root/.ollama 
  -p 11434:11434 
  --name ollama 
  ollama/ollama

Command di atas bikin volume ollama buat nyimpen model biar gak ke-download ulang tiap container restart. Terus expose port 11434 yang jadi port default Ollama API. Kalau lebih nyaman pakai Docker Compose, dan biasanya emang lebih rapi buat jangka panjang, bikin file docker-compose.yml kayak gini:

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ollama:/root/.ollama

volumes:
  ollama:

Jalanin dengan docker compose up -d. Terus cek statusnya pakai docker ps buat mastiin container ollama beneran up dan gak restart-loop.

Model Mana yang Kepake Buat VPS Tanpa GPU

Ini bagian yang sering keliru di kebanyakan tutorial serupa. Nyoba narik model gede kayak llama3.1:70b di VPS 4GB RAM ya jelas gak bakal jalan. Container-nya bakal kena OOM duluan sebelum sempet jawab apa-apa. Buat VPS CPU-only, target model yang ukurannya di bawah 4B parameter, misalnya llama3.2:3b, qwen2.5:3b, atau phi3:mini. Model-model ini didesain biar tetep responsif walau tanpa GPU. Minimal RAM yang disaranin sekitar 8GB, soalnya model butuh dimuat penuh ke memory pas dijalanin. Belum lagi overhead dari sistem dan container lain yang mungkin udah jalan di server yang sama.

docker exec -it ollama ollama run llama3.2

Command itu otomatis narik model kalau belum ada, terus langsung masuk mode chat interaktif di terminal. Ditunggu aja beberapa menit di percobaan pertama, soalnya proses download modelnya lumayan gede.

Ngetes API-nya Langsung dari Terminal

Ollama gak cuma bisa dipakai lewat CLI. API-nya juga jalan di port 11434 dan formatnya gampang diintegrasiin ke tool lain. Coba tes pakai curl:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Jelasin apa itu Docker dalam satu kalimat",
  "stream": false
}'

Kalau responsnya balik dalam format JSON berisi teks jawaban, berarti API-nya udah kepake dengan bener. Ini yang bikin Ollama enak diintegrasiin ke workflow automation kayak n8n. Tinggal pasang satu node HTTP Request yang nembak endpoint ini buat ngolah teks, bikin draft otomatis, atau ngerangkum log. Dengan begitu, data sensitif tetep muter di infrastruktur sendiri dari awal sampai akhir, gak perlu kirim keluar server.

Amanin Port Ollama Biar Gak Kebuka ke Publik

Default-nya, port 11434 itu gak punya autentikasi sama sekali. Siapa aja yang bisa nyampe ke port itu otomatis bisa makai API kamu gratis. Itu bisa bikin resource server abis cuma buat ngelayanin request orang lain. Masalahnya banyak tutorial yang lewatin bagian ini, padahal ini yang paling penting kalau VPS-nya punya IP publik. Paling gampang, blokir akses dari luar pakai UFW dan cuma izinin localhost atau IP tertentu aja:

sudo ufw deny 11434
sudo ufw allow from 127.0.0.1 to any port 11434

Kalau butuh akses dari luar server, misalnya dari laptop buat development, pertimbangin pakai Tailscale. Atau bikin reverse proxy dengan autentikasi di depannya, daripada expose port mentah-mentah ke internet.

Kendala yang Sering Muncul Pas Ngejalanin Ollama di VPS

• Container mati sendiri atau kena OOM killed – modelnya kegedean buat RAM yang ada. Turunin ke versi model yang lebih kecil atau tambahin swap file di VPS-nya.
• Respons lambat banget – ini wajar di CPU-only, apalagi buat model di atas 7B parameter. Kalau butuh lebih cepat, pertimbangin VPS dengan vCPU lebih banyak atau turun ke model yang lebih ringan.
• Port 11434 bentrok sama service lain – tinggal ganti port mapping-nya, misalnya jadi -p 11435:11434 di command docker run.
• Model ke-reset abis container restart – biasanya volume-nya gak ke-mount dengan bener. Cek ulang pakai docker volume ls buat mastiin volume ollama beneran nempel ke container.

Worth Dicoba Gak Buat Server Kecil?

Jujur, jalanin LLM di VPS tanpa GPU itu ada batasnya. Jangan berharap performanya bakal secepat ChatGPT atau Claude versi web. Tapi buat kebutuhan kayak automasi internal, drafting konten, atau eksperimen belajar AI tanpa keluar biaya API bulanan, Ollama di VPS udah cukup buat mulai. Ujung-ujungnya balik lagi ke kebutuhan masing-masing. Kalau cuma butuh coba-coba atau proyek kecil, setup se-simple ini biasanya udah kepake, dan bisa di-scale belakangan begitu memang butuh performa lebih.