Local LLM adalah model bahasa yang berjalan di komputermu sendiri, bukan di server penyedia AI. Cara termudah memulainya adalah dengan Ollama: pasang aplikasinya, unduh model dengan satu perintah, lalu ajak bicara lewat terminal atau API lokal. Data tidak keluar dari laptop, bisa dipakai tanpa internet, dan tidak ada biaya per token.

Panduan ini fokus pada praktik dengan Ollama. Kalau kamu masih menimbang apakah local LLM cocok dan hardware apa yang dibutuhkan, baca dulu panduan memilih local LLM.

Yang Dibutuhkan

  • RAM minimal 8 GB untuk model kecil (1 sampai 4 miliar parameter). 16 GB lebih nyaman untuk model 7 sampai 8 miliar parameter.
  • Ruang disk beberapa GB per model.
  • GPU opsional. Kartu NVIDIA, GPU AMD yang didukung, atau chip Apple Silicon membuat jawaban jauh lebih cepat. Tanpa GPU tetap bisa jalan, hanya lebih lambat.

Langkah 1: Instal Ollama

  • Windows dan Mac: unduh installer dari situs resmi ollama.com, jalankan, selesai.
  • Linux: jalankan skrip instalasi resmi dari situs Ollama.

Cek instalasi di terminal:

ollama --version

Langkah 2: Pilih Model Local LLM Sesuai RAM

Model di Ollama umumnya sudah dikuantisasi (dikompres) sehingga ukurannya jauh lebih kecil dari versi aslinya. Patokan kasar:

RAM laptopUkuran model yang nyamanContoh keluarga model
8 GB1B sampai 4B parameterLlama 3.2 3B, Gemma kecil, Qwen kecil, Phi
16 GB7B sampai 8BLlama 3.1 8B, Qwen 7B, Mistral 7B
32 GB atau lebih13B sampai 30BVarian menengah Qwen, Gemma, Mistral

Daftar dan nama tag model terbaru ada di halaman library Ollama. Untuk percakapan bahasa Indonesia, coba beberapa model karena kemampuan bahasa Indonesianya berbeda-beda.

Langkah 3: Unduh dan Jalankan

# unduh model
ollama pull llama3.2

# mulai percakapan di terminal
ollama run llama3.2

# lihat model yang sudah terpasang
ollama list

# hapus model yang tidak dipakai
ollama rm llama3.2

Setelah ollama run, ketik pertanyaan langsung. Ketik /bye untuk keluar.

Langkah 4: Pakai Lewat API Lokal

Ollama menjalankan server di http://localhost:11434. Aplikasi apa pun di komputermu bisa memanggilnya.

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Ringkas: rapat dipindah ke Kamis jam 10."}],
  "stream": false
}'

Ollama juga menyediakan endpoint yang kompatibel dengan format OpenAI di /v1. Artinya, kode yang sudah memakai SDK OpenAI bisa diarahkan ke model lokal hanya dengan mengganti base URL:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
jawaban = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "Tulis 3 ide judul untuk artikel tentang Excel."}],
)
print(jawaban.choices[0].message.content)

Respons API berbentuk JSON. Untuk membacanya lebih mudah saat debugging, rapikan dengan Format JSON.

Langkah 5: Antarmuka Chat yang Nyaman

Kalau terminal terasa kaku, pasang antarmuka grafis yang terhubung ke Ollama, misalnya Open WebUI, atau pakai aplikasi desktop Ollama terbaru yang sudah punya jendela chat. Sebagai alternatif, LM Studio menyediakan aplikasi lengkap dengan pengunduh model dan jendela chat dalam satu paket.

Contoh Pemakaian Nyata

  • Merangkum dokumen internal yang tidak boleh dikirim ke layanan luar.
  • Merapikan catatan rapat saat bekerja tanpa koneksi internet.
  • Asisten coding ringan di editor lewat ekstensi yang mendukung Ollama.
  • Prototipe aplikasi AI tanpa biaya API selama pengembangan.
  • Tanya jawab dokumen dengan menggabungkannya bersama RAG.

Kesalahan yang Sering Terjadi

  • Memilih model terlalu besar. Kalau model tidak muat di RAM, laptop menjadi sangat lambat karena memakai memori disk. Turun satu ukuran.
  • Membandingkan dengan model cloud terbesar. Model 3B atau 8B tidak akan sepintar model cloud terbaru untuk penalaran rumit. Gunakan untuk tugas yang cocok: meringkas, merapikan, mengklasifikasi, menjawab dari konteks.
  • Membuka port Ollama ke jaringan publik tanpa pengaman. Secara default Ollama hanya mendengarkan localhost; biarkan begitu kecuali kamu paham konfigurasi jaringannya.
  • Lupa model memakan disk. Beberapa model besar bisa menghabiskan puluhan GB. Hapus yang tidak dipakai dengan ollama rm.

Langkah Berikutnya

Setelah model lokal berjalan, manfaatkan untuk tugas yang datanya sensitif. Untuk menulis instruksi yang tepat ke model kecil, prinsipnya sama dengan model besar: lihat cara prompting yang benar.