Local LLM masuk akal ketika datamu tidak boleh keluar dari perangkat, kamu sering bekerja tanpa internet, atau volume pemakaian membuat biaya API terlalu mahal. Kuncinya ada di tiga keputusan: hardware yang tersedia, ukuran model yang muat di memori, dan tools untuk menjalankannya. Panduan ini membantu memilih ketiganya sebelum mulai.
Kalau sudah siap praktik, lanjut ke tutorial local LLM dengan Ollama.
Kapan Local LLM Lebih Baik daripada AI Cloud
| Pertimbangan | Local LLM | AI cloud (ChatGPT, Claude, Gemini) |
|---|---|---|
| Privasi data | Data tetap di perangkat | Data dikirim ke server penyedia |
| Kemampuan | Baik untuk tugas umum, terbatas untuk penalaran rumit | Model paling kuat |
| Biaya | Hardware di awal, lalu nyaris gratis | Langganan atau per token |
| Internet | Tidak perlu | Wajib |
| Perawatan | Kamu yang mengurus | Diurus penyedia |
Banyak tim memakai keduanya: model lokal untuk dokumen sensitif dan tugas rutin bervolume besar, model cloud untuk analisis berat.
Memahami Ukuran Model
Parameter
Angka seperti 3B, 8B, atau 70B adalah jumlah parameter dalam miliar. Semakin besar, umumnya semakin pintar, tetapi butuh memori dan daya komputasi lebih besar.
Kuantisasi
Kuantisasi mengurangi presisi angka di dalam model, misalnya dari 16 bit menjadi 4 bit, sehingga ukurannya menyusut drastis dengan penurunan kualitas yang relatif kecil. Format yang sering ditemui adalah GGUF dengan label seperti Q4_K_M atau Q8_0. Untuk laptop, kuantisasi 4 bit adalah titik awal yang umum.
Perkiraan kebutuhan memori
Patokan kasar untuk model terkuantisasi 4 bit: sekitar 0,6 sampai 0,7 GB per miliar parameter, ditambah ruang untuk konteks percakapan.
| Ukuran model | Perkiraan memori (4 bit) | Hardware yang nyaman |
|---|---|---|
| 3B | 2 sampai 3 GB | Laptop RAM 8 GB |
| 8B | 5 sampai 6 GB | RAM 16 GB atau GPU 8 GB |
| 14B | 9 sampai 10 GB | RAM 32 GB atau GPU 12 GB |
| 30B sampai 32B | 18 sampai 22 GB | GPU 24 GB atau Mac dengan memori besar |
| 70B | 40 GB lebih | Workstation atau server |
Angka di atas perkiraan. Ukuran pasti tercantum di halaman model yang kamu unduh.
Memilih Hardware
- Laptop biasa tanpa GPU khusus: cukup untuk model 1B sampai 8B, kecepatan sedang. Cocok untuk merangkum dan merapikan teks.
- PC dengan GPU NVIDIA: memori GPU (VRAM) adalah faktor utama. Model yang muat penuh di VRAM berjalan jauh lebih cepat.
- Mac dengan Apple Silicon: memori terpadu (unified memory) dipakai bersama CPU dan GPU, sehingga Mac dengan memori besar bisa menjalankan model yang cukup besar.
- Server kantor: untuk dipakai banyak orang sekaligus, satu mesin dengan GPU besar yang melayani tim lewat jaringan internal lebih efisien daripada setiap orang menjalankan model sendiri.
Membandingkan Tools
| Tools | Kelebihan | Cocok untuk |
|---|---|---|
| Ollama | Satu perintah untuk unduh dan jalan, API lokal kompatibel OpenAI | Developer, integrasi ke aplikasi |
| LM Studio | Aplikasi grafis lengkap, pencarian model mudah | Pengguna non-teknis, eksperimen |
| llama.cpp | Mesin di balik banyak tools, sangat bisa diatur | Pengguna lanjut, optimasi |
| vLLM | Throughput tinggi untuk banyak pengguna | Server dengan GPU |
Memilih Model
- Mulai dari keluarga model open-weight yang populer, seperti Llama, Qwen, Gemma, dan Mistral. Versi terbarunya terus berganti, jadi cek library tools yang kamu pakai.
- Uji dengan tugas nyata dalam bahasa Indonesia. Siapkan 10 contoh tugas (merangkum email, membuat notulen, mengklasifikasi keluhan) dan bandingkan beberapa model.
- Perhatikan lisensi. Sebagian model punya ketentuan pemakaian komersial. Baca lisensinya sebelum dipakai untuk produk.
Kesalahan yang Sering Terjadi
- Membeli hardware sebelum menguji. Coba dulu model kecil di perangkat yang ada. Banyak tugas kantor sudah tertangani model 3B sampai 8B.
- Mengira lokal otomatis aman. Model lokal tetap perlu pengamanan akses kalau dibuka ke jaringan kantor.
- Mengharapkan kualitas setara model cloud terbesar. Pilih tugas yang sesuai kemampuan model, atau gabungkan dengan dokumen referensi lewat RAG agar jawabannya lebih akurat.
Langkah Berikutnya
Sudah tahu ukuran model yang cocok? Praktikkan di tutorial Ollama. Untuk memahami kenapa sebagian data sebaiknya tidak dikirim ke AI cloud, baca bagian privasi di kesalahan umum saat pakai AI.
