JAMBI — Banyak pengguna menganggap menjalankan AI generatif di perangkat sendiri butuh kartu grafis (GPU) kelas atas dengan VRAM belasan gigabyte. Anggapan itu terbantahkan lewat pengujian langsung pada PC lawas berspesifikasi standar. Hasilnya, PC tersebut bisa diubah menjadi server AI lokal (llama.cpp server) yang andal untuk kebutuhan produktivitas sehari-hari.
Pengujian ini berawal dari pengalaman kurang memuaskan saat menjalankan model AI di GPU yang lebih baru. Model berukuran 2–3 miliar parameter (B) memang berjalan cepat, tapi kualitas jawabannya sering tidak akurat atau "berhalusinasi". Sementara itu, model 9B yang lebih cerdas nyaris mustahil dijalankan dengan mulus karena keterbatasan memori.
Masalah utama bukan hanya pada spesifikasi hardware, tetapi juga pada perangkat lunak pengelola model seperti Ollama yang dinilai kurang efisien. Solusinya adalah beralih ke llama.cpp, sebuah perangkat lunak sumber terbuka yang dioptimalkan khusus untuk menjalankan model AI pada CPU dan GPU dengan memori terbatas.
Dengan konfigurasi llama.cpp, PC Windows 10 yang sudah berusia beberapa tahun mampu memuat dan menjalankan model 9B parameter dengan kecepatan yang lebih dari cukup. Kecepatan pemrosesan (token per detik) meningkat signifikan dibandingkan sebelumnya ketika model yang sama nyaris tidak bisa dijalankan.
Kuncinya ada pada teknik kuantisasi dan offloading lapisan model ke GPU secara parsial. Teknik ini memungkinkan model besar berjalan di memori sistem (RAM) sambil memanfaatkan GPU untuk mempercepat komputasi. Hasilnya, latensi berkurang drastis dan interaksi terasa responsif untuk penggunaan sehari-hari seperti merangkum dokumen, menulis draf email, atau membantu brainstorming ide.
Temuan ini relevan bagi pengguna di Indonesia yang ingin mencoba AI tanpa biaya besar. Ketimbang berlangganan layanan AI berbasis cloud atau membeli GPU baru seharga belasan juta rupiah, memanfaatkan PC lama yang sudah ada adalah alternatif hemat. Proses instalasi llama.cpp di Windows 10 tergolong mudah dan dokumentasinya lengkap.
Perlu dicatat, performa tetap bergantung pada spesifikasi perangkat. PC dengan RAM minimal 16 GB dan GPU dengan VRAM 6–8 GB akan memberikan pengalaman yang lebih baik. Namun, eksperimen ini membuktikan bahwa hambatan utama bukan selalu pada perangkat keras, melainkan pada pilihan perangkat lunak yang tepat.
Bagi pemilik PC lawas yang merasa perangkatnya sudah tidak relevan, menjalankan server AI lokal bisa menjadi "kehidupan kedua" yang produktif. Sebelum memutuskan membeli hardware baru, mencoba mengonfigurasi llama.cpp adalah langkah yang layak dipertimbangkan.
Investasi waktu untuk belajar konfigurasi awal akan terbayar dengan kemampuan menjalankan model AI yang lebih cerdas, data yang tetap privat di perangkat sendiri, dan tidak ada biaya langganan bulanan. Untuk kebutuhan produktivitas harian yang tidak menuntut daya komputasi ekstrem, PC Windows 10 lawas ternyata masih punya peran penting.