BSINews, Solo – Ngomongin LLM (Large Language Model) jangan dibayangkan seperti install Laravel lalu tinggal php artisan serve. Tantangan pertama langsung terasa dari ukuran model yang superbesar.
Mengulik Tantangan LLM: Bukan Sekadar “Download dan Jalan”
Galih Setiawan dosen Universitas Bina Sarana Informatika (UBSI) Sebagai kampus Digital Kreatif kampus Solo, menjelaskan, “Model seperti BLOOM bisa mencapai 330 GB, dua kali lebih besar dari dataset ImageNet. Ini bukan ukuran sepele. Storage harus benar-benar siap.”
Setelah diunduh, proses berikutnya adalah memuat model ke GPU dan ini tidak cepat. “Model besar biasanya dijalankan di sistem multi-GPU. Proses loading bisa memakan waktu 30–45 menit dan melibatkan transfer data antar GPU atau antar-node,” tambah Galih.
Baca Juga:Engagement, CAPM, dan AI Bisa Dijelaskan dengan Regresi Linear
Untuk mengoptimalkan performa, ada teknik Chain of Thought (CoT) yang mengarahkan model berpikir bertahap. Galih mencontohkan: “Jika ada soal 3 toko × 5 dus × 10 barang, model diarahkan menghitung 3×5 = 15 dus, lalu 15×10 = 150 barang. Cara ini membuat hasil lebih presisi dan latency lebih terkendali.”
Kesimpulannya, menjalankan LLM tidak sekadar membuat model dan memberi data. Dibutuhkan hardware mumpuni, sistem distribusi rapi, serta teknik prompting yang tepat agar model bisa memberikan jawaban relevan dan natural. (Safika Rahman)
