Mengapa Biaya Inference AI Jauh Lebih Mahal dari Perkiraan

Ketika startup atau perusahaan kecil mulai menggunakan model bahasa besar seperti Claude atau GPT-4, pertanyaan pertama selalu sama: biaya per token terlihat terjangkau, jadi mengapa tagihan bulanan begitu tinggi? Jawabannya ada di balik layar, di dalam pusat data dan lembar kalkulasi yang jarang dibicarakan. Biaya inference AI jauh lebih kompleks daripada sekadar membayar untuk setiap token yang diproses. Ada lapisan tersembunyi yang membuat penawaran gratis atau murah hampir tidak mungkin untuk ditawarkan secara berkelanjutan.

Hardware GPU Bukan Pembelian Sekali Pakai

Fondasi dari setiap layanan inference adalah GPU. Perusahaan seperti Anthropic, OpenAI, dan Google tidak hanya membeli satu atau dua kartu grafis. Mereka membeli dalam skala ribuan. Sebuah GPU H100 dari NVIDIA, yang menjadi standar industri untuk inference skala besar, berkisar 600 sampai 750 juta rupiah per unit. Untuk menjalankan Claude dengan kualitas dan kecepatan yang konsisten, sebuah perusahaan memerlukan ratusan atau ribuan GPU ini tersebar di beberapa lokasi geografis.

Namun biaya hardware tidak berakhir saat pembelian. GPU memiliki umur fungsional sekitar tiga tahun sebelum performa degradasi menjadi masalah. Itu berarti setiap hari, perusahaan itu mengalami depresiasi yang signifikan. Sebuah H100 senilai 600 juta rupiah, dipecah rata-rata selama tiga tahun operasional penuh, setara dengan sekitar 550.000 rupiah per hari hanya untuk amortisasi perangkat keras, belum termasuk pajak, layanan, atau asuransi.

Redundansi dan Backup Memaksa Pembelian Lebih Banyak

Sistem yang dilayani ke jutaan pengguna tidak dapat down setiap kali satu GPU gagal. Perusahaan harus memiliki GPU cadangan, yang berarti pembelian lebih banyak dari yang diperlukan untuk kapasitas rata-rata. Jika layanan memerlukan 100 GPU untuk beban normal, mereka mungkin membeli 150, dengan 50 sisanya menjadi redundansi atau failover. Biaya ini tersebar ke setiap pengguna tanpa terlihat.

Listrik dan Pendinginan Menggerogoti Margin

Sebuah H100 mengonsumsi 400 watt pada beban penuh. Untuk pusat data di Indonesia dengan tarif listrik bisnis rata-rata 1.500 sampai 2.000 rupiah per kilowatt-jam, sebuah H100 yang beroperasi delapan jam per hari memerlukan biaya listrik murni sekitar 4,8 juta sampai 6,4 juta rupiah setiap harinya. Kalikan dengan ratusan atau ribuan GPU, dan angkanya menjadi gila: jutaan dolar per hari hanya untuk menyalakan mesin.

Pendinginan menambah beban ini. Pusat data yang menjalankan infrastruktur inference AI memerlukan sistem pendingin aktif yang sophisticated, karena GPU menghasilkan panas ekstrem. Biaya pendinginan sering sama dengan atau bahkan melebihi biaya listrik itu sendiri. Beberapa pusat data melaporkan bahwa pendinginan mencapai 30 sampai 40 persen dari tagihan energi total mereka.

Cadangan Daya dan Stabilitas Jaringan

Untuk mencegah penurunan layanan saat pemadaman listrik, pusat data memerlukan Uninterruptible Power Supply (UPS) dan generator cadangan. Peralatan ini mahal untuk dibeli dan expensive untuk dirawat. Di Indonesia, keandalan jaringan listrik masih bervariasi di berbagai wilayah, yang membuat redundansi daya menjadi investasi wajib, bukan opsional. Biaya ini dimasukkan ke dalam setiap layanan yang disediakan.

Latensi Tinggi Memaksa Overhead Kapasitas

Pengguna mengharapkan respons cepat. Ketika seseorang mengajukan pertanyaan ke Claude atau GPT-4, mereka tidak ingin menunggu 30 detik untuk menerima balasan. Ini berarti model harus siap merespons dengan latensi ultra-rendah, biasanya di bawah 500 milidetik untuk performa yang diterima dengan baik. Mencapai latensi ini memerlukan GPU yang tidak sepenuhnya digunakan sebagian waktu, karena sistem perlu buffer kapasitas untuk menangani lonjakan permintaan tiba-tiba.

Jika sebuah GPU dapat secara teoritis memproses 1.000 token per detik, namun sistem dirancang untuk menjamin respons dalam 500 milidetik, GPU itu seringkali hanya menggunakan 50 sampai 70 persen dari kapasitas maksimalnya. Sisa kapasitas tersebut dibayar untuk tetapi tidak digunakan, dan biaya ini diperhitungkan ke dalam harga yang diterima pelanggan.

Model Lebih Besar Berarti Biaya Eksponensial

Claude 3.5 Sonnet, yang merupakan model flagship Anthropic, jauh lebih besar dan lebih kompleks daripada model yang lebih kecil seperti Claude 3.5 Haiku. Model yang lebih besar memerlukan GPU dengan lebih banyak memori dan memproses token dengan kecepatan yang lebih lambat per unit hardware. Sebuah model 70 miliar parameter mungkin memerlukan dua GPU untuk inferensi, sementara versi 400 miliar parameter memerlukan delapan.

Tidak ada cara untuk menghindari ini. Ukuran model berbanding lurus dengan jumlah perangkat keras yang diperlukan. Ketika Anthropic atau OpenAI merilis model yang lebih besar dan lebih baik, mereka juga perlu membeli GPU yang lebih banyak, dan biaya itu melekat pada harga yang ditawarkan kepada pelanggan.

Harga Per Token Sudah Diskon Besar-Besaran

Harga yang terlihat di halaman pricing—misalnya 3 sen per 1.000 token input untuk Claude atau 1 sen untuk GPT-4o mini dari OpenAI—sudah mencerminkan subsidi implicit dari perusahaan induk atau mode bisnis yang sangat efisien. Jika Anda menghitung biaya nyata dari operasi inference, termasuk depresiasi hardware, listrik, pendinginan, overhead personel, dan redundansi, harga yang ditampilkan kepada pelanggan sering kali lebih rendah dari biaya marginal sebenarnya.

Perusahaan seperti OpenAI dan Anthropic menerima investasi venture capital atau dukungan akuisisi untuk menurunkan harga ini dan membangun pangsa pasar. Mereka bersedia mengambil kerugian jangka pendek karena percaya bahwa volume dan dominasi pasar akan menguntungkan mereka nanti. Model gratis atau freemium yang ditawarkan hampir pasti beroperasi dengan rugi di tingkat unit, dengan harapan pengguna akhirnya akan upgrade atau data mereka akan digunakan untuk pelatihan atau fine-tuning.

Alternatif Lokal dan Self-Hosted Masih Lebih Mahal

Beberapa tim berusaha mengurangi biaya dengan menjalankan model open source seperti Llama atau Mistral di infrastruktur mereka sendiri. Teorinya: tidak ada harga per token, hanya sekali pembayaran untuk hardware dan listrik. Dalam praktik, ini jarang menghemat uang kecuali volume inference sangat tinggi. Sebuah GPU RTX 4090 berkinerja tinggi konsumen menelan 40 sampai 50 juta rupiah, dan masih memerlukan server, pendinginan, dan listrik. Untuk startup yang hanya memproses ribuan token per hari, kalkulus tidak berhasil.

Pusat data lokal di Indonesia untuk self-hosted inference juga sangat terbatas, yang memaksa banyak perusahaan untuk menggunakan penyedia cloud regional atau global. Latensi jaringan menambah waktu respons, dan itu menghasilkan pengalaman pengguna yang lebih buruk. Dalam kasus ini, berbayar kepada Anthropic atau OpenAI sering kali lebih murah dan lebih cepat daripada menghosting sendiri.

Optimisasi untuk Biaya di Lingkungan Indonesia

Untuk startup dan perusahaan di Indonesia yang ingin mengurangi tagihan inference mereka, ada beberapa langkah praktis. Pertama, pilih model berdasarkan kebutuhan nyata, bukan kekuatan maksimal. Claude 3.5 Haiku, atau bahkan model open source yang lebih kecil, mungkin cukup untuk banyak kasus penggunaan, dan akan mengurangi biaya hingga 10 kali lipat dibandingkan model flagship.

Kedua, batch request ketika memungkinkan. Memproses 100 pertanyaan dalam satu panggilan API berukuran jauh lebih besar jauh lebih murah per token daripada 100 panggilan individual, karena overhead protokol didistribusikan. Ketiga, pertahankan cache atau database hasil inference lokal untuk pertanyaan berulang, sehingga tidak setiap permintaan masuk ke API berbayar. Keempat, pertimbangkan penyedia alternatif atau model open source untuk tugas non-kritis, menyimpan akses ke Claude atau GPT-4 untuk pekerjaan yang benar-benar memerlukan kinerja terbaik.

Biaya inference AI bukan rahasia yang disembunyikan, tetapi kompleksitasnya sering diabaikan oleh mereka yang baru masuk ke industri. Perkembangan AI yang cepat akan terus menurunkan biaya per unit seiring waktu, tetapi investasi infrastruktur dasar untuk menyediakan AI dengan cepat dan andal akan selalu menjadi proposisi yang mahal. Memahami ini membantu membuat keputusan teknis dan bisnis yang lebih baik.