Banyak model Gemini dilengkapi dengan jendela konteks besar sebesar 1 juta token atau lebih. Sebelumnya, model bahasa besar (LLM) sangat dibatasi oleh jumlah teks (atau token) yang dapat diteruskan ke model dalam satu waktu. Jendela konteks panjang Gemini memungkinkan banyak kasus penggunaan baru dan paradigma developer.
Kode yang sudah Anda gunakan untuk kasus seperti pembuatan teks atau input multimodal akan berfungsi tanpa perubahan apa pun dengan konteks panjang.
Dokumen ini memberi Anda ringkasan tentang apa yang dapat Anda capai menggunakan model dengan jendela konteks 1 juta token dan lebih banyak lagi. Halaman ini memberikan ringkasan singkat tentang jendela konteks, dan mempelajari cara developer harus memikirkan konteks panjang, berbagai kasus penggunaan dunia nyata untuk konteks panjang, dan cara mengoptimalkan penggunaan konteks panjang.
Untuk ukuran jendela konteks model tertentu, lihat halaman Model.
Apa itu jendela konteks?
Cara dasar Anda menggunakan model Gemini adalah dengan meneruskan informasi (konteks) ke model, yang selanjutnya akan menghasilkan respons. Analogi untuk jendela konteks adalah memori jangka pendek. Jumlah informasi yang dapat disimpan dalam memori jangka pendek seseorang terbatas, dan hal yang sama berlaku untuk model generatif.
Anda dapat membaca lebih lanjut cara kerja model di balik layar dalam panduan model generatif kami.
Mulai menggunakan konteks panjang
Versi model generatif sebelumnya hanya dapat memproses 8.000 token sekaligus. Model yang lebih baru mendorong batas ini lebih jauh dengan menerima 32.000 atau bahkan 128.000 token. Gemini adalah model pertama yang mampu menerima 1 juta token.
Dalam praktiknya, 1 juta token akan terlihat seperti:
- 50.000 baris kode (dengan 80 karakter per baris standar)
- Semua pesan teks yang telah Anda kirim dalam 5 tahun terakhir
- 8 novel berbahasa Inggris dengan panjang rata-rata
- Transkrip lebih dari 200 episode podcast dengan durasi rata-rata
Jendela konteks yang lebih terbatas yang umum di banyak model lain sering kali memerlukan strategi seperti menghapus pesan lama secara acak, meringkas konten, menggunakan RAG dengan database vektor, atau memfilter perintah untuk menghemat token.
Meskipun teknik ini tetap berharga dalam skenario tertentu, jendela konteks Gemini yang luas mendorong pendekatan yang lebih langsung: memberikan semua informasi yang relevan di awal. Karena model Gemini dibuat khusus dengan kemampuan konteks yang sangat besar, model ini menunjukkan pembelajaran dalam konteks yang efektif. Misalnya, hanya dengan menggunakan materi pengajaran dalam konteks (tata bahasa referensi 500 halaman, kamus, dan ≈400 kalimat paralel), Gemini belajar menerjemahkan dari bahasa Inggris ke Kalamang—bahasa Papua dengan kurang dari 200 penutur—dengan kualitas yang serupa dengan kualitas pelajar manusia yang menggunakan materi yang sama. Hal ini menggambarkan perubahan paradigma yang dimungkinkan oleh konteks panjang Gemini, yang membuka kemungkinan baru melalui pembelajaran dalam konteks yang andal.
Kasus penggunaan konteks panjang
Meskipun kasus penggunaan standar untuk sebagian besar model generatif masih berupa input teks, serangkaian model Gemini memungkinkan paradigma baru kasus penggunaan multimodal. Model ini dapat memahami teks, video, audio, dan gambar secara native. File tersebut disertai dengan Gemini API yang menerima jenis file multi-modal untuk memudahkan.
Teks panjang
Teks telah terbukti menjadi lapisan kecerdasan yang mendasari sebagian besar momentum seputar LLM. Seperti yang disebutkan sebelumnya, sebagian besar batasan praktis LLM disebabkan oleh tidak adanya jendela konteks yang cukup besar untuk melakukan tugas tertentu. Hal ini menyebabkan adopsi cepat retrieval augmented generation (RAG) dan teknik lainnya yang secara dinamis memberikan informasi kontekstual yang relevan kepada model. Sekarang, dengan jendela konteks yang semakin besar, ada teknik baru yang tersedia dan memungkinkan kasus penggunaan baru.
Beberapa kasus penggunaan baru dan standar untuk konteks panjang berbasis teks meliputi:
- Meringkas korpus teks besar
- Opsi ringkasan sebelumnya dengan model konteks yang lebih kecil akan memerlukan jendela geser atau teknik lain untuk mempertahankan status bagian sebelumnya saat token baru diteruskan ke model
- Tanya jawab
- Sebelumnya, hal ini hanya dapat dilakukan dengan RAG mengingat jumlah konteks yang terbatas dan ingatan faktual model yang rendah
- Alur kerja agentic
- Teks adalah dasar dari cara agen mempertahankan status tindakan yang telah dilakukan dan yang perlu dilakukan; tidak memiliki informasi yang cukup tentang dunia dan tujuan agen adalah batasan pada keandalan agen