Önek önbelleğe alma ile çıkarım hızını optimize etme

Önek önbelleğe alma, paylaşılan ve yinelenen bir istem öneki bölümünü işlerken ara LLM durumunu depolayıp yeniden kullanarak çıkarım süresini azaltan bir özelliktir. Önek önbelleğe almayı etkinleştirmek için API isteğinizde statik öneki dinamik sonekten ayırmanız yeterlidir.

Önek önbelleğe alma şu anda yalnızca metin girişini desteklediğinden, isteminizde resim sağlıyorsanız bu özelliği kullanmamanız gerekir.

Önek önbelleğe almayı uygulamanın iki yolu vardır: dolaylı veya açık:

• Dolaylı (otomatik) önek önbelleğe alma, uygulamanın yalnızca istemin paylaşılan bir bölümünü tanımlaması gereken basit bir yaklaşımdır.
• Açık (manuel) ön ek önbelleğe alma, uygulamaların önbellek oluşturma, sorgulama ve silme dahil olmak üzere önbellekler üzerinde daha fazla kontrol sahibi olmasını sağlar.

Önek önbelleğe almayı dolaylı olarak kullanma

Önek önbelleğe almayı etkinleştirmek için istemin paylaşılan kısmını aşağıdaki kod snippet'lerinde gösterildiği gibi promptPrefix alanına ekleyin:

val promptPrefix = "Reverse the given sentence: "
val dynamicSuffix = "Hello World"

val result = generativeModel.generateContent(
  generateContentRequest(TextPart(dynamicSuffix)) {
    promptPrefix = PromptPrefix(promptPrefix)
  }
)

String promptPrefix = "Reverse the given sentence: ";
String dynamicSuffix = "Hello World";

GenerateContentResponse response = generativeModelFutures.generateContent(
    new GenerateContentRequest.Builder(new TextPart(dynamicSuffix))
    .setPromptPrefix(new PromptPrefix(promptPrefix))
    .build())
    .get();

Yukarıdaki snippet'te dynamicSuffix ana içerik olarak iletilir ve promptPrefix ayrı olarak sağlanır.

Tahmini performans artışı

Depolama ile ilgili dikkat edilmesi gerekenler

Dolaylı önek önbelleğe alma özelliğinde önbellek dosyaları, istemci uygulamanın özel depolama alanına kaydedilir. Bu da uygulamanızın depolama alanı kullanımını artırır. Şifrelenmiş önbellek dosyaları ve orijinal ön ek metni de dahil olmak üzere ilişkili meta verileri depolanır. Depolama alanıyla ilgili aşağıdaki noktaları göz önünde bulundurun:

• Önbellek sayısı, LRU (En Eski Kullanılanlar) mekanizması tarafından yönetilir. Maksimum toplam önbellek miktarı aşıldığında en az kullanılan önbellekler otomatik olarak silinir.
• İstem önbelleği boyutları, ön ekin uzunluğuna bağlıdır.

• Önek önbelleğe alma işleminden oluşturulan tüm önbellekleri temizlemek için generativeMode.clearImplicitCaches() yöntemini kullanın.

Açık önbellek yönetimini kullanma

Doğrudan model erişimi, geliştiricilere önbelleklerin nasıl oluşturulduğu, arandığı, kullanıldığı ve kaldırıldığı üzerinde daha hassas kontrol sağlamak için açık önbellek yönetimi yöntemleri içerir. Bu manuel işlemler, sistemin otomatik önbellek yönetiminden bağımsız olarak çalışır.

Bu örnekte, açık önbellek yönetiminin nasıl başlatılacağı ve çıkarımın nasıl yapılacağı gösterilmektedir:

val cacheName = "my_cache"
val promptPrefix = "Reverse the given sentence: "
val dynamicSuffix = "Hello World"

// Create a cache
val cacheRequest = createCachedContextRequest(cacheName, PromptPrefix(promptPrefix))
val cache = generativeModel.caches.create(cacheRequest)

// Run inference with the cache
val response = generativeModel.generateContent(
  generateContentRequest(TextPart(dynamicSuffix)) {
    cachedContextName = cache.name
  }
)

String cacheName = "my_cache";
String promptPrefix = "Reverse the given sentence: ";
String dynamicSuffix = "Hello World";

// Create a cache
CachedContext cache = cachesFutures.create(
  new CreateCachedContextRequest.Builder(cacheName, new PromptPrefix(promptPrefix))
  .build())
  .get();

// Run inference with the cache
GenerateContentResponse response = generativeModelFutures.generateContent(
  new GenerateContentRequest.Builder(new TextPart(dynamicSuffix))
  .setCachedContextName(cache.getName())
  .build())
  .get();

Bu örnekte, generativeModel.caches kullanarak açıkça yönetilen önbelleklerin nasıl sorgulanacağı, alınacağı ve silineceği gösterilmektedir:

val cacheName = "my_cache"

// Query pre-created caches
for (cache in generativeModel.caches.list()) {
  // Do something with cache
}

// Get specific cache
val cache = generativeModel.caches.get(cacheName)

// Delete a pre-created cache
generativeModel.caches.delete(cacheName)

String cacheName = "my_cache";

// Query pre-created caches
for (PrefixCache cache : cachesFutures.list().get()) {
  // Do something with cache
}

// Get specific cache
PrefixCache cache = cachesFutures.get(cacheName).get();

// Delete a pre-created cache
cachesFutures.delete(cacheName);