Google I/O'yu ayarladığınız için teşekkür ederiz. İsteğe bağlı olarak tüm oturumları görüntüleyin İsteğe bağlı olarak izleyin

TensorFlow Kafesi (TFL)

TensorFlow Lattice, esnek, kontrollü ve yorumlanabilir kafes tabanlı modeller uygulayan bir kitaplıktır. Kitaplık, sağduyu veya ilkeye dayalı şekil kısıtlamaları aracılığıyla öğrenme sürecine etki alanı bilgisini eklemenizi sağlar. Bu, monotonluk, dışbükeylik ve ikili güven gibi kısıtlamaları karşılayabilen bir Keras katmanları koleksiyonu kullanılarak yapılır. Kitaplık ayrıca kurulumu kolay hazır tahmin ediciler sağlar.

kavramlar

Bu bölüm, Monotonic Calibrated Interpolated Look-Up Tables , JMLR 2016'daki açıklamanın basitleştirilmiş bir versiyonudur.

kafesler

Kafes , verilerinizdeki rastgele girdi-çıktı ilişkilerini yaklaşık olarak tahmin edebilen enterpolasyonlu bir arama tablosudur. Giriş alanınızla normal bir ızgarayla örtüşür ve ızgaranın köşelerindeki çıktı için değerleri öğrenir. Bir test noktası \(x\)için, l10n-placeholder2, \(f(x)\) \(x\)kafes değerlerinden doğrusal olarak enterpolasyon yapılır.

Yukarıdaki basit örnek, 2 giriş özelliği ve 4 parametresi olan bir fonksiyondur:\(\theta=[0, 0.2, 0.4, 1]\), fonksiyonun giriş uzayının köşelerindeki değerleridir; fonksiyonun geri kalanı bu parametrelerden enterpole edilir.

\(f(x)\) işlevi, özellikler arasındaki doğrusal olmayan etkileşimleri yakalayabilir. Kafes parametrelerini, düzenli bir ızgara üzerinde zemine yerleştirilmiş direklerin yüksekliği olarak düşünebilirsiniz ve ortaya çıkan fonksiyon, dört direğe sıkıca çekilen kumaş gibidir.

Her boyut boyunca \(D\) özellikleri ve 2 köşe ile, normal bir kafes \(2^D\) parametrelerine sahip olacaktır. Daha esnek bir işleve sığdırmak için, her bir boyut boyunca daha fazla tepe noktası olan özellik alanı üzerinde daha ince taneli bir kafes belirtebilirsiniz. Kafes regresyon fonksiyonları süreklidir ve parçalı sonsuz türevlenebilirdir.

kalibrasyon

Diyelim ki önceki örnek kafes, özellikler kullanılarak hesaplanan önerilen bir yerel kahve dükkanı ile öğrenilmiş bir kullanıcı mutluluğunu temsil ediyor:

  • 0 ila 20 dolar aralığında kahve fiyatı
  • kullanıcıya olan mesafe, 0 ila 30 kilometre aralığında

Modelimizin yerel bir kahve dükkanı önerisi ile kullanıcı mutluluğunu öğrenmesini istiyoruz. TensorFlow Kafes modelleri, giriş özelliklerini kafes tarafından kabul edilen aralığa kalibre etmek ve normalleştirmek için parçalı doğrusal işlevleri ( tfl.layers.PWLCalibration ile) kullanabilir: yukarıdaki örnek kafeste 0.0 ila 1.0. Aşağıdakiler, 10 kilit nokta ile bu tür kalibrasyon işlevlerinin örneklerini göstermektedir:

Giriş anahtar noktaları olarak özelliklerin niceliklerini kullanmak genellikle iyi bir fikirdir. TensorFlow Kafes hazır tahmin edicileri , girdi anahtar noktalarını özellik niceliklerine otomatik olarak ayarlayabilir.

Kategorik özellikler için, TensorFlow Lattice, bir kafese beslemek için benzer çıktı sınırlamasıyla kategorik kalibrasyon ( tfl.layers.CategoricalCalibration ile) sağlar.

Topluluklar

Bir kafes katmanının parametre sayısı, girdi özelliklerinin sayısı ile katlanarak artar, bu nedenle çok yüksek boyutlara ölçeklenemez. Bu sınırlamanın üstesinden gelmek için TensorFlow Lattice, birkaç küçük kafesi birleştiren (ortalama) kafes toplulukları sunar, bu da modelin özellik sayısında doğrusal olarak büyümesini sağlar.

Kütüphane, bu toplulukların iki varyasyonunu sağlar:

  • Rastgele Küçük Kafesler (RTL): Her alt model, rastgele bir özellik alt kümesini (değiştirilerek) kullanır.

  • Kristaller : Kristaller algoritması önce ikili özellik etkileşimlerini tahmin eden bir ön uydurma modeli eğitir. Daha sonra, daha doğrusal olmayan etkileşimlere sahip özellikler aynı kafeslerde olacak şekilde son topluluğu düzenler.

Neden TensorFlow Kafes?

Bu TF Blog gönderisinde TensorFlow Lattice için kısa bir giriş bulabilirsiniz.

yorumlanabilirlik

Her katmanın parametreleri o katmanın çıktısı olduğundan, modelin her bir parçasını analiz etmek, anlamak ve hata ayıklamak kolaydır.

Doğru ve Esnek Modeller

İnce taneli kafesler kullanarak, tek bir kafes katmanıyla keyfi olarak karmaşık işlevler elde edebilirsiniz. Birden çok kalibratör ve kafes katmanının kullanılması pratikte genellikle iyi sonuç verir ve benzer boyutlardaki DNN modelleriyle eşleşebilir veya onlardan daha iyi performans gösterebilir.

Sağduyu Şekil Kısıtlamaları

Gerçek dünya eğitim verileri, çalışma zamanı verilerini yeterince temsil etmeyebilir. DNN'ler veya ormanlar gibi esnek ML çözümleri, giriş alanının eğitim verilerinin kapsamadığı bölümlerinde genellikle beklenmedik ve hatta çılgınca hareket eder. Bu davranış, özellikle politika veya adalet kısıtlamaları ihlal edildiğinde sorunludur.

Düzenlileştirmenin yaygın biçimleri daha mantıklı ekstrapolasyonla sonuçlanabilse de, standart düzenleyiciler, özellikle yüksek boyutlu girdilerle, tüm girdi uzayı boyunca makul model davranışını garanti edemez. Daha kontrollü ve öngörülebilir davranışa sahip daha basit modellere geçiş, model doğruluğuna ciddi bir maliyet getirebilir.

TF Kafes, esnek modelleri kullanmaya devam etmeyi mümkün kılar, ancak anlamsal olarak anlamlı sağduyu veya ilkeye dayalı şekil kısıtlamaları yoluyla alan bilgisini öğrenme sürecine enjekte etmek için çeşitli seçenekler sunar:

  • Monotonluk : Çıktının yalnızca bir girdiye göre artması/azalması gerektiğini belirtebilirsiniz. Örneğimizde, bir kafeye olan mesafenin artmasının yalnızca tahmin edilen kullanıcı tercihini azaltacağını belirtmek isteyebilirsiniz.

  • Convexity/Concavity : Fonksiyon şeklinin dışbükey veya içbükey olabileceğini belirtebilirsiniz. Monotonluk ile karıştırıldığında, bu, işlevi belirli bir özelliğe göre azalan getirileri temsil etmeye zorlayabilir.

  • Tek modluluk : İşlevin benzersiz bir tepe noktası veya benzersiz bir vadiye sahip olması gerektiğini belirtebilirsiniz. Bu, bir özelliğe göre tatlı bir noktaya sahip işlevleri temsil etmenizi sağlar.

  • İkili güven : Bu kısıtlama, bir çift özellik üzerinde çalışır ve bir girdi özelliğinin anlamsal olarak başka bir özelliğe olan güveni yansıttığını önerir. Örneğin, daha fazla yorum sayısı, bir restoranın ortalama yıldız derecelendirmesine daha fazla güvenmenizi sağlar. Yorum sayısı daha fazla olduğunda model yıldız derecelendirmesine göre daha hassas olacaktır (yani derecelendirmeye göre daha büyük bir eğime sahip olacaktır).

Düzenleyicilerle Kontrollü Esneklik

Şekil kısıtlamalarına ek olarak, TensorFlow kafesi, her katman için işlevin esnekliğini ve düzgünlüğünü kontrol etmek için bir dizi düzenleyici sağlar.

  • Laplacian Düzenleyici : Kafes/kalibrasyon köşelerinin/anahtar noktalarının çıktıları, ilgili komşularının değerlerine göre düzenlenir. Bu, daha düz bir işlevle sonuçlanır.

  • Hessian Düzenleyici : Bu, işlevi daha doğrusal hale getirmek için PWL kalibrasyon katmanının ilk türevini cezalandırır.

  • Kırışıklık Düzenleyici : Bu, eğrilikte ani değişiklikleri önlemek için PWL kalibrasyon katmanının ikinci türevini cezalandırır. Fonksiyonu daha pürüzsüz hale getirir.

  • Burulma Düzenleyici : Kafesin çıkışları, özellikler arasında burulmayı önleyecek şekilde düzenlenecektir. Başka bir deyişle, model, özelliklerin katkıları arasında bağımsızlığa doğru düzenlenecektir.

Diğer Keras katmanlarıyla karıştırın ve eşleştirin

Kısmen kısıtlı veya düzenli modeller oluşturmak için TF Kafes katmanlarını diğer Keras katmanlarıyla birlikte kullanabilirsiniz. Örneğin, kafes veya PWL kalibrasyon katmanları, gömmeleri veya diğer Keras katmanlarını içeren daha derin ağların son katmanında kullanılabilir.

Kağıtlar

Öğreticiler ve API belgeleri

Yaygın model mimarileri için Keras hazır modelleri veya hazır Tahminciler kullanabilirsiniz. Ayrıca TF Lattice Keras katmanlarını kullanarak özel modeller oluşturabilir veya diğer Keras katmanlarıyla karıştırıp eşleştirebilirsiniz. Ayrıntılar için tam API belgelerine göz atın.