Wiki40B Dil Modelleri

TensorFlow.org'da görüntüleyin Google Colab'da çalıştırın GitHub'da görüntüle Not defterini indir TF Hub modellerine bakın

Üret Vikipedi benzeri dan Wiki40B dil modellerini kullanarak metin TensorFlow Hub !

Bu not defterinde aşağıdakilerin nasıl yapılacağı gösterilmektedir:

  • 41 tek dilli ve bir parçası olan 2 dilli dil modellerini Yük Wiki40b-LM koleksiyonu TF-Hub üzerinde
  • Belirli bir metin parçası için katman başına etkinleştirmeler ve sözcük yerleştirmeleri için karışıklık elde etmek için modelleri kullanın
  • Bir tohum metin parçasından belirteç olarak metin oluştur

Dil modelleri, yeni yayınlanan üzerine eğitilmiş temizlenmiş olan Wiki40B veri kümesi TensorFlow Veri kümeleri geçerli. Eğitim kurulum kağıda dayalı “: Çok dilli Dil Modeli Veri Kümesi Wiki-40B” .

Kurmak

Bağımlılıkları Yükleme

ithalat

Dil seçiniz

En TF-Hub'dan yüklemek ve metnin uzunluğu üretilecek hangi dil modeli seçmesine izin verin.

Using the https://tfhub.dev/google/wiki40b-lm-en/1 model to generate sequences of max length 20.

Modeli Oluştur

Tamam, yapılandırılmış ettik şimdi bu önceden eğitilmiş kullanımına modeli, en metni kadar üretmek için yapılandırmak izin hangi max_gen_len . Dil modelini TF-Hub'dan yüklememiz, bir parça başlangıç ​​metnini beslememiz ve ardından oluşturulduğunda belirteçleri yinelemeli olarak beslememiz gerekecek.

Dil modeli parçalarını yükleyin

2021-11-05 13:33:19.950673: W tensorflow/core/common_runtime/graph_constructor.cc:1511] Importing a graph with a lower producer version 359 into an existing graph with producer version 808. Shape inference will have run different parts of the graph with different producer versions.

Belirteç başına üretim grafiğini oluşturun

Statik olarak açılmış bir grafik oluşturmak max_gen_len belirteçleri

Biraz metin oluştur

Hadi biraz metin üretelim! Biz bir metin belirleriz seed dil modelini istemi.

Sen önceden tanımlanmış tohum birini kullanın veya opsiyonel kendi girebilirsiniz. Bu metin, dil modelinin bir sonraki adımda ne üretileceğine dair bilgi vermesine yardımcı olmak için dil modeli için tohum olarak kullanılacaktır.

Oluşturulan makalenin özel bölümlerinden önce aşağıdaki özel belirteçleri kullanabilirsiniz. Kullanım _START_ARTICLE_ , yazının başında belirtmek için _START_SECTION_ , bir bölümün başlangıcını göstermek için ve _START_PARAGRAPH_ makalesinde metni oluşturmak için

Önceden Tanımlanmış Tohumlar

Kendi tohumunuzu girin (Opsiyonel).

Generating text from seed:

_START_ARTICLE_
1882 Prince Edward Island general election
_START_PARAGRAPH_
The 1882 Prince Edward Island election was held on May 8, 1882 to elect members of the House of Assembly of the province of Prince Edward Island, Canada.

Oturumu başlat.

Metin oluştur

_START_SECTION_ Candidates _START_PARAGRAPH_ Thirteen members of the House of Assembly were all members nominations. Among

Ayrıca modelin diğer çıktılarına da bakabiliriz - şaşkınlık, belirteç kimlikleri, ara aktivasyonlar ve yerleştirmeler

ppl_result
array([23.507753], dtype=float32)
token_ids_result
array([[   8,    3, 6794, 1579, 1582,  721,  489,  448,    8,    5,   26,
        6794, 1579, 1582,  721,  448,   17,  245,   22,  166, 2928, 6794,
          16, 7690,  384,   11,    7,  402,   11, 1172,   11,    7, 2115,
          11, 1579, 1582,  721,    9,  646,   10]], dtype=int32)
activations_result.shape
(12, 1, 39, 768)
embeddings_result
array([[[ 0.12262525,  5.548009  ,  1.4743135 , ...,  2.4388404 ,
         -2.2788858 ,  2.172028  ],
        [-2.3905468 , -0.97108954, -1.5513545 , ...,  8.458472  ,
         -2.8723319 ,  0.6534524 ],
        [-0.83790785,  0.41630274, -0.8740793 , ...,  1.6446769 ,
         -0.9074106 ,  0.3339265 ],
        ...,
        [-0.8054745 , -1.2495526 ,  2.6232922 , ...,  2.893288  ,
         -0.91287214, -1.1259722 ],
        [ 0.64944506,  3.3696785 ,  0.09543293, ..., -0.7839227 ,
         -1.3573489 ,  1.862214  ],
        [-1.2970612 ,  0.5961366 ,  3.3531897 , ...,  3.2853985 ,
         -1.6212384 ,  0.30257902]]], dtype=float32)