Recupero domande e risposte del codificatore di frasi universale multilingue

Questa è una demo per l'utilizzo di Universal Encoder multilingue Q & Un modello per la domanda-risposta il recupero di testi, che illustra l'uso di question_encoder e response_encoder del modello. Usiamo frasi da SQUAD paragrafi come il set di dati demo, ogni frase e il suo contesto (il testo che circonda la frase) è codificato in incastri di alta quota con il response_encoder. Queste immersioni sono memorizzate in un indice costruito utilizzando il simpleneighbors libreria per domanda-risposta di recupero.

Su una domanda di recupero casuale è selezionata dal Squad set di dati e codificato in alta dimensione embedding con la question_encoder query e l'indice simpleneighbors restituire un elenco di approssimative vicini più prossimi nello spazio semantico.

Più modelli

È possibile trovare tutto il testo attualmente ospitati incorporando modelli qui e tutti i modelli che sono stati addestrati in squadra pure qui .

Impostare

Ambiente di installazione

%%capture
# Install the latest Tensorflow version.
!pip install -q tensorflow_text
!pip install -q simpleneighbors[annoy]
!pip install -q nltk
!pip install -q tqdm

Imposta importazioni e funzioni comuni

Attiva/disattiva codice

import json
import nltk
import os
import pprint
import random
import simpleneighbors
import urllib
from IPython.display import HTML, display
from tqdm.notebook import tqdm

import tensorflow.compat.v2 as tf
import tensorflow_hub as hub
from tensorflow_text import SentencepieceTokenizer

nltk.download('punkt')


def download_squad(url):
  return json.load(urllib.request.urlopen(url))

def extract_sentences_from_squad_json(squad):
  all_sentences = []
  for data in squad['data']:
    for paragraph in data['paragraphs']:
      sentences = nltk.tokenize.sent_tokenize(paragraph['context'])
      all_sentences.extend(zip(sentences, [paragraph['context']] * len(sentences)))
  return list(set(all_sentences)) # remove duplicates

def extract_questions_from_squad_json(squad):
  questions = []
  for data in squad['data']:
    for paragraph in data['paragraphs']:
      for qas in paragraph['qas']:
        if qas['answers']:
          questions.append((qas['question'], qas['answers'][0]['text']))
  return list(set(questions))

def output_with_highlight(text, highlight):
  output = "<li> "
  i = text.find(highlight)
  while True:
    if i == -1:
      output += text
      break
    output += text[0:i]
    output += '<b>'+text[i:i+len(highlight)]+'</b>'
    text = text[i+len(highlight):]
    i = text.find(highlight)
  return output + "</li>\n"

def display_nearest_neighbors(query_text, answer_text=None):
  query_embedding = model.signatures['question_encoder'](tf.constant([query_text]))['outputs'][0]
  search_results = index.nearest(query_embedding, n=num_results)

  if answer_text:
    result_md = '''
    <p>Random Question from SQuAD:</p>
    <p>&nbsp;&nbsp;<b>%s</b></p>
    <p>Answer:</p>
    <p>&nbsp;&nbsp;<b>%s</b></p>
    ''' % (query_text , answer_text)
  else:
    result_md = '''
    <p>Question:</p>
    <p>&nbsp;&nbsp;<b>%s</b></p>
    ''' % query_text

  result_md += '''
    <p>Retrieved sentences :
    <ol>
  '''

  if answer_text:
    for s in search_results:
      result_md += output_with_highlight(s, answer_text)
  else:
    for s in search_results:
      result_md += '<li>' + s + '</li>\n'

  result_md += "</ol>"
  display(HTML(result_md))

[nltk_data] Downloading package punkt to /home/kbuilder/nltk_data...
[nltk_data]   Unzipping tokenizers/punkt.zip.

Eseguire il seguente blocco di codice per scaricare ed estrarre il set di dati SQuAD in:

• frasi è una lista di (testo, contesto) tuple - Ogni paragrafo dal SQUAD set di dati sono suddivisi in frasi usando biblioteca NLTK e la frase e paragrafo forme di testo il (testo, contesto) tuple.
• domande è un elenco di (domanda, risposta) tuple.

Nota: È possibile utilizzare questo demo per indicizzare il treno dataset squadra o il più piccolo set di dati dev (1.1 o 2.0) selezionando lo squad_url di seguito.

Scarica ed estrai i dati SQuAD

squad_url = 'https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json'

squad_json = download_squad(squad_url)
sentences = extract_sentences_from_squad_json(squad_json)
questions = extract_questions_from_squad_json(squad_json)
print("%s sentences, %s questions extracted from SQuAD %s" % (len(sentences), len(questions), squad_url))

print("\nExample sentence and context:\n")
sentence = random.choice(sentences)
print("sentence:\n")
pprint.pprint(sentence[0])
print("\ncontext:\n")
pprint.pprint(sentence[1])
print()

10455 sentences, 10552 questions extracted from SQuAD https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json

Example sentence and context:

sentence:

('The Mongol Emperors had built large palaces and pavilions, but some still '
 'continued to live as nomads at times.')

context:

("Since its invention in 1269, the 'Phags-pa script, a unified script for "
 'spelling Mongolian, Tibetan, and Chinese languages, was preserved in the '
 'court until the end of the dynasty. Most of the Emperors could not master '
 'written Chinese, but they could generally converse well in the language. The '
 'Mongol custom of long standing quda/marriage alliance with Mongol clans, the '
 'Onggirat, and the Ikeres, kept the imperial blood purely Mongol until the '
 'reign of Tugh Temur, whose mother was a Tangut concubine. The Mongol '
 'Emperors had built large palaces and pavilions, but some still continued to '
 'live as nomads at times. Nevertheless, a few other Yuan emperors actively '
 'sponsored cultural activities; an example is Tugh Temur (Emperor Wenzong), '
 'who wrote poetry, painted, read Chinese classical texts, and ordered the '
 'compilation of books.')

La configurazione che segue il blocco di codice tensorflow grafo G e sessione con l'Universal Encoder multilingue Q & Un modello question_encoder 's e le firme response_encoder.

Carica il modello dall'hub tensorflow

Attiva/disattiva codice

module_url = "https://tfhub.dev/google/universal-sentence-encoder-multilingual-qa/3"
model = hub.load(module_url)

Il seguente blocco di codice calcolare le immersioni per tutto il testo, tuple contesto e memorizzarli in una simpleneighbors indice utilizzando il response_encoder.

Calcola incorporamenti e crea un indice dei vicini semplici

Attiva/disattiva codice

batch_size = 100

encodings = model.signatures['response_encoder'](
  input=tf.constant([sentences[0][0]]),
  context=tf.constant([sentences[0][1]]))
index = simpleneighbors.SimpleNeighbors(
    len(encodings['outputs'][0]), metric='angular')

print('Computing embeddings for %s sentences' % len(sentences))
slices = zip(*(iter(sentences),) * batch_size)
num_batches = int(len(sentences) / batch_size)
for s in tqdm(slices, total=num_batches):
  response_batch = list([r for r, c in s])
  context_batch = list([c for r, c in s])
  encodings = model.signatures['response_encoder'](
    input=tf.constant(response_batch),
    context=tf.constant(context_batch)
  )
  for batch_index, batch in enumerate(response_batch):
    index.add_one(batch, encodings['outputs'][batch_index])

index.build()
print('simpleneighbors index for %s sentences built.' % len(sentences))

Computing embeddings for 10455 sentences
0%|          | 0/104 [00:00<?, ?it/s]
simpleneighbors index for 10455 sentences built.

Sul recupero, la domanda è codificato utilizzando la question_encoder e l'incorporamento questione viene utilizzato per interrogare l'indice simpleneighbors.

Recupera i vicini più prossimi per una domanda casuale da SQuAD

num_results = 25

query = random.choice(questions)
display_nearest_neighbors(query[0], query[1])