Biblioteka zadań BertQuestionAnswerer
API ładuje model Berta i odpowiada na pytania w oparciu o treść danego fragmentu. Aby uzyskać więcej informacji, zobacz dokumentację modelu Pytanie-Odpowiedź tutaj .
Najważniejsze cechy interfejsu API BertQuestionAnswerer
Przyjmuje dwa wprowadzone dane tekstowe jako pytanie i kontekst i wyświetla listę możliwych odpowiedzi.
Wykonuje pozagrafowe tokenizacje Wordpiece lub Sentencepiece na tekście wejściowym.
Obsługiwane modele BertQuestionAnswerer
Następujące modele są kompatybilne z interfejsem API BertNLClassifier
.
Modele stworzone przez TensorFlow Lite Model Maker dla BERT Pytanie Odpowiedź .
Modele niestandardowe spełniające wymagania dotyczące kompatybilności modeli .
Uruchom wnioskowanie w Javie
Krok 1: Zaimportuj zależność Gradle i inne ustawienia
Skopiuj plik modelu .tflite
do katalogu zasobów modułu Android, w którym model będzie uruchamiany. Określ, że plik nie powinien być kompresowany i dodaj bibliotekę TensorFlow Lite do pliku build.gradle
modułu:
android {
// Other settings
// Specify tflite file should not be compressed for the app apk
aaptOptions {
noCompress "tflite"
}
}
dependencies {
// Other dependencies
// Import the Task Text Library dependency (NNAPI is included)
implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}
Krok 2: Uruchom wnioskowanie za pomocą interfejsu API
// Initialization
BertQuestionAnswererOptions options =
BertQuestionAnswererOptions.builder()
.setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
.build();
BertQuestionAnswerer answerer =
BertQuestionAnswerer.createFromFileAndOptions(
androidContext, modelFile, options);
// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);
Więcej szczegółów znajdziesz w kodzie źródłowym .
Uruchom wnioskowanie w Swift
Krok 1: Zaimportuj CocoaPods
Dodaj pod TensorFlowLiteTaskText w Podfile
target 'MySwiftAppWithTaskAPI' do
use_frameworks!
pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end
Krok 2: Uruchom wnioskowanie za pomocą interfejsu API
// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
modelPath: mobileBertModelPath)
// Run inference
let answers = mobileBertAnswerer.answer(
context: context, question: question)
Więcej szczegółów znajdziesz w kodzie źródłowym .
Uruchom wnioskowanie w C++
// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();
// Run inference with your inputs, `context_of_question` and `question_to_ask`.
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);
Więcej szczegółów znajdziesz w kodzie źródłowym .
Uruchom wnioskowanie w Pythonie
Krok 1: Zainstaluj pakiet pip
pip install tflite-support
Krok 2: Korzystanie z modelu
# Imports
from tflite_support.task import text
# Initialization
answerer = text.BertQuestionAnswerer.create_from_file(model_path)
# Run inference
bert_qa_result = answerer.answer(context, question)
Zobacz kod źródłowy , aby uzyskać więcej opcji konfiguracji BertQuestionAnswerer
.
Przykładowe wyniki
Oto przykład wyników odpowiedzi modelu ALBERT .
Kontekst: „Las deszczowy Amazonii, alternatywnie, Dżungla Amazońska, znana również w języku angielskim jako Amazonia, to wilgotny, szerokolistny tropikalny las deszczowy w biomie Amazonii, który pokrywa większość dorzecza Amazonki w Ameryce Południowej. Dorzecze to obejmuje 7 000 000 km2 (2 700 000 mil kwadratowych ), z czego 5 500 000 km2 (2 100 000 mil kwadratowych) zajmują lasy deszczowe. Region ten obejmuje terytorium należące do dziewięciu narodów.
Pytanie: „Gdzie jest las deszczowy Amazonii?”
Odpowiedzi:
answer[0]: 'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]: 'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]: 'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]: 'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]: 'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40
Wypróbuj proste narzędzie demonstracyjne CLI dla BertQuestionAnswerer z własnym modelem i danymi testowymi.
Wymagania dotyczące kompatybilności modelu
Interfejs API BertQuestionAnswerer
oczekuje modelu TFLite z obowiązkowymi metadanymi modelu TFLite .
Metadane powinny spełniać następujące wymagania:
input_process_units
dla tokenizera Wordpiece/Zdanie3 tensory wejściowe o nazwach „ids”, „mask” i „segment_ids” dla wyjścia tokenizera
2 tensory wyjściowe o nazwach „end_logits” i „start_logits”, aby wskazać względną pozycję odpowiedzi w kontekście