clinc_oos

• opis :

Zorientowane na zadania systemy dialogowe muszą wiedzieć, kiedy zapytanie wykracza poza zakres obsługiwanych intencji, ale obecne korpusy klasyfikacji tekstu definiują tylko zestawy etykiet, które obejmują każdy przykład. Wprowadzamy nowy zestaw danych, który zawiera zapytania, które są poza zakresem (OOS), tj. zapytania, które nie mieszczą się w żadnej z obsługiwanych intencji systemu. Stanowi to nowe wyzwanie, ponieważ modele nie mogą zakładać, że każde zapytanie w czasie wnioskowania należy do obsługiwanej przez system klasy intencji. Nasz zestaw danych obejmuje również 150 klas intencji w 10 domenach, odzwierciedlając zakres, jaki musi obsłużyć produkcyjny agent zorientowany na zadania. Oferuje sposób bardziej rygorystycznego i realistycznego porównywania klasyfikacji tekstu w systemach dialogowych sterowanych zadaniami.

• Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na

• Strona główna : https://github.com/clinc/oos-eval/

• Kod źródłowy : tfds.text.ClincOOS

• Wersje :

  • 0.1.0 (domyślnie): Brak informacji o wersji.

• Rozmiar pliku do pobrania : 256.01 KiB

• Rozmiar zestawu danych : 3.40 MiB

• Automatyczne buforowanie ( dokumentacja ): Tak

• Podziały :

Rozdzielać	Przykłady
'test'	4500
'test_oos'	1000
'train'	15 000
'train_oos'	100
'validation'	3000
'validation_oos'	100

• Struktura funkcji :

FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})

• Dokumentacja funkcji :

Funkcja	Klasa	Kształt	Typ D	Opis
	FunkcjeDict
domena	Napinacz		int32
Nazwa domeny	Tekst		strunowy
zamiar	Napinacz		int32
nazwa_intencji	Tekst		strunowy
tekst	Tekst		strunowy

• Nadzorowane klucze (Zobacz as_supervised doc ): ('text', 'intent')

• Rysunek ( tfds.show_examples ): Nieobsługiwany.

• Przykłady ( tfds.as_dataframe ):

• Cytat :

@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}