- תיאור :
מערכות דיאלוג מוכוונות משימה צריכות לדעת מתי שאילתה נופלת מחוץ לטווח הכוונות הנתמכות שלהן, אך גופי סיווג טקסט הנוכחיים מגדירים רק ערכות תוויות המכסות כל דוגמה. אנו מציגים מערך נתונים חדש הכולל שאילתות שהן מחוץ לטווח (OOS), כלומר שאילתות שאינן נופלות באף אחת מהכוונות הנתמכות של המערכת. זה מציב אתגר חדש מכיוון שמודלים אינם יכולים להניח שכל שאילתה בזמן הסקת מסקנות שייכת למחלקת כוונות הנתמכת על ידי מערכת. מערך הנתונים שלנו מכסה גם 150 מחלקות כוונות על פני 10 תחומים, תופסים את הרוחב שסוכן משימתי ייצור צריך להתמודד איתו. הוא מציע דרך לקפדנות ומציאותית יותר לסיווג טקסט במערכות דיאלוג מונעות משימות.
תיעוד נוסף : חקור על ניירות עם קוד
דף הבית : https://github.com/clinc/oos-eval/
קוד מקור :
tfds.text.ClincOOS
גרסאות :
-
0.1.0
(ברירת מחדל): אין הערות שחרור.
-
גודל הורדה :
256.01 KiB
גודל ערכת נתונים :
3.40 MiB
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 4,500 |
'test_oos' | 1,000 |
'train' | 15,000 |
'train_oos' | 100 |
'validation' | 3,000 |
'validation_oos' | 100 |
- מבנה תכונה :
FeaturesDict({
'domain': int32,
'domain_name': Text(shape=(), dtype=string),
'intent': int32,
'intent_name': Text(shape=(), dtype=string),
'text': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
FeaturesDict | ||||
תְחוּם | מוֹתֵחַ | int32 | ||
שם דומיין | טֶקסט | חוּט | ||
כוונה | מוֹתֵחַ | int32 | ||
שם_כוונת | טֶקסט | חוּט | ||
טֶקסט | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('text', 'intent')
איור ( tfds.show_examples ): לא נתמך.
דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{larson-etal-2019-evaluation,
title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
author = "Larson, Stefan and
Mahendran, Anish and
Peper, Joseph J. and
Clarke, Christopher and
Lee, Andrew and
Hill, Parker and
Kummerfeld, Jonathan K. and
Leach, Kevin and
Laurenzano, Michael A. and
Tang, Lingjia and
Mars, Jason",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/D19-1131",
doi = "10.18653/v1/D19-1131",
pages = "1311--1316",
}