clinc_oos

• توضیحات :

سیستم‌های محاوره‌ای وظیفه‌گرا باید بدانند چه زمانی یک پرس‌وجو خارج از محدوده اهداف پشتیبانی‌شده آن‌ها قرار می‌گیرد، اما مجموعه‌های طبقه‌بندی متن فعلی فقط مجموعه‌های برچسبی را تعریف می‌کنند که هر نمونه را پوشش می‌دهد. ما مجموعه داده جدیدی را معرفی می کنیم که شامل جستارهایی است که خارج از محدوده (OOS) هستند، به عنوان مثال، جستارهایی که در هیچ یک از اهداف پشتیبانی شده سیستم قرار نمی گیرند. این یک چالش جدید ایجاد می کند زیرا مدل ها نمی توانند فرض کنند که هر پرس و جو در زمان استنتاج به یک کلاس هدف پشتیبانی شده توسط سیستم تعلق دارد. مجموعه داده ما همچنین 150 کلاس هدف در 10 دامنه را پوشش می‌دهد و وسعتی را که یک عامل وظیفه‌محور تولید باید مدیریت کند را در بر می‌گیرد. این روشی برای محک زدن دقیق‌تر و واقعی‌تر طبقه‌بندی متن در سیستم‌های گفتگوی وظیفه محور ارائه می‌دهد.

• اسناد اضافی : کاوش در کاغذها با کد

• صفحه اصلی : https://github.com/clinc/oos-eval/

• کد منبع : tfds.text.ClincOOS

• نسخه ها :

  • 0.1.0 (پیش فرض): بدون یادداشت انتشار.

• حجم دانلود : 256.01 KiB

• حجم مجموعه داده : 3.40 MiB

• ذخیره خودکار ( اسناد ): بله

• تقسیم ها :

شکاف	مثال ها
'test'	4500
'test_oos'	1000
'train'	15000
'train_oos'	100
'validation'	3000
'validation_oos'	100

• ساختار ویژگی :

FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})

• مستندات ویژگی :

ویژگی	کلاس	شکل	نوع D	شرح
	FeaturesDict
دامنه	تانسور		int32
نام دامنه	متن		رشته
قصد	تانسور		int32
intent_name	متن		رشته
متن	متن		رشته

• کلیدهای نظارت شده (به as_supervised نظارت شده مراجعه کنید): ('text', 'intent')

• شکل ( tfds.show_examples ): پشتیبانی نمی شود.

• مثال‌ها ( tfds.as_dataframe ):

• نقل قول :

@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}