clinc_oos

• الوصف :

تحتاج أنظمة الحوار الموجهة نحو المهام إلى معرفة متى يقع الاستعلام خارج نطاق المقاصد المدعومة ، لكن هيئة تصنيف النص الحالية تحدد فقط مجموعات الملصقات التي تغطي كل مثال. نقدم مجموعة بيانات جديدة تتضمن استعلامات خارج النطاق (OOS) ، أي الاستعلامات التي لا تندرج في أي من أهداف النظام المدعومة. يمثل هذا تحديًا جديدًا لأن النماذج لا يمكنها افتراض أن كل استعلام في وقت الاستدلال ينتمي إلى فئة نوايا مدعومة من النظام. تغطي مجموعة البيانات الخاصة بنا أيضًا 150 فئة نية على 10 نطاقات ، مع التقاط النطاق الذي يجب أن يتعامل معه وكيل مهام الإنتاج. إنه يوفر طريقة لمقارنة تصنيف النص بشكل أكثر صرامة وواقعية في أنظمة الحوار التي تعتمد على المهام.

• وثائق إضافية : استكشف في الأوراق باستخدام الرمز

• الصفحة الرئيسية : https://github.com/clinc/oos-eval/

• كود المصدر : tfds.text.ClincOOS

• إصدارات :

  • 0.1.0 (افتراضي): لا توجد ملاحظات حول الإصدار.

• حجم التحميل : 256.01 KiB

• حجم مجموعة البيانات : 3.40 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• الانقسامات :

انشق، مزق	أمثلة
'test'	4500
'test_oos'	1،000
'train'	15000
'train_oos'	100
'validation'	3000
'validation_oos'	100

• هيكل الميزة :

FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})

• وثائق الميزة :

ميزة	فصل	شكل	نوع	وصف
	الميزات
نطاق	موتر		int32
اسم النطاق	نص		سلسلة
نوايا	موتر		int32
intent_name	نص		سلسلة
نص	نص		سلسلة

• المفاتيح الخاضعة للإشراف (راجع المستند as_supervised ): ('text', 'intent')

• الشكل ( tfds.show_examples ): غير مدعوم.

• أمثلة ( tfds.as_dataframe ):

• الاقتباس :

@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}