clnc_oos

• คำอธิบาย :

ระบบโต้ตอบที่เน้นงานจำเป็นต้องรู้เมื่อข้อความค้นหาอยู่นอกช่วงของความตั้งใจที่สนับสนุน แต่องค์กรการจัดประเภทข้อความในปัจจุบันจะกำหนดเฉพาะชุดป้ายกำกับที่ครอบคลุมทุกตัวอย่างเท่านั้น เราแนะนำชุดข้อมูลใหม่ที่รวมการสืบค้นที่อยู่นอกขอบเขต (OOS) กล่าวคือ การสืบค้นที่ไม่อยู่ในเจตนาที่ระบบรองรับ นี่เป็นความท้าทายใหม่เนื่องจากโมเดลไม่สามารถสรุปได้ว่าทุกการสืบค้น ณ เวลาอนุมานเป็นของคลาส Intent ที่ระบบรองรับ ชุดข้อมูลของเรายังครอบคลุมคลาสความตั้งใจ 150 คลาสใน 10 โดเมน ซึ่งครอบคลุมขอบเขตที่เอเจนต์ที่เน้นงานด้านการผลิตต้องจัดการ มันนำเสนอวิธีการจัดหมวดหมู่ข้อความเปรียบเทียบที่เข้มงวดและสมจริงมากขึ้นในระบบโต้ตอบที่ขับเคลื่อนด้วยงาน

• เอกสารประกอบเพิ่มเติม : สำรวจเอกสารด้วยรหัส

• หน้าแรก : https://github.com/clinc/oos-eval/

• รหัสที่มา : tfds.text.ClincOOS

• รุ่น :

  • 0.1.0 (ค่าเริ่มต้น): ไม่มีบันทึกประจำรุ่น

• ขนาดการดาวน์โหลด : 256.01 KiB

• ขนาดชุดข้อมูล : 3.40 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

แยก	ตัวอย่าง
'test'	4,500
'test_oos'	1,000
'train'	15,000
'train_oos'	100
'validation'	3,000
'validation_oos'	100

• โครงสร้างคุณลักษณะ :

FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})

• เอกสารคุณสมบัติ :

ลักษณะเฉพาะ	ระดับ	รูปร่าง	Dประเภท	คำอธิบาย
	คุณสมบัติDict
โดเมน	เทนเซอร์		int32
โดเมน_ชื่อ	ข้อความ		สตริง
เจตนา	เทนเซอร์		int32
เจตนา_ชื่อ	ข้อความ		สตริง
ข้อความ	ข้อความ		สตริง

• คีย์ภายใต้การดูแล (ดู as_supervised doc ): ('text', 'intent')

• รูปภาพ ( tfds.show_examples ): ไม่รองรับ

• ตัวอย่าง ( tfds.as_dataframe ):

• การอ้างอิง :

@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}