clinc_oos

• Mô tả :

Hệ thống hộp thoại hướng tác vụ cần biết khi nào một truy vấn nằm ngoài phạm vi ý định được hỗ trợ của chúng, nhưng kho ngữ liệu phân loại văn bản hiện tại chỉ xác định các bộ nhãn bao gồm mọi ví dụ. Chúng tôi giới thiệu tập dữ liệu mới bao gồm các truy vấn nằm ngoài phạm vi (OOS), tức là các truy vấn không thuộc bất kỳ mục đích nào được hỗ trợ của hệ thống. Điều này đặt ra một thách thức mới bởi vì các mô hình không thể giả định rằng mọi truy vấn tại thời điểm suy luận đều thuộc về một lớp ý định được hệ thống hỗ trợ. Tập dữ liệu của chúng tôi cũng bao gồm 150 lớp mục đích trên 10 miền, nắm bắt phạm vi rộng mà tác nhân hướng nhiệm vụ sản xuất phải xử lý. Nó cung cấp một cách phân loại văn bản điểm chuẩn chặt chẽ và thực tế hơn trong các hệ thống hộp thoại theo hướng tác vụ.

• Trang chủ : https://github.com/clinc/oos-eval/

• Mã nguồn : tfds.text.ClincOOS

• Các phiên bản :

  • 0.1.0 (mặc định): Không có ghi chú phát hành.

• Kích thước tải xuống : 256.01 KiB

• Kích thước tập dữ liệu : 3.40 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

• Tách :

Tách ra	Các ví dụ
'test'	4.500
'test_oos'	1.000
'train'	15.000
'train_oos'	100
'validation'	3.000
'validation_oos'	100

• Cấu trúc tính năng :

FeaturesDict({
    'domain': tf.int32,
    'domain_name': Text(shape=(), dtype=tf.string),
    'intent': tf.int32,
    'intent_name': Text(shape=(), dtype=tf.string),
    'text': Text(shape=(), dtype=tf.string),
})

• Tài liệu tính năng :

Tính năng	Lớp	Hình dạng	Loại	Sự miêu tả
	Các tính năng
miền	Tensor		tf.int32
tên miền	Bản văn		tf.string
ý định	Tensor		tf.int32
tên_mục đích	Bản văn		tf.string
bản văn	Bản văn		tf.string

• Các khóa được giám sát (Xem as_supervised doc ): ('text', 'intent')

• Hình ( tfds.show_examples ): Không được hỗ trợ.

• Ví dụ ( tfds.as_dataframe ):

• Trích dẫn :

@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}