clinc_oos

Descrição :

Os sistemas de diálogo orientados a tarefas precisam saber quando uma consulta está fora de seu intervalo de intenções suportadas, mas os corpora de classificação de texto atuais definem apenas conjuntos de rótulos que cobrem todos os exemplos. Apresentamos um novo conjunto de dados que inclui consultas fora do escopo (OOS), ou seja, consultas que não se enquadram em nenhuma das intenções suportadas pelo sistema. Isso representa um novo desafio porque os modelos não podem assumir que todas as consultas no momento da inferência pertencem a uma classe de intenção suportada pelo sistema. Nosso conjunto de dados também abrange 150 classes de intenção em 10 domínios, capturando a amplitude que um agente orientado a tarefas de produção deve manipular. Ele oferece uma maneira de comparar a classificação de texto de maneira mais rigorosa e realista em sistemas de diálogo orientados por tarefas.

Documentação Adicional : Explore em Papers With Code
Página inicial : https://github.com/clinc/oos-eval/
Código -fonte: tfds.text.ClincOOS
Versões :
- 0.1.0 (padrão): sem notas de versão.
Tamanho do download : 256.01 KiB
Tamanho do conjunto de dados : 3.40 MiB
Cache automático ( documentação ): Sim
Divisões :

Dividir	Exemplos
`'test'`	4.500
`'test_oos'`	1.000
`'train'`	15.000
`'train_oos'`	100
`'validation'`	3.000
`'validation_oos'`	100

Estrutura de recursos :

FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})

Documentação do recurso:

Característica	Classe	Tipo D
	RecursosDict
domínio	tensor	int32
nome do domínio	Texto	corda
intenção	tensor	int32
intent_name	Texto	corda
texto	Texto	corda

Chaves supervisionadas (Consulte as_supervised doc ): ('text', 'intent')
Figura ( tfds.show_examples ): Não suportado.
Exemplos ( tfds.as_dataframe ):

Citação :

@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}