e2e_cleaned

• Описание :

Выпуск обновления данных E2E NLG Challenge с очищенными MR. Данные E2E содержат представление значения (MR) на основе диалога в домене ресторана и до 5 ссылок на естественном языке, что и нужно предсказать.

• Дополнительная документация : изучить документы с кодом

• Домашняя страница : https://github.com/tuetschek/e2e-cleaning

• Исходный код : tfds.datasets.e2e_cleaned.Builder

• Версии :

  • 0.1.0 (по умолчанию): нет примечаний к выпуску.

• Размер загрузки : 13.92 MiB .

• Размер набора данных : 14.70 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

Расколоть	Примеры
'test'	4693
'train'	33 525
'validation'	4299

• Структура функции :

FeaturesDict({
    'input_text': FeaturesDict({
        'table': Sequence({
            'column_header': string,
            'content': string,
            'row_number': int16,
        }),
    }),
    'target_text': string,
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	ОсобенностиDict
input_text	ОсобенностиDict
input_text/таблица	Последовательность
input_text/таблица/column_header	Тензор		нить
input_text/таблица/содержание	Тензор		нить
input_text/таблица/номер_строки	Тензор		int16
целевой_текст	Тензор		нить

• Контролируемые ключи (см . документ as_supervised ): ('input_text', 'target_text')

• Рисунок ( tfds.show_examples ): не поддерживается.

• Примеры ( tfds.as_dataframe ):

• Цитата :

@inproceedings{dusek-etal-2019-semantic,
    title = "Semantic Noise Matters for Neural Natural Language Generation",
    author = "Du{\v{s} }ek, Ond{\v{r} }ej  and
      Howcroft, David M.  and
      Rieser, Verena",
    booktitle = "Proceedings of the 12th International Conference on Natural Language Generation",
    month = oct # "{--}" # nov,
    year = "2019",
    address = "Tokyo, Japan",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/W19-8652",
    doi = "10.18653/v1/W19-8652",
    pages = "421--426",
    abstract = "Neural natural language generation (NNLG) systems are known for their pathological outputs, i.e. generating text which is unrelated to the input specification. In this paper, we show the impact of semantic noise on state-of-the-art NNLG models which implement different semantic control mechanisms. We find that cleaned data can improve semantic correctness by up to 97{\%}, while maintaining fluency. We also find that the most common error is omitting information, rather than hallucination.",
}