- opis :
Kontekstualizacja
ASSIN 2 jest drugą edycją Avaliação de Possibleidade Semântica e Inferência Textual (Ocena podobieństwa semantycznego i wiązania tekstowego) i był warsztatem połączonym ze STIL 2019 . Następuje po pierwszej edycji ASSIN , proponując nowe wspólne zadanie z nowymi danymi.
Warsztaty oceniały systemy, które oceniają dwa rodzaje relacji między dwoma zdaniami: semantyczne podobieństwo tekstowe i uwikłanie w tekst.
Semantyczne podobieństwo tekstowe polega na ilościowym określeniu poziomu równoważności semantycznej między zdaniami, podczas gdy rozpoznawanie powiązań tekstowych polega na sklasyfikowaniu, czy pierwsze zdanie pociąga za sobą drugie.
Dane
Korpus wykorzystany w ASSIN 2 składa się z raczej prostych zdań. Postępując zgodnie z procedurami zawartymi w zadaniu 1 SemEval 2014, staraliśmy się usunąć z korpusu nazwane byty i mowę zależną oraz staraliśmy się, aby wszystkie czasowniki były w czasie teraźniejszym. Dostępne są instrukcje adnotacji dla adnotatorów (w języku portugalskim).
Dane szkoleniowe i walidacyjne składają się odpowiednio z 6500 i 500 par zdań w brazylijskim portugalskim, z adnotacjami pod kątem implikacji i podobieństwa semantycznego. Wartości podobieństwa semantycznego wahają się od 1 do 5, a klasy implikacji tekstu to implikacja lub jej brak. Dane testowe składają się z około 3000 par zdań z tą samą adnotacją. Wszystkie dane zostały ręcznie opatrzone adnotacjami.
Ocena
Ocena Ocena zgłoszeń do ASSIN 2 została przeprowadzona przy użyciu tych samych metryk, co w przypadku pierwszego ASSIN, z F1 precyzji i pamięci jako głównym miernikiem implikacji tekstu i korelacji Pearsona dla podobieństwa semantycznego. Skrypty oceny są takie same jak w poprzedniej edycji.
PS.: Opis pochodzi z oficjalnej strony głównej .
Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na
Strona główna : https://sites.google.com/view/assin2/english
Kod źródłowy :
tfds.datasets.assin2.Builder
Wersje :
-
1.0.0
(domyślnie): Wersja początkowa.
-
Rozmiar pliku do pobrania :
2.02 MiB
Rozmiar zestawu danych :
1.82 MiB
Automatyczne buforowanie ( dokumentacja ): Tak
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 2448 |
'train' | 6500 |
'validation' | 500 |
- Struktura funkcji :
FeaturesDict({
'entailment': ClassLabel(shape=(), dtype=int64, num_classes=2),
'hypothesis': Text(shape=(), dtype=string),
'id': int32,
'similarity': float32,
'text': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
ustanowienie majoratu | Etykieta klasy | int64 | ||
hipoteza | Tekst | strunowy | ||
ID | Napinacz | int32 | ||
podobieństwo | Napinacz | pływak32 | ||
tekst | Tekst | strunowy |
Klucze nadzorowane (Zobacz dokument
as_supervised
):None
Rysunek ( tfds.show_examples ): Nieobsługiwany.
Przykłady ( tfds.as_dataframe ):
- Cytat :
@inproceedings{DBLP:conf/propor/RealFO20,
author = {Livy Real and
Erick Fonseca and
Hugo Gon{\c{c} }alo Oliveira},
editor = {Paulo Quaresma and
Renata Vieira and
Sandra M. Alu{\'{\i} }sio and
Helena Moniz and
Fernando Batista and
Teresa Gon{\c{c} }alves},
title = {The {ASSIN} 2 Shared Task: {A} Quick Overview},
booktitle = {Computational Processing of the Portuguese Language - 14th International
Conference, {PROPOR} 2020, Evora, Portugal, March 2-4, 2020, Proceedings},
series = {Lecture Notes in Computer Science},
volume = {12037},
pages = {406--412},
publisher = {Springer},
year = {2020},
url = {https://doi.org/10.1007/978-3-030-41505-1_39},
doi = {10.1007/978-3-030-41505-1_39},
timestamp = {Tue, 03 Mar 2020 09:40:18 +0100},
biburl = {https://dblp.org/rec/conf/propor/RealFO20.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}