salient_span_wikipedia

  • תיאור :

משפטים בוויקיפדיה עם טווחים בולטים מסומנים.

@article{guu2020realm,
    title={REALM: Retrieval-Augmented Language Model Pre-Training},
    author={Kelvin Guu and Kenton Lee and Zora Tung and Panupong Pasupat and Ming-Wei Chang},
    year={2020},
    journal = {arXiv e-prints},
    archivePrefix = {arXiv},
    eprint={2002.08909},
}

salient_span_wikipedia/sences (תצורת ברירת מחדל)

  • תיאור תצורה : דוגמאות הן משפטים בודדים המכילים ישויות.

  • גודל מערך נתונים : 20.57 GiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 82,291,706
  • מבנה תכונה :
FeaturesDict({
    'spans': Sequence({
        'limit': int32,
        'start': int32,
        'type': string,
    }),
    'text': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
משתרעים סדר פעולות
טווחים/מגבלה מוֹתֵחַ int32
משתרע/התחל מוֹתֵחַ int32
טווחים/סוג מוֹתֵחַ חוּט
טֶקסט טֶקסט חוּט
כותרת טֶקסט חוּט

salient_span_wikipedia/מסמכים

  • תיאור תצורה : דוגמאות למסמכים מלאים.

  • גודל מערך נתונים : 16.52 GiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 13,353,718
  • מבנה תכונה :
FeaturesDict({
    'sentences': Sequence({
        'limit': int32,
        'start': int32,
    }),
    'spans': Sequence({
        'limit': int32,
        'start': int32,
        'type': string,
    }),
    'text': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
משפטים סדר פעולות
משפטים/מגבלה מוֹתֵחַ int32
משפטים/התחלה מוֹתֵחַ int32
משתרעים סדר פעולות
טווחים/מגבלה מוֹתֵחַ int32
משתרע/התחל מוֹתֵחַ int32
טווחים/סוג מוֹתֵחַ חוּט
טֶקסט טֶקסט חוּט
כותרת טֶקסט חוּט