xquad

• বর্ণনা :

XQuAD (Cross-Lingual Question Answering Dataset) হল ক্রস-লিঙ্গুয়াল প্রশ্নের উত্তরের কার্যকারিতা মূল্যায়নের জন্য একটি বেঞ্চমার্ক ডেটাসেট। ডেটাসেটটিতে 240টি অনুচ্ছেদের একটি উপসেট এবং SQuAD v1.1 (Rajpurkar et al., 2016) এর ডেভেলপমেন্ট সেট থেকে 1190টি প্রশ্ন-উত্তর জোড়া রয়েছে এবং দশটি ভাষায় তাদের পেশাদার অনুবাদ রয়েছে: স্প্যানিশ, জার্মান, গ্রীক, রাশিয়ান, তুর্কি , আরবি, ভিয়েতনামী, থাই, চাইনিজ এবং হিন্দি। ফলস্বরূপ, ডেটাসেটটি 11টি ভাষায় সম্পূর্ণ সমান্তরাল। ডিফল্ট জিরো-শট সেটিংসে XQuAD চালানোর জন্য, এখানে SQuAD v1.1 প্রশিক্ষণ এবং বৈধতা ডেটা ব্যবহার করুন: https://www.tensorflow.org/datasets/catalog/squad

আমরা XTREME (Hu et al., 2020) থেকে প্রতিটি অ-ইংরেজি ভাষার জন্য "অনুবাদ-ট্রেন", "অনুবাদ-দেব" এবং "অনুবাদ-পরীক্ষা" বিভক্ত অন্তর্ভুক্ত করি। এগুলি "ট্রান্সলেট-ট্রেন" বা "ট্রান্সলেট-টেস্ট" সেটিংসে XQuAD চালানোর জন্য ব্যবহার করা যেতে পারে।

• অতিরিক্ত ডকুমেন্টেশন : কোড সহ কাগজপত্রে অন্বেষণ করুন

• হোমপেজ : https://github.com/deepmind/xquad

• উত্স কোড : tfds.question_answering.Xquad

• সংস্করণ :

  • 3.0.0 (ডিফল্ট): প্রসঙ্গ হোয়াইট-স্পেস অপসারণের কারণে উত্তর স্প্যানগুলি ভুলভাবে সংযোজন করা হয়েছে এমন কয়েকটি উদাহরণ সহ সমস্যা সমাধান করে। এই পরিবর্তন পরীক্ষার উদাহরণের প্রায় 14% প্রভাবিত করে।

• বৈশিষ্ট্য গঠন :

FeaturesDict({
    'answers': Sequence({
        'answer_start': int32,
        'text': Text(shape=(), dtype=string),
    }),
    'context': Text(shape=(), dtype=string),
    'id': string,
    'question': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• বৈশিষ্ট্য ডকুমেন্টেশন :

বৈশিষ্ট্য	ক্লাস	আকৃতি	ডিটাইপ	বর্ণনা
	ফিচারসডিক্ট
উত্তর	ক্রম
উত্তর/উত্তর_শুরু	টেনসর		int32
উত্তর/পাঠ্য	পাঠ্য		স্ট্রিং
প্রসঙ্গ	পাঠ্য		স্ট্রিং
আইডি	টেনসর		স্ট্রিং
প্রশ্ন	পাঠ্য		স্ট্রিং
শিরোনাম	পাঠ্য		স্ট্রিং

• তত্ত্বাবধান করা কী (দেখুন as_supervised doc ): None

• চিত্র ( tfds.show_examples ): সমর্থিত নয়।

• উদ্ধৃতি :

@article{Artetxe:etal:2019,
      author    = {Mikel Artetxe and Sebastian Ruder and Dani Yogatama},
      title     = {On the cross-lingual transferability of monolingual representations},
      journal   = {CoRR},
      volume    = {abs/1910.11856},
      year      = {2019},
      archivePrefix = {arXiv},
      eprint    = {1910.11856}
}

xquad/ar (ডিফল্ট কনফিগারেশন)

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত ট্রান্সলেট-ট্রেন/ট্রান্সলেট-ডেভ/ট্রান্সলেট-টেস্ট স্প্লিট সহ XQuAD 'ar' টেস্ট স্প্লিট।

• ডাউনলোড 420.97 MiB

• ডেটাসেটের আকার : 134.83 MiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,541
'translate-test'	1,151
'translate-train'	৮৬,৭৮৭

• উদাহরণ ( tfds.as_dataframe ):

xquad/de

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত ট্রান্সলেট-ট্রেন/ট্রান্সলেট-ডেভ/ট্রান্সলেট-টেস্ট স্প্লিট সহ XQuAD 'de' টেস্ট স্প্লিট।

• ডাউনলোড সাইজ : 127.04 MiB

• ডেটাসেটের আকার : 98.80 MiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,371
'translate-test'	1,168
'translate-train'	৮২,৬০৩

• উদাহরণ ( tfds.as_dataframe ):

xquad/el

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত ট্রান্সলেট-ট্রেন/ট্রান্সলেট-ডেভ/ট্রান্সলেট-টেস্ট স্প্লিট সহ XQuAD 'el' টেস্ট স্প্লিট।

• ডাউনলোড 499.40 MiB

• ডেটাসেটের আকার : 157.90 MiB

• অটো-ক্যাশেড ( ডকুমেন্টেশন ): হ্যাঁ (পরীক্ষা, অনুবাদ-দেব, অনুবাদ-পরীক্ষা), শুধুমাত্র যখন shuffle_files=False (অনুবাদ-ট্রেন)

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,100
'translate-test'	1,182
'translate-train'	79,946

• উদাহরণ ( tfds.as_dataframe ):

xquad/es

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত translate-train/translate-dev/translate-test স্প্লিট সহ XQuAD 'es' টেস্ট স্প্লিট।

• ডাউনলোড সাইজ : 138.41 MiB

• ডেটাসেটের আকার : 104.96 MiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,566
'translate-test'	1,188
'translate-train'	৮৭,৪৮৮

• উদাহরণ ( tfds.as_dataframe ):

xquad/hi

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত ট্রান্সলেট-ট্রেন/ট্রান্সলেট-ডেভ/ট্রান্সলেট-টেস্ট স্প্লিট সহ XQuAD 'hi' টেস্ট স্প্লিট।

• ডাউনলোড 472.23 MiB

• ডেটাসেটের আকার : 207.85 MiB

• অটো-ক্যাশেড ( ডকুমেন্টেশন ): হ্যাঁ (পরীক্ষা, অনুবাদ-দেব, অনুবাদ-পরীক্ষা), শুধুমাত্র যখন shuffle_files=False (অনুবাদ-ট্রেন)

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,536
'translate-test'	1,184
'translate-train'	৮৫,৮০৪

• উদাহরণ ( tfds.as_dataframe ):

xquad/ru

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত ট্রান্সলেট-ট্রেন/ট্রান্সলেট-দেব/ট্রান্সলেট-টেস্ট স্প্লিট সহ XQuAD 'ru' টেস্ট স্প্লিট।

• ডাউনলোডের আকার : 513.80 MiB

• ডেটাসেটের আকার : 159.38 MiB

• অটো-ক্যাশেড ( ডকুমেন্টেশন ): হ্যাঁ (পরীক্ষা, অনুবাদ-দেব, অনুবাদ-পরীক্ষা), শুধুমাত্র যখন shuffle_files=False (অনুবাদ-ট্রেন)

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,469
'translate-test'	1,190
'translate-train'	৮৪,৮৬৯

• উদাহরণ ( tfds.as_dataframe ):

xquad/th

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত ট্রান্সলেট-ট্রেন/ট্রান্সলেট-ডেভ/ট্রান্সলেট-টেস্ট স্প্লিট সহ XQuAD 'th' টেস্ট স্প্লিট।

• ডাউনলোড 461.54 MiB

• ডেটাসেটের আকার : 199.57 MiB

• অটো-ক্যাশেড ( ডকুমেন্টেশন ): হ্যাঁ (পরীক্ষা, অনুবাদ-দেব, অনুবাদ-পরীক্ষা), শুধুমাত্র যখন shuffle_files=False (অনুবাদ-ট্রেন)

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,516
'translate-test'	1,157
'translate-train'	৮৫,৮৪৬

• উদাহরণ ( tfds.as_dataframe ):

xquad/tr

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত ট্রান্সলেট-ট্রেন/ট্রান্সলেট-ডেভ/ট্রান্সলেট-টেস্ট স্প্লিট সহ XQuAD 'tr' টেস্ট স্প্লিট।

• ডাউনলোড সাইজ : 151.08 MiB

• ডেটাসেটের আকার : 97.56 MiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,535
'translate-test'	1,112
'translate-train'	৮৬,৫১১

• উদাহরণ ( tfds.as_dataframe ):

xquad/vi

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত ট্রান্সলেট-ট্রেন/ট্রান্সলেট-ডেভ/ট্রান্সলেট-টেস্ট স্প্লিট সহ XQuAD 'vi' টেস্ট স্প্লিট।

• ডাউনলোডের আকার : 218.09 MiB

• ডেটাসেটের আকার : 120.03 MiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,555
'translate-test'	1,178
'translate-train'	87,187

• উদাহরণ ( tfds.as_dataframe ):

xquad/zh

• কনফিগারেশনের বিবরণ : XTREME (Hu et al., 2020) থেকে মেশিন-অনুবাদিত ট্রান্সলেট-ট্রেন/ট্রান্সলেট-ডেভ/ট্রান্সলেট-টেস্ট স্প্লিট সহ XQuAD 'zh' টেস্ট স্প্লিট।

• ডাউনলোড সাইজ : 174.57 MiB

• ডেটাসেটের আকার : 80.79 MiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190
'translate-dev'	10,475
'translate-test'	1,186
'translate-train'	৮৫,৭০০

• উদাহরণ ( tfds.as_dataframe ):

xquad/en

• কনফিগ বিবরণ : XQuAD 'en' পরীক্ষা বিভক্ত।

• ডাউনলোড 595.10 KiB

• ডেটাসেটের আকার : 1.19 MiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ

• বিভাজন :

বিভক্ত	উদাহরণ
'test'	1,190

• উদাহরণ ( tfds.as_dataframe ):