Người giới thiệu:
ar-en
Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:
ds = tfds.load('huggingface:opus_wikipedia/ar-en')
- Sự miêu tả :
This is a corpus of parallel sentences extracted from Wikipedia by Krzysztof Wołk and Krzysztof Marasek. Please cite the following publication if you use the data: Krzysztof Wołk and Krzysztof Marasek: Building Subject-aligned Comparable Corpora and Mining it for Truly Parallel Sentence Pairs., Procedia Technology, 18, Elsevier, p.126-132, 2014
20 languages, 36 bitexts
total number of files: 114
total number of tokens: 610.13M
total number of sentence fragments: 25.90M
- Giấy phép : Không có giấy phép được biết đến
- Phiên bản : 1.0.0
- Chia tách :
| Tách ra | Ví dụ |
|---|---|
'train' | 151136 |
- Đặc trưng :
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"ar",
"en"
],
"id": null,
"_type": "Translation"
}
}
ar-pl
Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:
ds = tfds.load('huggingface:opus_wikipedia/ar-pl')
- Sự miêu tả :
This is a corpus of parallel sentences extracted from Wikipedia by Krzysztof Wołk and Krzysztof Marasek. Please cite the following publication if you use the data: Krzysztof Wołk and Krzysztof Marasek: Building Subject-aligned Comparable Corpora and Mining it for Truly Parallel Sentence Pairs., Procedia Technology, 18, Elsevier, p.126-132, 2014
20 languages, 36 bitexts
total number of files: 114
total number of tokens: 610.13M
total number of sentence fragments: 25.90M
- Giấy phép : Không có giấy phép được biết đến
- Phiên bản : 1.0.0
- Chia tách :
| Tách ra | Ví dụ |
|---|---|
'train' | 823715 |
- Đặc trưng :
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"ar",
"pl"
],
"id": null,
"_type": "Translation"
}
}
en-sl
Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:
ds = tfds.load('huggingface:opus_wikipedia/en-sl')
- Sự miêu tả :
This is a corpus of parallel sentences extracted from Wikipedia by Krzysztof Wołk and Krzysztof Marasek. Please cite the following publication if you use the data: Krzysztof Wołk and Krzysztof Marasek: Building Subject-aligned Comparable Corpora and Mining it for Truly Parallel Sentence Pairs., Procedia Technology, 18, Elsevier, p.126-132, 2014
20 languages, 36 bitexts
total number of files: 114
total number of tokens: 610.13M
total number of sentence fragments: 25.90M
- Giấy phép : Không có giấy phép được biết đến
- Phiên bản : 1.0.0
- Chia tách :
| Tách ra | Ví dụ |
|---|---|
'train' | 140124 |
- Đặc trưng :
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"en",
"sl"
],
"id": null,
"_type": "Translation"
}
}
en-ru
Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:
ds = tfds.load('huggingface:opus_wikipedia/en-ru')
- Sự miêu tả :
This is a corpus of parallel sentences extracted from Wikipedia by Krzysztof Wołk and Krzysztof Marasek. Please cite the following publication if you use the data: Krzysztof Wołk and Krzysztof Marasek: Building Subject-aligned Comparable Corpora and Mining it for Truly Parallel Sentence Pairs., Procedia Technology, 18, Elsevier, p.126-132, 2014
20 languages, 36 bitexts
total number of files: 114
total number of tokens: 610.13M
total number of sentence fragments: 25.90M
- Giấy phép : Không có giấy phép được biết đến
- Phiên bản : 1.0.0
- Chia tách :
| Tách ra | Ví dụ |
|---|---|
'train' | 572717 |
- Đặc trưng :
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"en",
"ru"
],
"id": null,
"_type": "Translation"
}
}
en-vi
Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:
ds = tfds.load('huggingface:opus_wikipedia/en-vi')
- Sự miêu tả :
This is a corpus of parallel sentences extracted from Wikipedia by Krzysztof Wołk and Krzysztof Marasek. Please cite the following publication if you use the data: Krzysztof Wołk and Krzysztof Marasek: Building Subject-aligned Comparable Corpora and Mining it for Truly Parallel Sentence Pairs., Procedia Technology, 18, Elsevier, p.126-132, 2014
20 languages, 36 bitexts
total number of files: 114
total number of tokens: 610.13M
total number of sentence fragments: 25.90M
- Giấy phép : Không có giấy phép được biết đến
- Phiên bản : 1.0.0
- Chia tách :
| Tách ra | Ví dụ |
|---|---|
'train' | 58116 |
- Đặc trưng :
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"en",
"vi"
],
"id": null,
"_type": "Translation"
}
}