- Tanım :
D4RL, çevrimdışı takviyeli öğrenim için açık kaynaklı bir kıyaslamadır. Eğitim ve kıyaslama algoritmaları için standartlaştırılmış ortamlar ve veri kümeleri sağlar.
Veri kümeleri, adımları ve bölümleri temsil etmek için RLDS formatını takip eder.
Yapılandırma açıklaması : https://github.com/rail-berkeley/d4rl/wiki/Tasks#adroit adresinde görev ve sürümleri hakkında daha fazla ayrıntıya bakın
Ana sayfa : https://sites.google.com/view/d4rl-anonymous
Kaynak kodu :
tfds.d4rl.d4rl_adroit_relocate.D4rlAdroitRelocateSürümler :
-
1.0.0: İlk sürüm. -
1.1.0(varsayılan): is_last eklendi.
-
Denetlenen anahtarlar (
as_supervisedbelgesine bakın):NoneŞekil ( tfds.show_examples ): Desteklenmiyor.
Alıntı :
@misc{fu2020d4rl,
title={D4RL: Datasets for Deep Data-Driven Reinforcement Learning},
author={Justin Fu and Aviral Kumar and Ofir Nachum and George Tucker and Sergey Levine},
year={2020},
eprint={2004.07219},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
d4rl_adroit_relocate/v0-human (varsayılan yapılandırma)
İndirme boyutu :
4.87 MiBVeri kümesi boyutu :
5.48 MiBOtomatik önbelleğe alınmış ( belgeler ): Evet
Bölünmeler :
| Bölmek | Örnekler |
|---|---|
'train' | 60 |
- Özellik yapısı :
FeaturesDict({
'steps': Dataset({
'action': Tensor(shape=(30,), dtype=float32),
'discount': float32,
'infos': FeaturesDict({
'qpos': Tensor(shape=(36,), dtype=float32),
'qvel': Tensor(shape=(36,), dtype=float32),
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': Tensor(shape=(39,), dtype=float32),
'reward': float32,
}),
})
- Özellik belgeleri :
| Özellik | Sınıf | Şekil | Dtipi | Tanım |
|---|---|---|---|---|
| ÖzelliklerDict | ||||
| adımlar | Veri kümesi | |||
| adımlar/eylem | Tensör | (30,) | kayan nokta32 | |
| adımlar/indirim | Tensör | kayan nokta32 | ||
| adımlar/bilgiler | ÖzelliklerDict | |||
| adımlar/bilgiler/qpos | Tensör | (36,) | kayan nokta32 | |
| adımlar/bilgiler/qvel | Tensör | (36,) | kayan nokta32 | |
| adımlar/is_first | Tensör | bool | ||
| adımlar/is_last | Tensör | bool | ||
| adımlar/is_terminal | Tensör | bool | ||
| adımlar/gözlem | Tensör | (39,) | kayan nokta32 | |
| adımlar/ödül | Tensör | kayan nokta32 |
- Örnekler ( tfds.as_dataframe ):
d4rl_adroit_relocate/v0-klonlandı
İndirme boyutu :
647.11 MiBVeri kümesi boyutu :
550.50 MiBOtomatik önbelleğe alınmış ( belgeler ): Hayır
Bölünmeler :
| Bölmek | Örnekler |
|---|---|
'train' | 5.519 |
- Özellik yapısı :
FeaturesDict({
'steps': Dataset({
'action': Tensor(shape=(30,), dtype=float32),
'discount': float64,
'infos': FeaturesDict({
'qpos': Tensor(shape=(36,), dtype=float64),
'qvel': Tensor(shape=(36,), dtype=float64),
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': Tensor(shape=(39,), dtype=float64),
'reward': float64,
}),
})
- Özellik belgeleri :
| Özellik | Sınıf | Şekil | Dtipi | Tanım |
|---|---|---|---|---|
| ÖzelliklerDict | ||||
| adımlar | Veri kümesi | |||
| adımlar/eylem | Tensör | (30,) | kayan nokta32 | |
| adımlar/indirim | Tensör | kayan nokta64 | ||
| adımlar/bilgiler | ÖzelliklerDict | |||
| adımlar/bilgiler/qpos | Tensör | (36,) | kayan nokta64 | |
| adımlar/bilgiler/qvel | Tensör | (36,) | kayan nokta64 | |
| adımlar/is_first | Tensör | bool | ||
| adımlar/is_last | Tensör | bool | ||
| adımlar/is_terminal | Tensör | bool | ||
| adımlar/gözlem | Tensör | (39,) | kayan nokta64 | |
| adımlar/ödül | Tensör | kayan nokta64 |
- Örnekler ( tfds.as_dataframe ):
d4rl_adroit_relocate/v0-expert
İndirme boyutu :
581.53 MiBVeri kümesi boyutu :
778.97 MiBOtomatik önbelleğe alınmış ( belgeler ): Hayır
Bölünmeler :
| Bölmek | Örnekler |
|---|---|
'train' | 5.000 |
- Özellik yapısı :
FeaturesDict({
'steps': Dataset({
'action': Tensor(shape=(30,), dtype=float32),
'discount': float32,
'infos': FeaturesDict({
'action_logstd': Tensor(shape=(30,), dtype=float32),
'action_mean': Tensor(shape=(30,), dtype=float32),
'qpos': Tensor(shape=(36,), dtype=float32),
'qvel': Tensor(shape=(36,), dtype=float32),
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': Tensor(shape=(39,), dtype=float32),
'reward': float32,
}),
})
- Özellik belgeleri :
| Özellik | Sınıf | Şekil | Dtipi | Tanım |
|---|---|---|---|---|
| ÖzelliklerDict | ||||
| adımlar | Veri kümesi | |||
| adımlar/eylem | Tensör | (30,) | kayan nokta32 | |
| adımlar/indirim | Tensör | kayan nokta32 | ||
| adımlar/bilgiler | ÖzelliklerDict | |||
| adımlar/bilgiler/action_logstd | Tensör | (30,) | kayan nokta32 | |
| adımlar/bilgiler/action_mean | Tensör | (30,) | kayan nokta32 | |
| adımlar/bilgiler/qpos | Tensör | (36,) | kayan nokta32 | |
| adımlar/bilgiler/qvel | Tensör | (36,) | kayan nokta32 | |
| adımlar/is_first | Tensör | bool | ||
| adımlar/is_last | Tensör | bool | ||
| adımlar/is_terminal | Tensör | bool | ||
| adımlar/gözlem | Tensör | (39,) | kayan nokta32 | |
| adımlar/ödül | Tensör | kayan nokta32 |
- Örnekler ( tfds.as_dataframe ):
d4rl_adroit_relocate/v1-insan
İndirme boyutu :
5.92 MiBVeri kümesi boyutu :
6.94 MiBOtomatik önbelleğe alınmış ( belgeler ): Evet
Bölünmeler :
| Bölmek | Örnekler |
|---|---|
'train' | 25 |
- Özellik yapısı :
FeaturesDict({
'steps': Dataset({
'action': Tensor(shape=(30,), dtype=float32),
'discount': float32,
'infos': FeaturesDict({
'hand_qpos': Tensor(shape=(30,), dtype=float32),
'obj_pos': Tensor(shape=(3,), dtype=float32),
'palm_pos': Tensor(shape=(3,), dtype=float32),
'qpos': Tensor(shape=(36,), dtype=float32),
'qvel': Tensor(shape=(36,), dtype=float32),
'target_pos': Tensor(shape=(3,), dtype=float32),
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': Tensor(shape=(39,), dtype=float32),
'reward': float32,
}),
})
- Özellik belgeleri :
| Özellik | Sınıf | Şekil | Dtipi | Tanım |
|---|---|---|---|---|
| ÖzelliklerDict | ||||
| adımlar | Veri kümesi | |||
| adımlar/eylem | Tensör | (30,) | kayan nokta32 | |
| adımlar/indirim | Tensör | kayan nokta32 | ||
| adımlar/bilgiler | ÖzelliklerDict | |||
| adımlar/bilgiler/hand_qpos | Tensör | (30,) | kayan nokta32 | |
| adımlar/bilgiler/obj_pos | Tensör | (3,) | kayan nokta32 | |
| adımlar/bilgiler/palm_pos | Tensör | (3,) | kayan nokta32 | |
| adımlar/bilgiler/qpos | Tensör | (36,) | kayan nokta32 | |
| adımlar/bilgiler/qvel | Tensör | (36,) | kayan nokta32 | |
| adımlar/bilgiler/target_pos | Tensör | (3,) | kayan nokta32 | |
| adımlar/is_first | Tensör | bool | ||
| adımlar/is_last | Tensör | bool | ||
| adımlar/is_terminal | Tensör | bool | ||
| adımlar/gözlem | Tensör | (39,) | kayan nokta32 | |
| adımlar/ödül | Tensör | kayan nokta32 |
- Örnekler ( tfds.as_dataframe ):
d4rl_adroit_relocate/v1-klonlandı
İndirme boyutu :
554.39 MiBVeri kümesi boyutu :
1.86 GiBOtomatik önbelleğe alınmış ( belgeler ): Hayır
Bölünmeler :
| Bölmek | Örnekler |
|---|---|
'train' | 3.758 |
- Özellik yapısı :
FeaturesDict({
'algorithm': string,
'policy': FeaturesDict({
'fc0': FeaturesDict({
'bias': Tensor(shape=(256,), dtype=float32),
'weight': Tensor(shape=(39, 256), dtype=float32),
}),
'fc1': FeaturesDict({
'bias': Tensor(shape=(256,), dtype=float32),
'weight': Tensor(shape=(256, 256), dtype=float32),
}),
'last_fc': FeaturesDict({
'bias': Tensor(shape=(30,), dtype=float32),
'weight': Tensor(shape=(256, 30), dtype=float32),
}),
'nonlinearity': string,
'output_distribution': string,
}),
'steps': Dataset({
'action': Tensor(shape=(30,), dtype=float32),
'discount': float32,
'infos': FeaturesDict({
'hand_qpos': Tensor(shape=(30,), dtype=float32),
'obj_pos': Tensor(shape=(3,), dtype=float32),
'palm_pos': Tensor(shape=(3,), dtype=float32),
'qpos': Tensor(shape=(36,), dtype=float32),
'qvel': Tensor(shape=(36,), dtype=float32),
'target_pos': Tensor(shape=(3,), dtype=float32),
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': Tensor(shape=(39,), dtype=float32),
'reward': float32,
}),
})
- Özellik belgeleri :
| Özellik | Sınıf | Şekil | Dtipi | Tanım |
|---|---|---|---|---|
| ÖzelliklerDict | ||||
| algoritma | Tensör | sicim | ||
| politika | ÖzelliklerDict | |||
| politika/fc0 | ÖzelliklerDict | |||
| politika/fc0/önyargı | Tensör | (256,) | kayan nokta32 | |
| politika/fc0/ağırlık | Tensör | (39, 256) | kayan nokta32 | |
| politika/fc1 | ÖzelliklerDict | |||
| politika/fc1/önyargı | Tensör | (256,) | kayan nokta32 | |
| politika/fc1/ağırlık | Tensör | (256, 256) | kayan nokta32 | |
| politika/last_fc | ÖzelliklerDict | |||
| politika/last_fc/bias | Tensör | (30,) | kayan nokta32 | |
| politika/last_fc/ağırlık | Tensör | (256, 30) | kayan nokta32 | |
| politika/doğrusal olmama | Tensör | sicim | ||
| politika/çıkış_dağıtımı | Tensör | sicim | ||
| adımlar | Veri kümesi | |||
| adımlar/eylem | Tensör | (30,) | kayan nokta32 | |
| adımlar/indirim | Tensör | kayan nokta32 | ||
| adımlar/bilgiler | ÖzelliklerDict | |||
| adımlar/bilgiler/hand_qpos | Tensör | (30,) | kayan nokta32 | |
| adımlar/bilgiler/obj_pos | Tensör | (3,) | kayan nokta32 | |
| adımlar/bilgiler/palm_pos | Tensör | (3,) | kayan nokta32 | |
| adımlar/bilgiler/qpos | Tensör | (36,) | kayan nokta32 | |
| adımlar/bilgiler/qvel | Tensör | (36,) | kayan nokta32 | |
| adımlar/bilgiler/target_pos | Tensör | (3,) | kayan nokta32 | |
| adımlar/is_first | Tensör | bool | ||
| adımlar/is_last | Tensör | bool | ||
| adımlar/is_terminal | Tensör | bool | ||
| adımlar/gözlem | Tensör | (39,) | kayan nokta32 | |
| adımlar/ödül | Tensör | kayan nokta32 |
- Örnekler ( tfds.as_dataframe ):
d4rl_adroit_relocate/v1-expert
İndirme boyutu :
682.47 MiBVeri kümesi boyutu :
1012.49 MiBOtomatik önbelleğe alınmış ( belgeler ): Hayır
Bölünmeler :
| Bölmek | Örnekler |
|---|---|
'train' | 5.000 |
- Özellik yapısı :
FeaturesDict({
'algorithm': string,
'policy': FeaturesDict({
'fc0': FeaturesDict({
'bias': Tensor(shape=(32,), dtype=float32),
'weight': Tensor(shape=(32, 39), dtype=float32),
}),
'fc1': FeaturesDict({
'bias': Tensor(shape=(32,), dtype=float32),
'weight': Tensor(shape=(32, 32), dtype=float32),
}),
'last_fc': FeaturesDict({
'bias': Tensor(shape=(30,), dtype=float32),
'weight': Tensor(shape=(30, 32), dtype=float32),
}),
'last_fc_log_std': FeaturesDict({
'bias': Tensor(shape=(30,), dtype=float32),
'weight': Tensor(shape=(30, 32), dtype=float32),
}),
'nonlinearity': string,
'output_distribution': string,
}),
'steps': Dataset({
'action': Tensor(shape=(30,), dtype=float32),
'discount': float32,
'infos': FeaturesDict({
'action_log_std': Tensor(shape=(30,), dtype=float32),
'action_mean': Tensor(shape=(30,), dtype=float32),
'hand_qpos': Tensor(shape=(30,), dtype=float32),
'obj_pos': Tensor(shape=(3,), dtype=float32),
'palm_pos': Tensor(shape=(3,), dtype=float32),
'qpos': Tensor(shape=(36,), dtype=float32),
'qvel': Tensor(shape=(36,), dtype=float32),
'target_pos': Tensor(shape=(3,), dtype=float32),
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': Tensor(shape=(39,), dtype=float32),
'reward': float32,
}),
})
- Özellik belgeleri :
| Özellik | Sınıf | Şekil | Dtipi | Tanım |
|---|---|---|---|---|
| ÖzelliklerDict | ||||
| algoritma | Tensör | sicim | ||
| politika | ÖzelliklerDict | |||
| politika/fc0 | ÖzelliklerDict | |||
| politika/fc0/önyargı | Tensör | (32,) | kayan nokta32 | |
| politika/fc0/ağırlık | Tensör | (32, 39) | kayan nokta32 | |
| politika/fc1 | ÖzelliklerDict | |||
| politika/fc1/önyargı | Tensör | (32,) | kayan nokta32 | |
| politika/fc1/ağırlık | Tensör | (32, 32) | kayan nokta32 | |
| politika/last_fc | ÖzelliklerDict | |||
| politika/last_fc/bias | Tensör | (30,) | kayan nokta32 | |
| politika/last_fc/ağırlık | Tensör | (30, 32) | kayan nokta32 | |
| politika/last_fc_log_std | ÖzelliklerDict | |||
| politika/last_fc_log_std/bias | Tensör | (30,) | kayan nokta32 | |
| politika/last_fc_log_std/weight | Tensör | (30, 32) | kayan nokta32 | |
| politika/doğrusal olmama | Tensör | sicim | ||
| politika/çıkış_dağıtımı | Tensör | sicim | ||
| adımlar | Veri kümesi | |||
| adımlar/eylem | Tensör | (30,) | kayan nokta32 | |
| adımlar/indirim | Tensör | kayan nokta32 | ||
| adımlar/bilgiler | ÖzelliklerDict | |||
| adımlar/bilgiler/action_log_std | Tensör | (30,) | kayan nokta32 | |
| adımlar/bilgiler/action_mean | Tensör | (30,) | kayan nokta32 | |
| adımlar/bilgiler/hand_qpos | Tensör | (30,) | kayan nokta32 | |
| adımlar/bilgiler/obj_pos | Tensör | (3,) | kayan nokta32 | |
| adımlar/bilgiler/palm_pos | Tensör | (3,) | kayan nokta32 | |
| adımlar/bilgiler/qpos | Tensör | (36,) | kayan nokta32 | |
| adımlar/bilgiler/qvel | Tensör | (36,) | kayan nokta32 | |
| adımlar/bilgiler/target_pos | Tensör | (3,) | kayan nokta32 | |
| adımlar/is_first | Tensör | bool | ||
| adımlar/is_last | Tensör | bool | ||
| adımlar/is_terminal | Tensör | bool | ||
| adımlar/gözlem | Tensör | (39,) | kayan nokta32 | |
| adımlar/ödül | Tensör | kayan nokta32 |
- Örnekler ( tfds.as_dataframe ):