- Description :
Le robot joue avec 3 scènes complexes : un grill avec de nombreux objets de cuisson comme un grille-pain, une poêle, etc. Il doit saisir, ouvrir, placer, fermer. Il doit dresser une table, déplacer des assiettes, des tasses, des ustensiles. Et il faut placer la vaisselle dans l'évier, le lave-vaisselle, les gobelets, etc.
Page d'accueil : https://play-fusion.github.io/
Code source :
tfds.robotics.rtx.CmuPlayFusion
Versions :
-
0.1.0
(par défaut) : version initiale.
-
Taille du téléchargement :
Unknown size
Taille de l'ensemble de données :
6.68 GiB
Mise en cache automatique ( documentation ) : Non
Divisions :
Diviser | Exemples |
---|---|
'train' | 576 |
- Structure des fonctionnalités :
FeaturesDict({
'episode_metadata': FeaturesDict({
'file_path': Text(shape=(), dtype=string),
}),
'steps': Dataset({
'action': Tensor(shape=(9,), dtype=float32),
'discount': Scalar(shape=(), dtype=float32),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'language_embedding': Tensor(shape=(512,), dtype=float32),
'language_instruction': Text(shape=(), dtype=string),
'observation': FeaturesDict({
'image': Image(shape=(128, 128, 3), dtype=uint8),
'state': Tensor(shape=(8,), dtype=float32),
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Documentation des fonctionnalités :
Fonctionnalité | Classe | Forme | Type D | Description |
---|---|---|---|---|
FonctionnalitésDict | ||||
épisode_métadonnées | FonctionnalitésDict | |||
épisode_metadata/file_path | Texte | chaîne | Chemin d'accès au fichier de données d'origine. | |
pas | Base de données | |||
étapes/actions | Tenseur | (9,) | flotteur32 | L'action du robot consiste en [7x delta eef (pos + quat), 1x ouverture/fermeture de la pince (binaire), 1x terminer l'épisode]. |
étapes/remise | Scalaire | flotteur32 | Remise si fournie, par défaut à 1. | |
étapes/is_first | Tenseur | bouffon | ||
étapes/est_dernier | Tenseur | bouffon | ||
étapes/is_terminal | Tenseur | bouffon | ||
étapes/langue_embedding | Tenseur | (512,) | flotteur32 | Intégration du langage Kona. Voir https://tfhub.dev/google/universal-sentence-encoder-large/5 |
étapes/instruction_langue | Texte | chaîne | Enseignement des langues. | |
étapes/observation | FonctionnalitésDict | |||
étapes/observation/image | Image | (128, 128, 3) | uint8 | Observation RVB de la caméra principale. |
étapes/observation/état | Tenseur | (8,) | flotteur32 | L'état du robot comprend [7x angles d'articulation du robot, 1x position de la pince. |
étapes/récompense | Scalaire | flotteur32 | Récompense si fournie, 1 à la dernière étape pour les démos. |
Clés supervisées (Voir doc
as_supervised
) :None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) :
- Citation :
@inproceedings{chen2023playfusion,
title={PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play},
author={Chen, Lili and Bahl, Shikhar and Pathak, Deepak},
booktitle={CoRL},
year={2023}
}