fmb

  • Opis :

Nasz zbiór danych składa się z obiektów o zróżnicowanym wyglądzie i geometrii. Aby pomyślnie zamontować kołki na nieprzytwierdzonej desce w losowej scenie, wymagane są wieloetapowe i wielomodalne umiejętności motoryczne. Zebraliśmy łącznie 22 550 trajektorii w ramach dwóch różnych zadań na ramieniu Franka Panda. Rejestrujemy trajektorie z 2 widoków globalnych i 2 widoków nadgarstka. Każdy widok zawiera zarówno mapę RGB, jak i mapę głębi.

Podział Przykłady
'train' 1804
  • Struktura funkcji :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDykt
metadane_odcinka FunkcjeDykt
metadane_odcinka/embedding_języka_odcinka Napinacz (512,) pływak32
metadane_odcinka/instrukcja_języka_odcinka Napinacz strunowy
metadane_odcinka/zadanie_odcinka Napinacz strunowy
metadane_odcinka/ścieżka_pliku Napinacz strunowy
kroki Zbiór danych
kroki/akcja Napinacz (7,) pływak32
kroki/rabat Skalarny pływak32
kroki/jest_pierwszy Napinacz bool
kroki/jest_ostatni Napinacz bool
kroki/is_terminal Napinacz bool
kroki/osadzanie_języka Napinacz (512,) pływak32
kroki/instrukcja_językowa Napinacz strunowy
kroki/obserwacje FunkcjeDykt
kroki/obserwacja/id_koloru Skalarny uint8
kroki/obserwacja/eef_force Napinacz (3,) pływak32
kroki/obserwacja/eef_pose Napinacz (7,) pływak32
kroki/obserwacje/eef_torque Napinacz (3,) pływak32
kroki/obserwacja/eef_vel Napinacz (6,) pływak32
kroki/obserwacja/strona_obrazu_1 Obraz (256, 256, 3) uint8
kroki/obserwacja/image_side_1_głębia Napinacz (256, 256) pływak32
kroki/obserwacja/strona_obrazu_2 Obraz (256, 256, 3) uint8
kroki/obserwacja/image_side_2_głębia Napinacz (256, 256) pływak32
kroki/obserwacja/image_nadgarstek_1 Obraz (256, 256, 3) uint8
kroki/obserwacja/image_wrist_1_głębia Napinacz (256, 256) pływak32
kroki/obserwacja/image_nadgarstek_2 Obraz (256, 256, 3) uint8
kroki/obserwacja/image_wrist_2_głębia Napinacz (256, 256) pływak32
kroki/obserwacja/połączenie_poz Napinacz (7,) pływak32
kroki/obserwacja/wspólny_vel Napinacz (7,) pływak32
kroki/obserwacja/długość Napinacz strunowy
kroki/obserwacja/id_obiektu Skalarny uint8
kroki/obserwacja/prymityw Napinacz strunowy
kroki/obserwacja/identyfikator_kształtu Skalarny uint8
kroki/obserwacja/rozmiar Napinacz strunowy
kroki/obserwacja/stan_chwytnika_pozy Skalarny pływak32
kroki/nagroda Skalarny pływak32
  • Cytat :
https://doi.org/10.48550/arXiv.2401.08553