Модель карты
Карточки моделей — это документы машинного обучения, которые обеспечивают контекст и прозрачность разработки и производительности модели. Их можно использовать для обмена метаданными и показателями модели с исследователями, разработчиками, репортерами и многими другими.
Некоторые варианты использования карточек моделей включают в себя:
- Содействие обмену информацией между разработчиками моделей и разработчиками продуктов.
- Информирование пользователей о моделях ML для принятия более обоснованных решений о том, как их использовать (или как не использовать).
- Предоставление типовой информации, необходимой для эффективного общественного надзора и подотчетности.
Схема
Схема карты модели — это прототип , описывающий доступные поля карты модели. Также доступен интерфейс JSON . Эти объекты могут быть связаны с другими системами для хранения, анализа или визуализации.
Сегодня схема Модельной карты строго соблюдается. В Model Card Toolkit 2.0 это ограничение схемы будет снято.
Графика
Model Card Toolkit автоматически генерирует графику для наборов данных TFX и результатов оценки. Графику также можно создать вручную с помощью такого инструмента, как Matplotlib, и записать в ModelCard — подробности см. в разделе API карты модели .
В схеме карты модели графика хранится в поле Graphic.image и кодируется как строки в кодировке Base64 . Набор инструментов Model Card может помочь в создании изображений в формате Base64 .
Набор инструментов для карточек моделей
Набор инструментов Model Card позволяет создавать документы Model Card , а также объекты Proto и JSON с помощью оптимизированного интерфейса Python.
API карты модели
В набор инструментов Model Card входит API Model Card, состоящий из класса Python . Обновления, внесенные в объект Model Card Python, записываются в прототип объекта Model Card.
Графика
Функцию model_card_toolkit.utils.graphics.figure_to_base64str() можно использовать для преобразования графики, например фигур Matplotlib, в строки base64.
Сохранение и загрузка карточек моделей
Если вы закончили аннотировать карточку модели и хотите сериализовать ее в формате JSON или protobuf, используйте метод ModelCard.save() .
import model_card_toolkit as mct
model_card = mct.ModelCard()
model_card.model_details.name = 'Fine-tuned MobileNetV2 Model for Cats vs. Dogs'
model_card.save('model_cards/cats_vs_dogs.json')
Если вы хотите восстановить и обновить сохраненную карту модели, используйте функцию model_card_toolkit.model_card.load_model_card() .
import model_card_toolkit as mct
model_card = mct.load_model_card('model_cards/cats_vs_dogs.json')
model_card.model_details.licenses.append(mct.License(identifier='Apache-2.0'))
Модель карты документов
По умолчанию сгенерированный документ карточки модели представляет собой HTML-файл на основе default_template.html.jinja . Однако вы также можете предоставить свой собственный шаблон Jinja. Эти файлы шаблонов могут иметь любой текстовый формат (HTML, Markdown, LaTeX и т. д.). В качестве примера приведен шаблон Markdown .
Интеграция TFX и MLMD
Набор инструментов Model Card интегрируется с инструментами TensorFlow Extended и ML Metadata . Хранилище метаданных можно использовать во время инициализации набора инструментов карты модели для предварительного заполнения многих полей карты модели и создания графиков обучения и оценки.
Артефакты, используемые MCT:
- «Примеры» и «ExampleStatistics» : используются для построения графиков количества срезов для каждого набора данных ( TFDV ).
- Model и ModelEvaluation : используются для построения показателей оценки срезов TFMA .
Исполнения, используемые MCT:
- Тренер : используется для заполнения названия и версии модели.
Компонент ModelCardGenerator перенесен в библиотеку TFX Addons и больше не упаковывается в Model Card Toolkit начиная с версии 2.0.0. Прежде чем вы сможете использовать компонент, вам необходимо установить пакет tfx-addons :
pip install tfx-addons[model_card_generator]
См. руководство ModelCardGenerator и запустите блокнот с практическим примером , чтобы узнать больше о компоненте.