Kartu Model
Kartu Model adalah dokumen pembelajaran mesin yang memberikan konteks dan transparansi dalam pengembangan dan performa model. Mereka dapat digunakan untuk berbagi metadata dan metrik model dengan peneliti, pengembang, reporter, dan banyak lagi.
Beberapa kasus penggunaan kartu model meliputi:
- Memfasilitasi pertukaran informasi antara pembuat model dan pengembang produk.
- Menginformasikan pengguna model ML untuk membuat keputusan yang lebih tepat tentang cara menggunakannya (atau cara tidak menggunakannya).
- Menyediakan informasi model yang diperlukan untuk pengawasan dan akuntabilitas publik yang efektif.
Skema
Skema Kartu Model adalah proto yang menjelaskan bidang kartu model yang tersedia. Antarmuka JSON juga tersedia. Objek-objek ini dapat dihubungkan dengan sistem lain untuk penyimpanan, analisis, atau visualisasi.
Saat ini, skema Kartu Model diterapkan secara ketat. Di Model Card Toolkit 2.0, pembatasan skema ini akan dicabut.
Grafik
Model Card Toolkit secara otomatis menghasilkan grafik untuk kumpulan data TFX dan hasil evaluasi. Grafik juga dapat dibuat secara manual menggunakan alat seperti Matplotlib, dan ditulis ke ModelCard - lihat Model Card API untuk detailnya.
Dalam skema Model Card, grafik disimpan di bidang Graphic.image , dan dikodekan sebagai string yang dikodekan base64 . Toolkit Kartu Model dapat membantu menghasilkan gambar base64 .
Perangkat Kartu Model
Model Card Toolkit memungkinkan Anda membuat dokumen Model Card , serta objek Proto dan JSON , dengan antarmuka Python yang disederhanakan.
API Kartu Model
Model Card Toolkit menyertakan API Model Card yang terdiri dari kelas Python . Pembaruan yang dilakukan pada objek Model Card Python ditulis ke objek proto Model Card.
Grafik
Fungsi model_card_toolkit.utils.graphics.figure_to_base64str() dapat digunakan untuk mengonversi grafik, seperti gambar Matplotlib, menjadi string base64.
Menyimpan dan Memuat Kartu Model
Jika Anda telah selesai membuat anotasi pada kartu model Anda dan ingin membuat serialisasinya dalam format JSON atau protobuf, gunakan metode ModelCard.save() .
import model_card_toolkit as mct
model_card = mct.ModelCard()
model_card.model_details.name = 'Fine-tuned MobileNetV2 Model for Cats vs. Dogs'
model_card.save('model_cards/cats_vs_dogs.json')
Jika Anda ingin memulihkan dan memperbarui kartu model yang disimpan, gunakan fungsi model_card_toolkit.model_card.load_model_card() .
import model_card_toolkit as mct
model_card = mct.load_model_card('model_cards/cats_vs_dogs.json')
model_card.model_details.licenses.append(mct.License(identifier='Apache-2.0'))
Dokumen Kartu Model
Secara default, dokumen kartu model yang dihasilkan adalah file HTML berdasarkan default_template.html.jinja . Namun, Anda juga dapat menyediakan template Jinja kustom Anda sendiri. File templat ini dapat berupa format berbasis teks apa pun (HTML, Markdown, LaTeX, dll.). Templat penurunan harga disediakan sebagai contoh.
Integrasi TFX dan MLMD
Model Card Toolkit terintegrasi dengan alat TensorFlow Extended dan Metadata ML . Penyimpanan Metadata dapat digunakan selama inisialisasi Toolkit Kartu Model untuk mengisi terlebih dahulu banyak bidang kartu model dan menghasilkan plot pelatihan dan evaluasi.
Artefak yang digunakan oleh MCT:
- Contoh dan ContohStatistik : digunakan untuk memplot grafik jumlah irisan untuk setiap kumpulan data ( TFDV ).
- Model dan ModelEvaluation : digunakan untuk memplot metrik evaluasi irisan TFMA .
Eksekusi yang digunakan oleh MCT:
- Trainer : digunakan untuk mengisi nama model dan versinya
Komponen ModelCardGenerator telah dipindahkan ke perpustakaan TFX Addons dan tidak lagi dikemas dalam Model Card Toolkit dari versi 2.0.0. Sebelum Anda dapat menggunakan komponen ini, Anda perlu menginstal paket tfx-addons :
pip install tfx-addons[model_card_generator]
Lihat panduan ModelCardGenerator dan jalankan buku catatan studi kasus untuk mempelajari lebih lanjut tentang komponen tersebut.