সতর্কতা: এই প্রকল্পটি বাতিল করা হয়েছে । TensorFlow Addons ডেভেলপমেন্ট বন্ধ করে দিয়েছে, প্রকল্পটি শুধুমাত্র মে 2024 পর্যন্ত ন্যূনতম রক্ষণাবেক্ষণের রিলিজ প্রদান করবে। সম্পূর্ণ ঘোষণাটি এখানে বা github- এ দেখুন।

এই পৃষ্ঠাটি Cloud Translation API অনুবাদ করেছে।

মডেল গড়

TensorFlow.org এ দেখুন

Google Colab-এ চালান

GitHub-এ উৎস দেখুন

নোটবুক ডাউনলোড করুন

ওভারভিউ

এই নোটবুকটি টেনসরফ্লো অ্যাডঅন প্যাকেজ থেকে মডেল গড় চেকপয়েন্ট সহ মুভিং এভারেজ অপ্টিমাইজার কীভাবে ব্যবহার করতে হয় তা প্রদর্শন করে।

চলমান গড়

মুভিং অ্যাভারেজিংয়ের সুবিধা হল যে তারা সাম্প্রতিক ব্যাচে ব্যাপক ক্ষতির স্থানান্তর বা অনিয়মিত ডেটা উপস্থাপনের প্রবণতা কম। এটি কিছু সময় পর্যন্ত মডেল প্রশিক্ষণের একটি মসৃণ এবং আরও সাধারণ ধারণা দেয়।

স্টোকাস্টিক গড়

স্টোকাস্টিক ওজন গড় বিস্তৃত অপটিমা রূপান্তরিত হয়. এটি করার মাধ্যমে, এটি জ্যামিতিক ensembleing অনুরূপ. SWA হল মডেলের কর্মক্ষমতা উন্নত করার একটি সহজ পদ্ধতি যখন অন্যান্য অপ্টিমাইজারের চারপাশে একটি মোড়ক হিসাবে ব্যবহার করা হয় এবং অভ্যন্তরীণ অপ্টিমাইজারের গতিপথের বিভিন্ন পয়েন্ট থেকে গড় ফলাফল।

মডেল গড় চেকপয়েন্ট

callbacks.ModelCheckpoint আপনি প্রশিক্ষণ মাঝখানে, যে কারণে মডেল গড় Optimizers একটি কাস্টম কলব্যাক প্রয়োজনীয় গড় ওজন চলন্ত সংরক্ষণ করতে বিকল্প দেয় না। ব্যবহার update_weights প্যারামিটার হয়, ModelAverageCheckpoint আপনি করতে পারবেন:

মডেলে চলমান গড় ওজন বরাদ্দ করুন এবং সেগুলি সংরক্ষণ করুন।
পুরানো অ-গড় ওজন রাখুন, কিন্তু সংরক্ষিত মডেল গড় ওজন ব্যবহার করে।

সেটআপ

pip install -U tensorflow-addons

import tensorflow as tf
import tensorflow_addons as tfa

import numpy as np
import os

মডেল তৈরি করুন

def create_model(opt):
    model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(),                         
        tf.keras.layers.Dense(64, activation='relu'),
        tf.keras.layers.Dense(64, activation='relu'),
        tf.keras.layers.Dense(10, activation='softmax')
    ])

    model.compile(optimizer=opt,
                    loss='sparse_categorical_crossentropy',
                    metrics=['accuracy'])

    return model

ডেটাসেট প্রস্তুত করুন

#Load Fashion MNIST dataset
train, test = tf.keras.datasets.fashion_mnist.load_data()

images, labels = train
images = images/255.0
labels = labels.astype(np.int32)

fmnist_train_ds = tf.data.Dataset.from_tensor_slices((images, labels))
fmnist_train_ds = fmnist_train_ds.shuffle(5000).batch(32)

test_images, test_labels = test

Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-labels-idx1-ubyte.gz
32768/29515 [=================================] - 0s 0us/step
40960/29515 [=========================================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-images-idx3-ubyte.gz
26427392/26421880 [==============================] - 0s 0us/step
26435584/26421880 [==============================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-labels-idx1-ubyte.gz
16384/5148 [===============================================================================================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-images-idx3-ubyte.gz
4423680/4422102 [==============================] - 0s 0us/step
4431872/4422102 [==============================] - 0s 0us/step

আমরা এখানে তিনটি অপ্টিমাইজারের তুলনা করব:

মোড়ানো SGD
মুভিং এভারেজ সহ SGD
Stochastic ওজন গড় সঙ্গে SGD

এবং দেখুন কিভাবে তারা একই মডেলের সাথে পারফর্ম করে।

#Optimizers 
sgd = tf.keras.optimizers.SGD(0.01)
moving_avg_sgd = tfa.optimizers.MovingAverage(sgd)
stocastic_avg_sgd = tfa.optimizers.SWA(sgd)

উভয় MovingAverage এবং StocasticAverage optimers ব্যবহার ModelAverageCheckpoint ।

#Callback 
checkpoint_path = "./training/cp-{epoch:04d}.ckpt"
checkpoint_dir = os.path.dirname(checkpoint_path)

cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_dir,
                                                 save_weights_only=True,
                                                 verbose=1)
avg_callback = tfa.callbacks.AverageModelCheckpoint(filepath=checkpoint_dir, 
                                                    update_weights=True)

ট্রেন মডেল

ভ্যানিলা SGD অপ্টিমাইজার

#Build Model
model = create_model(sgd)

#Train the network
model.fit(fmnist_train_ds, epochs=5, callbacks=[cp_callback])

Epoch 1/5
1875/1875 [==============================] - 4s 2ms/step - loss: 0.8031 - accuracy: 0.7282

Epoch 00001: saving model to ./training
Epoch 2/5
1875/1875 [==============================] - 3s 2ms/step - loss: 0.5049 - accuracy: 0.8240

Epoch 00002: saving model to ./training
Epoch 3/5
1875/1875 [==============================] - 3s 2ms/step - loss: 0.4591 - accuracy: 0.8375

Epoch 00003: saving model to ./training
Epoch 4/5
1875/1875 [==============================] - 3s 2ms/step - loss: 0.4328 - accuracy: 0.8492

Epoch 00004: saving model to ./training
Epoch 5/5
1875/1875 [==============================] - 3s 2ms/step - loss: 0.4128 - accuracy: 0.8561

Epoch 00005: saving model to ./training
<keras.callbacks.History at 0x7fc9d0262250>

#Evalute results
model.load_weights(checkpoint_dir)
loss, accuracy = model.evaluate(test_images, test_labels, batch_size=32, verbose=2)
print("Loss :", loss)
print("Accuracy :", accuracy)

313/313 - 0s - loss: 95.4645 - accuracy: 0.7796
Loss : 95.46446990966797
Accuracy : 0.7796000242233276

চলমান গড় SGD

#Build Model
model = create_model(moving_avg_sgd)

#Train the network
model.fit(fmnist_train_ds, epochs=5, callbacks=[avg_callback])

Epoch 1/5
1875/1875 [==============================] - 4s 2ms/step - loss: 0.8064 - accuracy: 0.7303
2021-09-02 00:35:29.787996: W tensorflow/python/util/util.cc:348] Sets are not currently considered sequences, but this may change in the future, so consider avoiding using them.
INFO:tensorflow:Assets written to: ./training/assets
Epoch 2/5
1875/1875 [==============================] - 4s 2ms/step - loss: 0.5114 - accuracy: 0.8223
INFO:tensorflow:Assets written to: ./training/assets
Epoch 3/5
1875/1875 [==============================] - 4s 2ms/step - loss: 0.4620 - accuracy: 0.8382
INFO:tensorflow:Assets written to: ./training/assets
Epoch 4/5
1875/1875 [==============================] - 4s 2ms/step - loss: 0.4345 - accuracy: 0.8470
INFO:tensorflow:Assets written to: ./training/assets
Epoch 5/5
1875/1875 [==============================] - 4s 2ms/step - loss: 0.4146 - accuracy: 0.8547
INFO:tensorflow:Assets written to: ./training/assets
<keras.callbacks.History at 0x7fc8e16f30d0>

#Evalute results
model.load_weights(checkpoint_dir)
loss, accuracy = model.evaluate(test_images, test_labels, batch_size=32, verbose=2)
print("Loss :", loss)
print("Accuracy :", accuracy)

313/313 - 0s - loss: 95.4645 - accuracy: 0.7796
Loss : 95.46446990966797
Accuracy : 0.7796000242233276

স্টোকাস্টিক ওজন গড় SGD

#Build Model
model = create_model(stocastic_avg_sgd)

#Train the network
model.fit(fmnist_train_ds, epochs=5, callbacks=[avg_callback])

Epoch 1/5
1875/1875 [==============================] - 5s 2ms/step - loss: 0.7896 - accuracy: 0.7350
INFO:tensorflow:Assets written to: ./training/assets
Epoch 2/5
1875/1875 [==============================] - 5s 2ms/step - loss: 0.5670 - accuracy: 0.8065
INFO:tensorflow:Assets written to: ./training/assets
Epoch 3/5
1875/1875 [==============================] - 5s 2ms/step - loss: 0.5345 - accuracy: 0.8142
INFO:tensorflow:Assets written to: ./training/assets
Epoch 4/5
1875/1875 [==============================] - 5s 2ms/step - loss: 0.5194 - accuracy: 0.8188
INFO:tensorflow:Assets written to: ./training/assets
Epoch 5/5
1875/1875 [==============================] - 5s 2ms/step - loss: 0.5089 - accuracy: 0.8235
INFO:tensorflow:Assets written to: ./training/assets
<keras.callbacks.History at 0x7fc8e0538790>

#Evalute results
model.load_weights(checkpoint_dir)
loss, accuracy = model.evaluate(test_images, test_labels, batch_size=32, verbose=2)
print("Loss :", loss)
print("Accuracy :", accuracy)

313/313 - 0s - loss: 95.4645 - accuracy: 0.7796
Loss : 95.46446990966797
Accuracy : 0.7796000242233276