הצג ב-TensorFlow.org | הצג ב-GitHub | הורד מחברת | רוץ בקאגל |
מדריך זה נועד לסייע למשתמשים חדשים להגדיר חשבון Google Cloud Platform, במיוחד במטרה להשתמש ב-tensorflow_cloud כדי להריץ בקלות הדרכה בקנה מידה גדול בפלטפורמת Google Cloud AI. TensorFlow Cloud מספק ממשקי API המאפשרים למשתמשים לעבור בקלות מניקוי שגיאות, הדרכה וכיוונון קוד של Keras ו-TensorFlow בסביבה מקומית או Kaggle, ועד הדרכה/כוונון מבוזרת בענן.
1. הירשמו לפלטפורמת הענן של גוגל
כדי להתחיל, גשו לאתר https://cloud.google.com/ ולחצו על "התחל בחינם". זהו תהליך הרשמה בן שני שלבים שבו תצטרכו למסור את שמכם, כתובתכם וכרטיס אשראי. חשבון ההתחלה הוא בחינם וכולל זיכוי של 300 דולר שניתן להשתמש בו. בשלב זה תצטרכו לספק חשבון גוגל (כלומר חשבון Gmail) כדי להתחבר.
לאחר השלמת תהליך ההרשמה, תועברו לדף הפתיחה של Google Cloud Platform . לחצו על הכרטיסייה "דף הבית" ורשו לעצמכם את מזהה הפרויקט ומספר הפרויקט שלכם. (ראו זיהוי פרויקטים )
GCP_PROJECT_ID = 'YOUR_PROJECT_ID'
PROJECT_NUMBER = 'YOUR_PROJECT_NUMBER'
2. הפעל את Google Cloud SDK ואימות המחשב הנייד שלך
כעת, לאחר שהגדרתם את הפרויקט, נוכל להמשיך עם שאר שלבי התצורה ישירות ממחברת זו. ישנם שלושה סוגים של מחברות, שלב זה (שלב מס' 2) שונה במקצת עבור כל מחברת, ושאר השלבים (שלב מס' 3 עד מס' 6) זהים עבור כל המחברות.
- 2.1. אימות עבור מחברות Kaggle
- 2.2. אימות עבור מחברת Colab
- 2.3. אימות עבור מחברות ענן מבוססות בינה מלאכותית - לא נתמך.
2.1 הגדרת אימות עבור מחברת Kaggle
אם אתם משתמשים במחברת Kaggle, תצטרכו לחזור על שלב זה עבור כל מחברת חדשה שתשתמשו בה בפרויקט זה. במחברת שלכם לחצו על תוספים -> Google Cloud SDK ופעל לפי ההוראות המופיעות בהנחיה. לאחר מכן, הפעילו את הפקודה הבאה כדי להוסיף את פרטי האימות שלכם למחברת זו.
import sys
if "kaggle_secrets" in sys.modules:
from kaggle_secrets import UserSecretsClient
UserSecretsClient().set_gcloud_credentials(project=GCP_PROJECT_ID)
2.2 הגדרת אימות עבור מחברת Colab
אם אתם משתמשים במחברת Colab, תצטרכו לחזור על שלב זה עבור כל מחברת חדשה שתשתמשו בה בפרויקט זה. הפעילו את הפקודה הבאה כדי להוסיף את פרטי האימות שלכם למחברת זו.
import sys
if "google.colab" in sys.modules:
from google.colab import auth
auth.authenticate_user()
3. קשר את חשבון החיוב שלך לפרויקט שלך
השלב הבא הוא הגדרת חשבון החיוב עבור פרויקט זה. Google Cloud יוצר עבורכם כברירת מחדל פרויקט שנקרא "הפרויקט הראשון שלי". נשתמש בפרויקט ברירת המחדל הזה. השתמשו במזהה הפרויקט שלכם (משלב 1) כדי להפעיל את הפקודות הבאות. פעולה זו תציג לכם את מזהה חשבון החיוב שלכם, רשמו זאת לשלב הבא.
gcloud beta billing accounts listהשתמש ב-Billing Account_ID שלך מלמעלה והפעל את הפעולה הבאה כדי לקשר את חשבון החיוב שלך לפרויקט שלך.
שימו לב שאם אתם משתמשים בפרויקט קיים, ייתכן שלא תראו Account_ID, משמעות הדבר שאין לכם את ההרשאות המתאימות להריץ את הפקודות הבאות, ליצור קשר עם מנהל המערכת או ליצור פרויקט חדש.
BILLING_ACCOUNT_ID = 'YOUR_BILLING_ACCOUNT_ID'
!gcloud beta billing projects link $GCP_PROJECT_ID --billing-account $BILLING_ACCOUNT_ID
4. הפעלת ממשקי API נדרשים עבור tensorflow-cloud בפרויקט שלך
עבור tensorflow_cloud אנו משתמשים בשני ממשקי API ספציפיים: AI Platform Training Jobs API ו- Cloud builder API . שימו לב שזוהי התקנה חד פעמית עבור פרויקט זה, אינכם צריכים להפעיל פקודה זו מחדש עבור כל מחברת.
gcloud services --project $GCP_PROJECT_ID enable ml.googleapis.com cloudbuild.googleapis.com5. צור דלי אחסון בענן של גוגל
נשתמש בדלי האחסון הזה עבור נכסים זמניים וכן לשמירת נקודות הביקורת של המודל. רשמו לעצמכם את שם הדלי לעיון עתידי. שימו לב ששמות הדליים ייחודיים באופן גלובלי.
BUCKET_NAME = 'YOUR_BUCKET_NAME'
GCS_BUCKET = f'gs://{BUCKET_NAME}'
!gsutil mb -p $GCP_PROJECT_ID $GCS_BUCKET
צור חשבון שירות עבור עבודות כוונון של HP
שלב זה נדרש לשימוש ב-HP Tuning ב-Google Cloud באמצעות CloudTuner. כדי ליצור חשבון שירות ולתת לו גישת עורך פרויקטים, הפעל את הפקודה הבאה ורשם את שם חשבון השירות שלך.
SERVICE_ACCOUNT_NAME ='YOUR_SERVICE_ACCOUNT_NAME'
SERVICE_ACCOUNT_EMAIL = f'{SERVICE_ACCOUNT_NAME}@{GCP_PROJECT_ID}.iam.gserviceaccount.com'
!gcloud iam --project $GCP_PROJECT_ID service-accounts create $SERVICE_ACCOUNT_NAME
!gcloud projects add-iam-policy-binding $GCP_PROJECT_ID \
--member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
--role=roles/editor
default AI Platform service account מזוהה על ידי כתובת דוא"ל בפורמט service-PROJECT_NUMBER@cloud-ml.google.com.iam.gserviceaccount.com . באמצעות מספר הפרויקט שלך משלב ראשון, אנו בונים את כתובת הדוא"ל של חשבון השירות ומעניקים את תפקיד מנהל default AI Platform service account (roles/iam.serviceAccountAdmin) לחשבון השירות החדש שלך.
DEFAULT_AI_PLATFORM_SERVICE_ACCOUNT = f'service-{PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com'
!gcloud iam --project $GCP_PROJECT_ID service-accounts add-iam-policy-binding \
--role=roles/iam.serviceAccountAdmin \
--member=serviceAccount:$DEFAULT_AI_PLATFORM_SERVICE_ACCOUNT \
$SERVICE_ACCOUNT_EMAIL
מזל טוב!
כעת אתה מוכן להריץ את tensorflow-cloud. שים לב שיש להריץ שלבים אלה פעם אחת בלבד. לאחר שתגדיר את הפרויקט, תוכל לעשות שימוש חוזר באותו פרויקט ותצורת דלי להרצות עתידיות. עבור כל מחברות חדשות תצטרך לחזור על שלב שני כדי להוסיף את פרטי האימות שלך ב-Google Cloud.
רשום לעצמך את הערכים הבאים מכיוון שהם נחוצים להפעלת tensorflow-cloud.
print(f"Your GCP_PROJECT_ID is: {GCP_PROJECT_ID}")
print(f"Your SERVICE_ACCOUNT_NAME is: {SERVICE_ACCOUNT_NAME}")
print(f"Your BUCKET_NAME is: {BUCKET_NAME}")
Your GCP_PROJECT_ID is: YOUR_PROJECT_ID Your SERVICE_ACCOUNT_NAME is: YOUR_SERVICE_ACCOUNT_NAME Your BUCKET_NAME is: YOUR_BUCKET_NAME
הצג ב-TensorFlow.org
הצג ב-GitHub
הורד מחברת
רוץ בקאגל