التقسيم

تجزئة الصورة هي عملية تقسيم الصورة الرقمية إلى أجزاء متعددة (مجموعات من وحدات البكسل، تُعرف أيضًا باسم كائنات الصورة). الهدف من التجزئة هو تبسيط و/أو تغيير تمثيل الصورة إلى شيء ذي معنى أكبر وأسهل في التحليل.

الصورة التالية توضح مخرجات نموذج تجزئة الصور على نظام Android. سيقوم النموذج بإنشاء قناع فوق الكائنات المستهدفة بدقة عالية.

البدء

إذا كنت مستخدمًا جديدًا لـ TensorFlow Lite وتعمل مع Android أو iOS، فمن المستحسن استكشاف أمثلة التطبيقات التالية التي يمكن أن تساعدك على البدء.

يمكنك الاستفادة من واجهة برمجة التطبيقات الجاهزة من مكتبة المهام TensorFlow Lite لدمج نماذج تجزئة الصور في بضعة أسطر فقط من التعليمات البرمجية. يمكنك أيضًا دمج النموذج باستخدام TensorFlow Lite Interpreter Java API .

يوضح مثال Android أدناه تنفيذ كلا الطريقتين مثل lib_task_api و lib_interpreter ، على التوالي.

عرض مثال أندرويد

عرض مثال iOS

إذا كنت تستخدم نظامًا أساسيًا غير Android أو iOS، أو كنت على دراية بواجهات برمجة التطبيقات TensorFlow Lite ، فيمكنك تنزيل نموذج تجزئة الصور المبدئي الخاص بنا.

تحميل نموذج البداية

نموذج الوصف

يعد DeepLab نموذجًا متطورًا للتعلم العميق لتجزئة الصور الدلالية، حيث يكون الهدف هو تعيين تسميات دلالية (على سبيل المثال، شخص، كلب، قطة) لكل بكسل في الصورة المدخلة.

كيف تعمل

يتنبأ تجزئة الصورة الدلالية بما إذا كان كل بكسل من الصورة مرتبطًا بفئة معينة. وهذا على النقيض من اكتشاف الكائنات ، الذي يكتشف الكائنات في مناطق مستطيلة، وتصنيف الصور ، الذي يصنف الصورة الإجمالية.

يتضمن التنفيذ الحالي الميزات التالية:

  1. DeepLabv1: نحن نستخدم الإلتواء الضخم للتحكم بشكل صريح في الدقة التي يتم بها حساب استجابات الميزات داخل الشبكات العصبية التلافيفية العميقة.
  2. DeepLabv2: نحن نستخدم التجميع الهرمي المكاني (ASPP) لتقسيم الكائنات بقوة على مقاييس متعددة باستخدام مرشحات بمعدلات أخذ عينات متعددة ومجالات رؤية فعالة.
  3. DeepLabv3: نقوم بتعزيز وحدة ASPP بميزة مستوى الصورة [5، 6] لالتقاط معلومات ذات نطاق أطول. نقوم أيضًا بتضمين معلمات تطبيع الدفعة [7] لتسهيل التدريب. على وجه الخصوص، نحن نطبق الالتواء الضخم لاستخراج ميزات الإخراج في خطوات الإخراج المختلفة أثناء التدريب والتقييم، مما يتيح تدريب BN بكفاءة في خطوة الإخراج = 16 ويحقق أداءً عاليًا في خطوة الإخراج = 8 أثناء التقييم.
  4. DeepLabv3+: نقوم بتوسيع DeepLabv3 ليشمل وحدة فك تشفير بسيطة وفعالة لتحسين نتائج التجزئة خاصة على طول حدود الكائنات. علاوة على ذلك، في هيكل التشفير وفك التشفير هذا، يمكن للمرء التحكم بشكل تعسفي في دقة ميزات التشفير المستخرجة عن طريق الالتفاف الشديد لدقة المقايضة ووقت التشغيل.

معايير الأداء

يتم إنشاء أرقام قياس الأداء باستخدام الأداة الموضحة هنا .

اسم النموذج حجم النموذج جهاز GPU وحدة المعالجة المركزية
ديبلاب v3 2.7 ميجا بايت بكسل 3 (أندرويد 10) 16 مللي ثانية 37 مللي ثانية*
بكسل 4 (أندرويد 10) 20 مللي ثانية 23 مللي ثانية*
آيفون XS (iOS 12.4.1) 16 مللي ثانية 25 مللي ثانية **

* 4 خيوط مستخدمة.

** 2 خيط يستخدم على الايفون للحصول على أفضل نتيجة أداء.

مزيد من القراءة والموارد