كيف تتعلم الآلات رؤية الأبعاد الثلاثة

مقدمة

لفترة طويلة، كان جعل الكمبيوتر يفهم العالم ثلاثي الأبعاد من الصور الفوتوغرافية المسطحة واحدًا من أصعب المشاكل في مجال رؤية الكمبيوتر. قام الباحثون ببناء العديد من الأدوات للقيام بذلك - طرق تتطابق فيها الميزات عبر الصور، وأنظمة تقيس العمق من كاميرتين جنبًا إلى جنب، وبرامج تحول آلاف نقاط الصورة إلى أشكال ثلاثية الأبعاد تقريبية. حققت هذه الأدوات تقدمًا حقيقيًا، لكنها جميعًا كانت تشترك في ضعف مشترك. كانت قادرة على تحديد شكل الأشياء، لكنها لم تستطع حقًا فهم كيفية حركة الضوء عبر المشهد

تغير ذلك في عام 2020، عندما قدمت ورقة بحثية نهجًا جديدًا أصبح معروفًا في هذا المجال باسم مجالات الإشعاع العصبي. بدلاً من بناء هيكل هندسي لمشهد، قامت هذه الطريقة بتدريب شبكة عصبية صغيرة لتمثيل مشهد كامل كدالة مستمرة من الفضاء والضوء. كانت النتائج أفضل بكثير من أي شيء سبق، خاصة عندما كان الهدف هو توليد ما سيبدو عليه المشهد من زاوية كاميرا لم يتم تصويرها فعليًا

تشرح هذه المقالة كيف تعمل تلك التكنولوجيا، ولماذا هي مهمة للصناعات التي تعتمد على البيانات، وما هي نقاط ضعفها الحقيقية، وإلى أين تتجه مع تزايد عمليتها للاستخدام اليومي

ما أخطأت فيه الطرق القديمة

لفهم لماذا كان هذا النهج الجديد قفزة إلى الأمام، يساعد أن نفهم الجدار الذي تم كسره

تعمل أدوات إعادة البناء ثلاثية الأبعاد القديمة من خلال العثور على نقاط متطابقة عبر عدة صور وحساب مواقعها في الفضاء باستخدام الهندسة. والنتيجة عادة ما تكون سحابة نقطية - وهي في الأساس مجموعة كبيرة من النقاط في الفضاء ثلاثي الأبعاد - أو شبكة مصنوعة من مثلثات متصلة تقارب سطح الأجسام. هذه التمثيلات لديها عدة مشاكل معروفة جيدًا

• تربك الأسطح الملساء واللامعة أو الشفافة خطوة مطابقة الميزات، مما يترك فجوات في إعادة البناء
• من الصعب استعادة التفاصيل الدقيقة مثل الشعر والأوراق والقماش بدقة
• تلتقط الطرق الشكل لكنها تكافح لالتقاط كيف تبدو الأسطح تحت إضاءة مختلفة أو من زوايا رؤية مختلفة
• توليد ما سيبدو عليه المشهد من زاوية كاميرا جديدة تمامًا ينتج عنه نتائج ضبابية أو مشوهة

المشكلة الأعمق هي أن هذه الطرق تعتبر المشهد مجموعة من الأسطح. لكن الأسطح هي تجريد إنساني. الضوء لا يتبع هذا التجريد. إنه يسافر عبر الفضاء، يرتد، يمتص في المواد، ويتناثر بطرق معقدة. بالمقابل، تتبنى الطريقة الجديدة هذه الحقيقة الفيزيائية وتقوم بنمذجة المشهد كحجم من الفضاء بدلاً من مجموعة من الأسطح

الفكرة الأساسية: تمثيل المشهد كدالة متعلمة

الفكرة المركزية لهذه الطريقة هي تمثيل المشهد ليس كشبكة أو مجموعة من النقاط، ولكن كدالة رياضية مخزنة داخل شبكة عصبية - تحديدًا نوع من الشبكات يسمى الشبكة متعددة الطبقات، وهي سلسلة من الطبقات المتصلة التي تحول الأرقام من خلال عمليات متعلمة

تأخذ الدالة مدخلًا مكونًا من خمسة أجزاء: موقع ثلاثي الأبعاد في الفضاء - نقطة محددة يتم التعرف عليها بواسطة إحداثياتها - واتجاه رؤية ثنائي الأبعاد يصف من أين ينظر المراقب. بالنظر إلى تلك الأرقام الخمسة، ينتج الشبكة شيئان

• مدى كثافة أو صلابة الفضاء في تلك النقطة - بشكل أساسي ما إذا كان هناك شيء مادي يشغل ذلك الموقع
• ما اللون الذي ينبعث من الفضاء من ذلك الاتجاه المحدد للرؤية

مكون اتجاه الرؤية مهم. يبدو أن قطعة من المعدن المصقول تختلف عندما تنظر إليها مباشرة مقارنةً عندما تنظر إليها من زاوية. تعكس السطح الرطب السماء عند مشاهدته من زاوية معينة ويبدو داكنًا عند مشاهدته من زاوية أخرى. تمثل التمثيلات التقليدية المعتمدة على الشبكات هذا باستخدام معلمات المواد. تتعلم هذه الطريقة مباشرة من الصور الفوتوغرافية

يتضمن تدريب الشبكة إعطائها مجموعة من الصور لمشهد - عادةً ما بين عشرين إلى بضع مئات - مع الموقع الدقيق واتجاه الكاميرا لكل صورة. ثم يتم ضبط الشبكة باستخدام عملية تحسين. لكل صورة تدريب، يقوم النظام بإسقاط أشعة افتراضية عبر كل بكسل، ويأخذ عينات من العديد من النقاط على طول كل شعاع، ويسأل الشبكة عن اللون والكثافة الموجودة في كل عينة، ويجمع تلك الإجابات باستخدام نفس الرياضيات التي تصف كيف يتجمع الضوء في ضباب أو سحابة. يجب أن تتطابق النتيجة المجمعة مع الصورة الأصلية. يتم استخدام الفرق بين اللون المتوقع واللون الفعلي لضبط أوزان الشبكة. تتكرر هذه الدورة ملايين المرات حتى تتعلم الشبكة إعادة إنتاج كل صورة تدريب بدقة

في تلك اللحظة، تعلمت الشبكة بشكل ضمني الهيكل ثلاثي الأبعاد للمشهد. لم يتم تقديم أي بيانات ثلاثية الأبعاد بشكل صريح. ظهرت الهندسة من عملية التعلم لإعادة إنتاج الصور الفوتوغرافية من مواقع الكاميرا المعروفة

الفيزياء وراء خطوة العرض

خطوة العرض - عملية تحويل مخرجات الشبكة إلى لون بكسل - تعتمد على فيزياء راسخة حول كيفية انتقال الضوء عبر الأحجام

عندما يمر شعاع من الضوء عبر الضباب أو الدخان أو أي وسط شبه شفاف، فإنه يتراكم تدريجياً اللون من الجسيمات التي يمر بها، ويمكن أن يتم حظره بواسطة مناطق أكثر كثافة. الرياضيات التي تصف هذه العملية قد استخدمت في تأثيرات الأفلام البصرية لعقود. هذا النهج يطبق نفس الرياضيات، ولكن بالعكس - بدلاً من عرض حجم معروف، يتعلم ما يجب أن يكون عليه الحجم من أجل إنتاج صور فوتوغرافية معروفة

لأن كل خطوة من هذه العملية - استعلام الشبكة، دمج العينات على طول الشعاع - قابلة للتفاضل رياضياً، مما يعني أن التدرجات يمكن أن تتدفق من خلالها، يمكن تدريب النظام بالكامل من البداية إلى النهاية باستخدام أدوات التعلم العميق القياسية. تتعلم الشبكة الهندسة من خلال فرض عقوبات عليها في كل مرة تعرض فيها صورة فوتوغرافية بشكل غير صحيح

تحسين عملي يسمى العينة الهرمية يركز الجهد الحسابي على مناطق الفضاء حيث الكثافة عالية، بدلاً من إضاعة العينات في الفضاء الفارغ. هذا يجعل الطريقة أسرع دون التضحية بالجودة

لماذا هذا مهم لأنظمة البيانات والتطبيقات الصناعية

هذه التكنولوجيا ليست مجرد تمرين أكاديمي. لها آثار مباشرة على الصناعات التي تعمل مع البيانات المكانية، وسير العمل التفتيشي، والمحاكاة، وإدارة الأصول المادية

التوائم الرقمية ورسم الخرائط للمرافقهي واحدة من التطبيقات الأكثر مباشرة. يمكن تدريب نموذج على فيديو أو صور تم التقاطها بواسطة طائرة مسيرة أو كاميرا محمولة تسير عبر منشأة صناعية. النتيجة هي تمثيل ثلاثي الأبعاد فوتورياليستيكي وقابل للاستعلام، وهو أكثر وفاءً للمظهر البصري الفعلي للمنشأة مقارنة بسحب النقاط التقليدية الممسوحة بالليزر. يمكن للمفتشين السير افتراضيًا عبر المساحة، والتكبير على المعدات، واكتشاف التغيرات البصرية مع مرور الوقت

تصوير طبي وتخطيط جراحييبدأ في استخدام هذه التكنولوجيا مع الفيديو الملتقط أثناء الجراحة الأقل توغلاً. بدلاً من الاعتماد فقط على المسحات المأخوذة قبل العملية، يمكن لنموذج مدرب على الفيديو من داخل الجسم إنتاج نموذج ثلاثي الأبعاد مستمر لجيومترية الأنسجة تعكس الحالة الفعلية للأنسجة أثناء الإجراء

محاكاة للأنظمة المستقلةتواجه مشكلة نقص البيانات المستمرة. يتطلب تدريب نظام قيادة ذاتية كميات هائلة من البيانات البصرية الفوتورياليستيكية والدقيقة جسديًا التي تغطي سيناريوهات نادرة وخطيرة يصعب التقاطها في العالم الحقيقي. يمكن للنماذج المدربة على لقطات القيادة الحقيقية إعادة بناء مشاهد محددة وتوليد وجهات نظر من زوايا كاميرا جديدة أو تحت إضاءة مختلفة - مما يوسع بشكل كبير تنوع بيانات التدريب دون الحاجة إلى جمع بيانات فعلية إضافية

تصوير المنتجات في البيع بالتجزئةيستخدم هذه التكنولوجيا لإنتاج تمثيلات ثلاثية الأبعاد للمنتجات من التصوير الفوتوغرافي القياسي، مما يتيح عرض المنتجات بشكل تفاعلي عبر الإنترنت دون الحاجة إلى نمذجة يدوية مكلفة

القيود التي تهم للاستخدام الإنتاجي

تأتي أناقة هذا النهج مع تكاليف حقيقية يجب على أي فريق يقيمه للاستخدام الإنتاجي أن يفهمها

وقت التدريبكانت أكبر نقطة ضعف في الطريقة الأصلية. كانت النسخ المبكرة تتطلب العديد من الساعات أو حتى الأيام على بطاقة رسومات عالية الأداء للتدريب على مشهد واحد. جعل هذا من سير العمل السريع غير عملي

سرعة العرضفجّرت المشكلة. كان توليد صورة واحدة يتطلب استعلام الشبكة العصبية ملايين المرات، وهو ما كان بطيئًا جدًا للمشاهدة التفاعلية أو التطبيقات في الوقت الحقيقي

خصوصية المشهدهي قيد أساسي. يمثل النموذج المدرب مشهدًا واحدًا فقط. لا يمكنه التعميم على بيئات جديدة. يتطلب كل مشهد جديد دورة تدريب كاملة من الصفر. هذا يختلف جوهريًا عن مصنف الشبكة العصبية التقليدي، الذي يتم تدريبه مرة واحدة ويمكن تطبيقه على نطاق واسع

الأجسام المتحركةتخرق الافتراض الأساسي. تفترض الطريقة أن المشهد ثابت أثناء عملية الالتقاط. إن التقاط مساحة بها أشخاص يمشون أو مركبات تتحرك عبرها ينتهك هذا الافتراض ويؤدي إلى تدهور النتيجة بشكل كبير

الإضاءة الثابتةهي قيد آخر. يقوم النموذج المدرب بتضمين ظروف الإضاءة التي كانت موجودة أثناء الالتقاط. لا يمكنه إظهار كيف سيبدو المشهد تحت أضواء مختلفة دون عمل نمذجة إضافية

كيف عالجت مجتمع البحث هذه الضعف

ألهمت الورقة الأصلية موجة كبيرة من الأبحاث اللاحقة، والتي استهدفت معظمها الضعف الموصوف أعلاه مباشرة

استبدل نظام تم تطويره من قبل باحثين في شركة كبيرة للأجهزة الرسومية الشبكة العصبية بجدول بحث منظم باستخدام تقنية تسمى ترميز التجزئة متعددة الدقة. قلل هذا التغيير من وقت التدريب من ساعات إلى ثوانٍ وجعل العرض التفاعلي ممكنًا

خط عمل آخر حسّن الجودة على مسافات ومقاييس عرض مختلفة من خلال التفكير في مخروط الفضاء الذي يمثله بكسل، بدلاً من شعاع رياضي واحد. وقد أسفر ذلك عن نتائج أفضل بشكل ملحوظ للمشاهد الملتقطة على مسافات متغيرة

تمت معالجة التمديدات للتعامل مع البيئات الخارجية الكبيرة - المدن، المناظر الطبيعية، الحقول المفتوحة - واحدة من أهم القيود العملية، حيث أن معظم سيناريوهات الالتقاط في العالم الحقيقي ليست محصورة ضمن مساحة صغيرة ومحدودة

قدمت الأعمال المتعلقة بالمشاهد القابلة للتشويه مفهوم حقل التشويه المتعلم جنبًا إلى جنب مع تمثيل المشهد الرئيسي، مما يسمح بإعادة بناء الأشخاص، والوجوه، والمواضيع المتحركة الأخرى من الفيديو

جعلت الأعمال المتعلقة بإعادة بناء المشاهد من مجموعات الصور على الإنترنت - الصور الملتقطة من قبل العديد من الأشخاص المختلفين تحت ظروف إضاءة مختلفة، في أوقات مختلفة من اليوم، مع عابري سبيل عشوائيين في الإطار - الطريقة قابلة للتطبيق على مجموعات بيانات ضخمة وفوضوية في العالم الحقيقي بدلاً من الالتقاطات النظيفة والمتحكم بها فقط

نهج متنافس: تمثيل المشهد بأشكال غاوسية

سيكون من غير المكتمل مناقشة هذا المجال من البحث دون الإشارة إلى نهج متنافس ظهر مؤخرًا وحظي باهتمام كبير

بدلاً من استخدام شبكة عصبية لترميز المشهد كدالة مستمرة، يمثل هذا النهج المشهد كمجموعة كبيرة من الأشكال البيضاوية ثلاثية الأبعاد الصغيرة - التي تُسمى تقنيًا بالبدائيات الغاوسية - كل منها له موقعه وحجمه واتجاهه وشفافيته ولونه المعتمد على الرؤية. يتم إسقاط هذه الأشكال على مستوى الصورة ودمجها باستخدام عملية عرض سريعة ومتوازية لإنتاج الصورة النهائية

تُحقق هذه التمثيلات عرضًا في الوقت الحقيقي - غالبًا ما تصل إلى ثلاثين إلى أكثر من مئة إطار في الثانية بدقة عالية - مع مطابقة أو تجاوز جودة النهج القائم على الشبكات العصبية. كما أن التدريب يظل سريعًا، حيث يكتمل عادةً في دقائق بدلاً من ساعات للمشاهد النموذجية

التجارة هي استخدام الذاكرة. يمكن أن تتطلب مشهد تمثله ملايين من هذه الأشكال الصغيرة العديد من جيجابايت من التخزين، بينما يمكن أن يمثل نموذج شبكة عصبية مدرب مضغوط مشهدًا في بضع ميغابايت. بالنسبة للتطبيقات التي تتضمن بث محتوى ثلاثي الأبعاد عبر شبكة، فإن هذا الاختلاف مهم بشكل كبير

يستكشف الباحثون بشكل متزايد التمثيلات الهجينة التي تجمع بين أفضل خصائص كلا النهجين

الاتصال مع نماذج الرؤية واللغة الكبيرة

أحد الاتجاهات البحثية النشطة حاليًا يربط هذه التقنية لتمثيل المشهد مع نماذج كبيرة تفهم اللغة والدلالات البصرية

تمثيل المشهد المدرب القياسي هو بصري بحت - فهو يشفر المظهر والهندسة دون فهم ما هي الأشياء الموجودة أو ما تعنيه. وقد أضافت الأعمال الأخيرة معلومات دلالية قائمة على اللغة إلى التمثيل ثلاثي الأبعاد، مما يسمح للمستخدمين بالاستعلام عن المواقع المكانية بلغة طبيعية. على سبيل المثال، يمكن للمستخدم أن يسأل "أين طفاية الحريق؟" ويتلقى منطقة مميزة في المشهد ثلاثي الأبعاد بدلاً من الاضطرار إلى البحث عنها بصريًا

يجمع هذا المزيج بين إعادة البناء الهندسي والفهم الدلالي له آثار كبيرة على الروبوتات. يحتاج ذراع الروبوت الذي يؤدي مهمة في مستودع أو روبوت متنقل يتنقل في أرضية المصنع إلى إدراك هندسة بيئته وأيضًا إلى التفكير في الأشياء الموجودة وأين توجد. تمثل المشهد الذي يكون في الوقت نفسه هندسيًا، وصورة فوتوغرافية واقعية، وقابلًا للاستعلام دلاليًا يلبي هذه الحاجة مباشرة

اعتبارات عملية للنشر

يجب على المنظمات التي تقيم هذه التكنولوجيا للاستخدام الإنتاجي التفكير بعناية في عدة عوامل عملية

جودة الالتقاطهي أساس كل شيء. إعادة البناء جيدة فقط بقدر جودة الصور المدخلة. ستؤثر الضبابية الناتجة عن الحركة، وعدم كفاية التداخل بين المشاهد المجاورة، ومسارات الكاميرا التي لا تغطي المشهد من زوايا كافية على الجودة بغض النظر عن مدى تعقيد النموذج الأساسي. تعلم كيفية الالتقاط بشكل جيد مهم بقدر فهم النموذج نفسه

متطلبات الحوسبةتختلف حسب حالة الاستخدام. تستفيد المشاهدة التفاعلية في الوقت الحقيقي من النهج القائم على الشكل الموصوف أعلاه. يمكن أن تستخدم عملية عرض الأصول البصرية طرقًا أبطأ ولكن ذات جودة أعلى. يتطلب التدريب على نطاق واسع لمشاهد كبيرة أو عالية الدقة بطاقات رسومية متعددة

تكامل خط الأنابيبغالبًا ما يكون التحدي المقدر بأقل من قيمته. تتطلب التكنولوجيا نظامًا محيطًا لالتقاط الصور، وتقدير مواقع الكاميرا، وتشغيل عملية التدريب، وتصدير النتائج إلى تنسيق يمكن استخدامه لاحقًا - سواء كان ذلك فيديو مُعَد، أو شبكة مستخرجة، أو تمثيل ثلاثي الأبعاد قابل للبث

خصوصية البيانات وحقوق الملكيةتستحق الاهتمام. إن إعادة بناء المنشآت والمنتجات أو المساحات الفيزيائية الحساسة تحمل نفس اعتبارات السرية مثل أي أصل بيانات حساس آخر

إلى أين تتجه هذه التكنولوجيا

من المحتمل أن تصل عدة تطورات في هذا المجال خلال العامين إلى الثلاثة أعوام القادمة

سيسمح التدريب مباشرة على الأجهزة الطرفية - المدعوم بأساليب ترميز أكثر كفاءة - بإنتاج إعادة بناء ثلاثية الأبعاد عالية الجودة على هاتف محمول أو جهاز مدمج دون إرسال البيانات إلى السحابة. التطبيقات التي تنتج أصول ثلاثية الأبعاد فوتوواقعية من فيديو قصير تم التقاطه على هاتف ذكي بدأت بالفعل في الظهور

النماذج التي يمكن أن تعمم عبر المشاهد - إعادة بناء بيئة جديدة من مجرد بضع صور فوتوغرافية دون إجراء تدريب كامل - ستقلل من تكلفة كل مشهد بشكل كبير. تظهر الأعمال المبكرة في هذا الاتجاه بالفعل وعدًا

الإضافات التي تفهم خصائص المواد الفيزيائية - كيف تعكس الأسطح وتمتص وتشتت الضوء - ستتيح إعادة الإضاءة وتحرير المواد. هذا مهم لمحاكاة صناعية حيث يجب التحكم في ظروف الإضاءة برمجيًا

تتلاشى الحدود بين هذه التكنولوجيا والذكاء الاصطناعي التوليدي أيضًا. توجد الآن أنظمة يمكنها توليد كائن ثلاثي الأبعاد كامل أو مشهد من وصف نصي، باستخدام هذا النوع من تمثيل المشهد داخليًا والإشراف على توليدها باستخدام نموذج توليد الصور الموجه بالنص. سيغير هذا بشكل كبير سير عمل إنشاء المحتوى ثلاثي الأبعاد

الخاتمة

إن النهج المتمثل في تمثيل المشاهد كوظائف مستمرة متعلمة من الفضاء والضوء هو تحول حقيقي في كيفية فهم الآلات للعالم ثلاثي الأبعاد - ليس مجرد تحسين تدريجي على الأساليب القديمة. من خلال تعلم إعادة إنتاج الصور الفوتوغرافية من مواقع الكاميرا المعروفة، تكتشف هذه الأنظمة الهندسة والمظهر بشكل ضمني، مما يلتقط التفاصيل والتأثيرات المعتمدة على الرؤية التي لا تستطيع الأساليب المعتمدة على السطح القيام بها

لقد تم معالجة القيود الأصلية المتعلقة بسرعة التدريب وسرعة العرض وخصوصية المشهد بشكل كبير من خلال الأبحاث اللاحقة. التكنولوجيا الآن ناضجة بما يكفي لتقييم الإنتاج الجاد في إنشاء التوائم الرقمية، ومحاكاة الأنظمة المستقلة، والتصوير الطبي، والحوسبة المكانية

بالنسبة لفرق أنظمة البيانات التي تفكر في مكان تناسب الذكاء الاصطناعي المكاني في بنيتها التحتية، لم يعد السؤال هو ما إذا كانت هذه التكنولوجيا قادرة بما فيه الكفاية. بل هو ما إذا كانت أنابيب الالتقاط، والبنية التحتية للحوسبة، وتدفقات عمل تكامل البيانات جاهزة للاستفادة منها