تعمل جوجل على تطوير ميزة جديدة داخل مساعدها الذكي Gemini تُعرف باسم Screen Automation، وتهدف إلى تمكين الذكاء الاصطناعي من تنفيذ مهام كاملة على شاشة الهاتف بدلًا من المستخدم، مثل التنقل بين التطبيقات، الضغط على الأزرار، وملء الحقول، اعتمادًا على فهم بصري مباشر لما يظهر على الشاشة، في نقلة واضحة نحو مفهوم الـ AI Agents على الهواتف الذكية.
حاليًا لا تزال الميزة في مرحلة التطوير التجريبي حتى فبراير 2026، وقد ظهرت في تسريبات APK لتطبيق Google ضمن الإصدارات التجريبية، مع ربطها بمنصة Google Labs. الاسم المتوقع عند الإطلاق للمستخدمين هو Get tasks done with Gemini أو Screen Automation، ومن المرجح أن تُطرح تدريجيًا لأجهزة محددة تعمل بإصدارات حديثة من نظام أندرويد.
تقنيًا تعتمد الميزة على تحليل لقطات الشاشة بشكل لحظي باستخدام قدرات Gemini متعددة الوسائط، حيث يتعرف الذكاء الاصطناعي على العناصر التفاعلية مثل الأزرار والقوائم وحقول الإدخال دون الحاجة لتكامل مباشر مع التطبيقات. بعد ذلك يقوم بتوليد أوامر تنفيذ مثل النقر أو التمرير أو إدخال النص، مستخدمًا واجهات أندرويد الخاصة بخدمات إمكانية الوصول، مع دورة ذكية متكررة تراجع النتيجة بعد كل خطوة حتى اكتمال المهمة.
عمليًا تتيح Screen Automation تنفيذ مهام متعددة الخطوات بأوامر لغوية بسيطة، مثل طلب حجز سيارة، أو إتمام عملية شراء، أو إعادة طلب منتج سبق استخدامه، حيث يقوم Gemini بالتخطيط والتنفيذ والمراجعة بشكل ذاتي، مع إمكانية تدخل المستخدم في أي لحظة لإيقاف العملية أو تعديلها.
لتفعيل الميزة عند إتاحتها رسميًا، يتوقع أن تبدأ العملية من داخل تطبيق Google أو Gemini عبر الدخول إلى إعدادات الحساب، ثم الانتقال إلى قسم Google Labs، وتفعيل خيار Screen Automation أو Get tasks done with Gemini. بعد ذلك سيطلب النظام منح أذونات خاصة تتعلق بإمكانية الوصول والتحكم في الشاشة، مع شرح واضح للتغييرات الأمنية والقيود. عقب التفعيل يمكن استخدام الميزة عبر أوامر صوتية أو نصية مباشرة داخل Gemini، مع إمكانية إيقافها في أي وقت من نفس الإعدادات.
