Soporte para Android Neural Networks API 1.3 y PyTorch Mobile

Autor: Oli Gaymond, gerente de producto de aprendizaje automático de Android

El aprendizaje automático en el dispositivo permite que las funciones principales se ejecuten localmente sin transferir datos al servidor. El procesamiento de datos en el dispositivo permite una latencia más baja, puede mejorar la privacidad y permite que las funciones funcionen sin conexión. Para lograr el mejor rendimiento y eficiencia energética es necesario aprovechar todo el hardware disponible.

API 1.3 de redes neuronales de Android

La API de redes neuronales de Android (NNAPI) está diseñada para ejecutar operaciones de aprendizaje automático computacionalmente intensivas en dispositivos Android. Proporciona un único conjunto de API que se benefician de los aceleradores de hardware disponibles, incluidas GPU, DSP y NPU.

En Android 11, lanzamos la API 1.3 de redes neuronales y agregamos soporte para la API de calidad de servicio, dominios de almacenamiento y soporte de cuantificación mejorado. Esta versión se basa en un soporte integral para más de 100 operaciones, tipos de datos cuantificados y de punto flotante, e implementaciones de hardware de socios en todo el ecosistema de Android.

La aceleración de hardware es especialmente beneficiosa para los modelos siempre activos en tiempo real, como la visión por computadora en un dispositivo o la mejora de audio. Estos modelos tienden a ser computacionalmente intensivos, sensibles a la latencia e intensivos en energía. Uno de esos usos es la segmentación de usuarios en segundo plano en las videollamadas. Facebook ahora está probando NNAPI en Messenger para permitir la absorción de fondo 360. Con NNAPI, Facebook vio una doble aceleración y una doble reducción en los requisitos de energía. Esto además de aligerar el trabajo de la CPU, lo que le permite realizar otras tareas importantes.

Presentamos la compatibilidad con la API de redes neuronales de PyTorch

Se puede acceder a NNAPI directamente a través de la API C de Android o mediante marcos superiores como TensorFlow Lite. PyTorch Mobile anunció hoy una nueva función de prototipo que es compatible con NNAPI, que permite a los desarrolladores utilizar la conclusión acelerada por hardware con el marco de PyTorch.

La versión inicial de hoy incluye soporte para modelos de perceptrón multicapa y convolución lineal conocidos para Android 10 y versiones posteriores. Las pruebas de rendimiento de MobileNetV2 muestran hasta 10 veces más rápido en comparación con un procesador de un solo subproceso. Como parte del movimiento hacia una versión completamente estable, las actualizaciones futuras incluirán soporte para operadores y arquitecturas de modelos adicionales, incluido Mask R-CNN, el popular modelo de detección de objetos y segmentación de segmentos.

Nos gustaría agradecer al equipo de PyTorch Mobile en Facebook por su asociación y compromiso para llevar redes neuronales aceleradas a millones de usuarios de Android.

Crew Giemo.es:

Esta web usa cookies.