Análisis de video con IA por medio de Video Indexer de Azure

¿Qué es Azure Video Indexer?

Azure Video Indexer está basado en tecnologías de Inteligencia Artificial para extraer de manera fácil información de los vídeos. Puede desarrollar nuevas formas para detectar contenido en un video como, por ejemplo, la búsqueda por palabras pronunciadas, caras y emociones. Esta herramienta permite enriquecer sus aplicaciones con información del vídeo integrada que impulsa la involucración del usuario. Es una aplicación en la nube que forma parte de los Servicios de IA Aplicada de Azure. Utiliza Azure Media Services y Azure Cognitive Services (como Face, Translator, Computer Vision y Voz) para extraer información procesable de archivos de audio y video almacenados. Puede mejorar la inserción de anuncios, la administración de activos digitales y las bibliotecas multimedia mediante el análisis del contenido de audio y video sin necesidad de tener conocimientos profundos sobre aprendizaje automático.

Lo que puede hacer Video Indexer

El programa presenta varias funcionalidades para utilizar como son:

• Búsqueda profunda: Una empresa, institución o cualquier entidad que tenga una biblioteca de videos, puede acceder a la búsqueda dentro de los videos por medio de esta herramienta, la aplicación genera una indexación de palabas habladas, de caras, o se le puede alimentar para que busque ciertas escenas durante los videos, lo que permite acceder a la búsqueda más fácilmente, esto podría ser utilizado por empresas como, agencias de noticias, instituciones educativas, etc.
• Creación de Contenido: basándose en la información que Video Indexer de Azure AI extrae del contenido de los videos se pueden crear clips finales, videos cortos de momentos destacados, contenido para medios sociales o incluso clips de noticias. Al establecer los fotogramas clave, indicar marcadores de escenas y colocar marcas de tiempo para las apariciones de personas y la utilización de etiquetas hacen que el proceso de creación sea mucho más fluido y sencillo, permitiendo ir a las partes del vídeo que necesita para crear el contenido deseado.
• Accesibilidad: la integración que tiene en distintas regiones y con distintos idiomas permite usar la transcripción y traducción de los videos, lo que permite que el contenido creado se pueda distribuir fácilmente a diferentes regiones, también que pueda ser consumido por personas con algunas discapacidades.
• Moderación de contenido: Puede usar modelos de moderación de contenido, tanto textual, como visual con el fin de proteger a los usuarios del contenido inadecuado y puede asegurar que el contenido que publica coincide con los valores de la organización y del público al cual va dirigido. Puede bloquear automáticamente determinados contenidos en los vídeos, videos completos o generar un aviso a los usuarios sobre el contenido para que sea modificado.
• Recomendaciones: para mejorar la interacción con los usuarios es útil la información que se extrae de los videos, por ejemplo, resaltar los momentos más destacados o más pertinentes del vídeo. Se puede etiquetar cada vídeo con metadatos adicionales, puede recomendar a los usuarios los vídeos más importantes y resaltar las partes del vídeo que se adaptan mejor a sus necesidades.

Características de IA en modelos de video

Algunas características específicas del modelo de inteligencia artificial de video son:

• Detección de caras: permite detectar y agrupar las caras que aparecen en el vídeo almacenado.
• Identificación de famosos: puede identificar a más de un millón de famosos (como líderes mundiales, actores, artistas, atletas, investigadores y líderes empresariales y tecnológicos de todo el mundo). Esta información sobre los famosos también esta alojada en diversos sitios web.
• Identificación de caras basada en cuentas: se puede entrenar un modelo para una cuenta específica con las caras que desee que detecte, de esta manera podrá detectar las caras en el vídeo según el modelo entrenado.
• Reconocimiento óptico de caracteres (OCR): extrae texto de imágenes como imágenes, señales de tráfico y productos en archivos multimedia para crear conclusiones.
• Seguimiento de personas observadas (versión preliminar): detecta personas observadas en vídeos y proporciona información, como la ubicación de la persona en el fotograma de vídeo (mediante rectángulos delimitadores) y la marca de tiempo exacta (inicio y fin), y la confianza cuando aparece una persona.

Características de IA en modelos de audio

Algunas características específicas del modelo de inteligencia artificial de audio son:

• Transcripción de audio: convierte voz en texto en más de 50 idiomas y permite extensiones.
• Detección automática de idioma: identifica el idioma hablado dominante.
• Identificación y transcripción de voz en varios idiomas: identifica el idioma hablado en diferentes segmentos del audio. Envía cada segmento del archivo multimedia que se va a transcribir y luego combina la transcripción en una unificada.
• Subtítulos (CC): crea subtítulos en tres formatos: VTT, TTML y SRT.
• Reducción de ruido: borra el audio telefónico o las grabaciones ruidosas (basado en los filtros de Skype).
• Personalización de la transcripción (CRIS): entrena modelos personalizados de conversión de voz en texto para crear transcripciones específicas del sector.
• Moderación de contenido textual: detecta texto explícito en la transcripción de audio.
• Detección de emociones basadas en texto: emociones como alegría, tristeza, ira y miedo detectados a través del análisis de transcripciones.

¿Cómo se puede empezar a usar Video Indexer de Azure AI?

Puede acceder a las funcionalidades de Video Indexer de Azure AI de tres maneras:

• Sitio web de Video Indexer de Azure AI: una solución fácil de usar que le permite evaluar el producto, administrar la cuenta y personalizar los modelos.
• Integración de API: todas las funcionalidades de Video Indexer de Azure AI están disponibles a través de una API de REST para que pueda integrar la solución en las aplicaciones y la infraestructura
• Widget insertable: permite insertar las experiencias de información, reproductor y editor de Video Indexer de Azure AI en la aplicación.

Precios de Audio y Video

Video Indexer se puede usar con dos tipos de cuentas:

• Cuenta de prueba gratuita: hasta 10 horas de indexación gratuita para los usuarios del sitio web y hasta 40 horas de indexación gratuita para usuarios de API.
• Cuenta ilimitada pagada: para la indexación a gran escala, cree una nueva cuenta de Video Indexer conectada a una suscripción de Microsoft Azure de pago.

El precio se basa en la duración del archivo de entrada. La indexación se cobra por el análisis de audio, el análisis de vídeo o ambos

El análisis de audios está disponible en tres paquetes de características a precios diferentes. El valor preestablecido de Audio Indexer estándar proporciona un conjunto más completo de metadatos mediante un conjunto predefinido de modelos de análisis de audio basados en inteligencia artificial, como transcripción de voz, indexación de hablantes, análisis de sentimiento de voz y palabras clave y subtítulos de salida con formato. El valor preestablecido de Audio Indexer básico proporciona una opción de bajo costo para extraer solo la transcripción de voz y dar formato a subtítulos de salida. Audio Indexer básico generará dos medidores independientes en la factura, incluida una línea para la transcripción y una línea independiente para el formato de subtítulos. Por último, tenemos el valor preestablecido avanzado, que proporciona todos los modelos de análisis basados en inteligencia artificial disponibles de Video Indexer.

El análisis de vídeo está disponible en dos paquetes de características a precios diferentes. El valor preestablecido de Video Indexer estándar ofrece un amplio conjunto de modelos de análisis de vídeo basados en inteligencia artificial, mientras que el valor preestablecido avanzado de Video Indexer ofrece todos los modelos de análisis basados en inteligencia artificial disponibles de Video Indexer. También muestra el vídeo con más frecuencia para mejorar la calidad e incluye información avanzada como claqueta, patrones digitales y mucho más.

	Análisis básico de indexación de audio	Análisis de indexación de audio estándar	Análisis de audio avanzado	Análisis estándar de indexación de vídeo	Análisis de vídeo avanzado
Precio por minuto de entrada	$0.0126	$0.024	$0.04	$0.09	$0.15

Redacción

Anonimice los vídeos detectando y difuminando los rostros de todos los individuos o de los seleccionados. Azure Video Indexer Redaction es ideal para su uso en seguridad pública, pruebas judiciales y medios de comunicación. Video Redaction se ejecuta en la parte superior de las capacidades existentes de detección de rostros del análisis estándar y avanzado.

El precio se basa en los minutos de entrada, independientemente de la calidad de la fuente. La salida redactada admite hasta 720p.

	Redacción de vídeo
Precio por minuto de entrada	$0.01

Conclusiones

Después de explorar algunos servicios clave que presta Azure Video Indexer y conocer sus costos asociados, podemos llegar a las siguientes conclusiones:

1. Azure Video Indexer es una plataforma poderosa que utiliza inteligencia artificial para extraer información procesable a partir del contenido multimedia almacenado.
2. Los servicios ofrecidos por Azure Video Indexer permiten mejorar la inserción publicitaria, administrar activos digitales y bibliotecas

Autor: Eduar Yosme Pardo

Código: UCPIG2-2

Editor: Eduar Yosme Pardo

Universidad: Universidad Central