OpenAI le da a su chatbot automatizado oídos, ojos y voz

Es una de las actualizaciones más importantes que ha recibido ChatGPT desde su lanzamiento en noviembre de 2022. OpenAI ofrece a su popular chatbot dos nuevas formas de interactuar con los usuarios. O como escribe el proveedor: “ChatGPT ahora puede ver, oír y hablar”.

Las nuevas capacidades de idioma e imagen deberían permitir a los usuarios comunicarse más fácilmente con ChatGPT en el futuro. Debería ser posible algún tipo de conversación “verbal” con un chatbot impulsado por IA.

También deberías poder “mostrar” a ChatGPT de qué estás hablando actualmente. Por ejemplo, subiendo una foto de un paisaje y hablando de su belleza.

más Sugerido por OpenAI Las opciones de uso incluyen tomar y cargar fotografías de su refrigerador o despensa, seguidas de una discusión sobre posibles cenas y recetas con instrucciones paso a paso.

También debería ser posible tomar fotografías de los deberes de los niños y obtener consejos sobre cómo resolverlos. O puede tomar una fotografía de una herramienta de jardín rota y obtener consejos sobre las opciones de reparación.

Además, ChatGPT también podrá generar imágenes por sí mismo en el futuro gracias a la integración de texto a imagen AI Dall-E 3. Los usuarios pueden utilizar sus habilidades lingüísticas, por ejemplo, para contarse cuentos antes de dormir o para resolver una discusión.

Los usuarios pueden elegir entre diferentes voces de ChatGPT, que fueron creadas con la ayuda de actores profesionales. Para convertir las palabras habladas de los usuarios en texto que ChatGPT pueda entender, se utiliza, entre otras cosas, el sistema de reconocimiento de voz Whisper de OpenAI.

Para poder generar respuestas ChatGPT en formato lingüístico, OpenAI ha desarrollado un nuevo modelo de conversión de texto a voz. Esta herramienta ya está disponible para que la utilicen muchas otras empresas. Incluyendo Spotify, que utilizó para crear una herramienta de traducción para podcasts. Las voces originales de los presentadores se emiten en varios idiomas traducidos como español, francés y alemán.

Al utilizar ChatGPT, OpenAI indica que la nueva funcionalidad sólo se puede utilizar en inglés. La compañía quiere evitar el posible uso indebido de las capacidades lingüísticas de su chatbot de IA por parte de estafadores mediante la creación de voces seleccionables.

OpenAI también se ha ocupado de posibles problemas causados ​​por el reconocimiento de imágenes en los últimos meses. Si bien ChatGPT no responde preguntas como “¿Cómo hago una bomba?”, era posible evitar esta protección con una imagen de una bomba y preguntando “¿Cómo hago lo que se muestra en la imagen”, según el MIT tecnología. revisar para explicar.

OpenAI también tuvo que poner fin a posibles vulnerabilidades como esta antes de lanzar una nueva funcionalidad. Sin embargo, el proveedor ChatGPT parece seguro que resolverá estos y otros problemas similares.

Las funciones de reconocimiento de voz e imagen estarán disponibles para todos los usuarios de ChatGPT Pro y Enterprise dentro de las próximas dos semanas. Sin embargo, sólo se reconocerán imágenes en todas las plataformas. Las funciones de audio están limitadas a la aplicación (iOS y Android).

Para ello, los usuarios deben dirigirse a Ajustesbajo Nuevo trabajoel Conversaciones de voz lanzamiento. Luego puede seleccionar una de las cinco variantes de audio disponibles actualmente tocando el ícono de auriculares en la parte superior derecha.

Para cargar la imagen, haga clic en el icono correspondiente. En la aplicación, debes tocar el botón “signo más” de antemano. Entonces también es posible discutir varias imágenes o utilizar el software de dibujo integrado para indicar contenidos específicos.