In komplexen Umgebungen können Menschen die Bedeutung von Sprache besser verstehen als KI, da wir nicht nur unsere Ohren, sondern auch unsere Augen nutzen.
Wir sehen beispielsweise, wie sich jemandes Mund bewegt, und wissen möglicherweise intuitiv, dass der Ton, den wir hören, von dieser Person kommen muss.
Meta AI arbeitet an einem neuen KI-Dialogsystem, das der KI beibringen soll, auch subtile Zusammenhänge zwischen dem, was sie in einem Gespräch sieht und hört, zu erkennen.
VisualVoice lernt auf ähnliche Weise wie Menschen lernen, neue Fähigkeiten zu erlernen, indem es die audiovisuelle Sprachtrennung ermöglicht, indem es visuelle und akustische Hinweise aus unbeschrifteten Videos lernt.
Für Maschinen führt dies zu einer besseren Wahrnehmung, während sich die menschliche Wahrnehmung verbessert.
Stellen Sie sich vor, Sie könnten an Gruppentreffen im Metaversum mit Kollegen aus der ganzen Welt teilnehmen und an kleineren Gruppentreffen teilnehmen, während sie sich durch den virtuellen Raum bewegen, während sich der Klanghall und die Klangfarben in der Szene an die Umgebung anpassen.
Das heißt, es kann gleichzeitig Audio-, Video- und Textinformationen abrufen und verfügt über ein umfassenderes Umgebungsverständnismodell, das Benutzern ein „sehr beeindruckendes“ Klangerlebnis ermöglicht.
Zeitpunkt der Veröffentlichung: 20.07.2022
