OmniHuman-1: el propietari de TikTok llança IA que crea vídeos humans a partir d'una sola imatge

A Bytedència, propietari de Tik Tok, ha presentat recentment el OmniHuman-1, una nova intel·ligència artificial que genera vídeos humans extremadament realistes a partir d'una sola imatge. L'eina destaca per utilitzar senyals febles, com l'àudio, per crear aquests vídeos, establint un nou estàndard en els mètodes de creació de contingut digital existents. Consulteu tot sobre la nova funció:

Com funciona OmniHuman-1

O OmniHuman-1 utilitza un marc innovador de generació de vídeo humà impulsat per la multimodalitat, que pot crear vídeos molt realistes a partir d'una sola imatge humana i senyals de moviment com ara àudio i vídeo. La seva arquitectura incorpora una estratègia d'entrenament mixta, que permet al model aprendre d'una gran quantitat de dades de diferents fonts. Això resol el problema que els enfocaments anteriors a altres models sovint tenien dificultats a causa de la manca de dades d'alta qualitat per a la formació.

L'eina admet entrades d'imatge en diverses relacions d'aspecte, com ara retrats, imatges de mig cos e cos sencer. Aquesta funció és essencial per crear vídeos realistes en diferents contextos i escenaris. A més, el OmniHuman-1 aconsegueix mantenir la fidelitat dels detalls, com ara moviments, il·luminació e textura, assegurant que el resultat és convincent i natural.

Un altre aspecte important de la OmniHuman-1 és la seva capacitat per manejar diversos estils visuals i d'àudio. Pot generar vídeo a partir de senyals febles, com ara només àudio, o combinar àudio i vídeo per obtenir una direcció més precisa dels moviments. Aquesta versatilitat fa que l'eina sigui ideal per a aplicacions multimèdia i d'entreteniment on la personalització i la qualitat són essencials. EL OmniHuman-1, per tant, suposa un avenç en la generació de continguts digitals, oferint noves possibilitats per a la creació de vídeos interactius i personalitzats.

A continuació, analitzarem amb més detall cada aspecte que fa que el OmniHuman-1 una IA revolucionària de generació de vídeo.

Suport per a qualsevol forma i proporció corporal

El suport per a entrades d'imatge de qualsevol relació d'aspecte, ja sigui retrat, mig o llarg, és un dels grans avantatges de OmniHuman-1. Això significa que l'eina pot generar vídeos realistes independentment del format de la imatge proporcionada, cosa que moltes tecnologies anteriors no podien fer amb la mateixa precisió. Aquesta flexibilitat permet que l'eina s'apliqui en una varietat de contextos, des de vídeos personals e professionals até produccions artístiques e comercials, assegurant resultats coherents i d'alta qualitat en cada cas.

A més, donar suport a diferents formes corporals és crucial per crear vídeos més naturals i personalitzats. EL OmniHuman-1 no només s'adapta a la relació d'aspecte de la imatge, sinó que també manté la fidelitat dels moviments i les característiques físiques del subjecte. Això és especialment útil en àrees com els mitjans de comunicació i l'entreteniment, on l'autenticitat i el realisme són essencials per captivar i captivar el públic.

Opcions de referència d'àudio, pose i imatge

La capacitat del OmniHuman-1 La capacitat de treballar amb diferents tipus d'entrada de senyal, com ara àudio i vídeo, permet que la IA generi vídeos humans realistes utilitzant només un senyal d'àudio o combinar àudio i vídeo per obtenir resultats encara més precisos i naturals. Aquesta característica permet el OmniHuman-1 crear vídeos basats en referències diverses, ampliant les seves aplicacions potencials en diverses indústries.

A més de les opcions d'àudio, per exemple, el OmniHuman-1 també demostra la capacitat de manejar diverses poses i referències d'imatges. Això vol dir que independentment de la posició o postura del subjecte a la imatge d'entrada, l'eina pot generar un vídeo que mantingui la naturalitat i la fluïdesa dels moviments. Aquesta versatilitat és una millora respecte a les tecnologies anteriors, que sovint lluitaven amb postures complexes o inusuals.

Vídeos amb diferents estils visuals

O OmniHuman-1 pot produir vídeos amb diferents estils visuals, cosa que el converteix en una eina increïblement versàtil per als creadors de contingut. Es pot adaptar a una àmplia gamma d'estils, des d'un realisme extrem fins a representacions més estilitzades, assegurant que el resultat s'ajusta a les necessitats i preferències específiques de l'usuari. Aquesta capacitat de generar vídeos amb diferents estils visuals és possible gràcies a la sofisticada estratègia d'entrenament del OmniHuman-1, que permet al model aprendre d'una àmplia gamma de dades visuals.

Interacció entre humans i objectes

Una altra característica innovadora del OmniHuman-1 és la seva capacitat per representar la interacció entre humans i objectes d'una manera realista i natural. Això vol dir que l'eina pot generar vídeos on el subjecte interactua amb diferents objectes de l'entorn, mantenint la coherència dels moviments i la fidelitat dels detalls. Aquesta funcionalitat és essencial per a aplicacions en àrees com la realitat augmentada i virtual, on la interacció realista amb l'entorn és fonamental per a la immersió de l'usuari.

Representar amb precisió les interaccions humà-objecte és un repte important per a moltes tecnologies de generació de vídeo, però el OmniHuman-1 aconsegueix superar-lo gràcies a la seva estratègia de formació avançada i l'ús de dades d'alta qualitat.

Disponibilitat d'IA

Tot i haver presentat ja el OmniHuman-1, un Bytedència encara no ha posat l'eina a disposició del públic, ni a través de serveis ni de descàrregues. No obstant això, el Showmetech estarà atent i portarà tota la informació necessària als seus lectors tan bon punt la IA estigui disponible per accedir-hi.

Què en penseu d'aquest nou desenvolupament en el món de les IA de generació de vídeo? Explica'ns-ho Comentari baix!

Veja também:

Fonts: GitHub, Marktech e Instagram.

Revisat per Gabriel Princesval el 05/02/2025