Runway Gen2: uma app para gerar vídeos a partir de prompts de texto


Runway Gen 2 agora está disponível publicamente. Ainda está na versão BETA. A ferramenta AI permite criar um pequeno vídeo  de quatro segundos com base num prompt de texto tal como fazemos para usar os geradores de imagem ou o ChatGPT . Está disponível para teste, gratuitamente. 

Permite gerar um total de 105 segundos de vídeo MP4 usando a interface de texto para vídeo. Isso equivale a cerca de 26 vídeos no total. Esta é a limitação da ferramenta,  vídeos de quatro segundos, se  usarmos a conta gratuita. A saída é de resolução relativamente baixa, apenas 768 × 448, mas dá para testar. Acessei o site, vi o vídeo promocional, criei uma conta. Foi rápido.

Selecionei o plano grátis, claro, mas veja, ele é muito limitado mesmo. 



A ferramenta pode vir a ajudar os usuários a criar storyboards, viabilizar conceitos ou apenas gerar um pequeno vídeo a partir de ideias. Uma vez dentro, temos uma interface do usuário simples e uma caixa de texto para inserir um prompt para gerar uma saída em vídeo. Além disso, também pode fazer upload de uma imagem para a IA se "inspirar" na composição Depois de concluída a geração, poderá salvar o video no perfil da sua conta e localmente, no seu computador



Em HOME, se clicar em Introducing GEN2 vai ter acesso à caixa de escrita de prompts de também a uma série de imagens, o que parece em tudo similar a outras app de geração AI de que já falei aqui. Se estivermos sem inspiração, clicamos numa dessas imagens, no botão TRY THIS!  e a prompt aparece escrita na caixa de prompts acima.


Foi o que fiz depois de escolher  a imagem da praia. Ao clicar no botão à esquerda descobri opções, mas é preciso fazer o Upgrade. No plano grátis apenas podemos suavizar os frames através da interpolação, e eu escolhi a opção no quadradinho. Depois cliquei em GENERATE e o video começou a ser gerado. Será salvo nos ASSETS. A partir daí, podemos manter ou eliminar.

À direita temos um botão com uma imagem que serve para subir uma "inspiração" para o AI. Devemos escrever a prompt e juntar uma imagem. Esta imagem vai ser referência para a estrutura e paleta de cores. 


Apesar de serem apenas 4 segundos fiquei muito bem impressionada com  o que vi. No canto direito inferior estão 3 pontinhos. Temos acesso a um menu para alterar a velocidade de reprodução. O botão seguinte mostra a imagem à largura da tela. Retrocedi usando a seta no topo superior direito e fui à procura do video na pasta ASSETS. Do lado esquerdo, é a última, bem no fundo.

Aqui, clicando nos Três pontinhos à direita, vemos que podemos dar outro nome, fazer o download, tornar público, partilhar ou apagar. Mudei o nome para This is paradise! Depois fiz o download para o meu computador e subi aqui no blogue. Tornei público pelo que apareceu um ícon à frente do título que lhe dei.
Ao clicar no canto superior direito encontramos uma coisa interessante: modelos! 
É também aí que se faz o LOGOUT.

Eis como ficou:

Mas vamos agora ver o que o Runway faz sem usar a "inspiração". 
Vou escrever a promtp e também usar imagens e ver o que daí resulta.

Mais uma vez é essencial ter uma boa PROMPT. Como nos anteriores modelos que mostrei, podemos obter bons resultados com prompts simples bem como com prompts complexas. A estrutura de prompt a ter em consideração, segundo o site, é esta:

PROMPT INICIAL | NO ESTILO DE (_____) | MODIFICADORES (______)

Em resumo:

-Inscreva-se para criar uma conta na Runaway
-Aceda à plataforma: vai ver várias ferramentas disponíveis, escolha GEN2-TEXT to VIDEO

1- Está sem inspiração? Trabalhe a partir de uma prompt já existente, modificando-a
(no exemplo acima eu limitei-me a usar a prompt sugerida)

2- Insira a sua prompt:
-- espere que o video seja gerado
-- pode continuar a gerar videos, melhorando a prompt inicial, depois do video carregar

3-Insira a sua prompt+ uma imagem de referência

Os vídeos gerados são guardados na pasta ASSETS, como já escrevi.
Torne público e partilhe, se assim o desejar.

Eis mais alguns dos pequenos videos gerados na Runway. Perante a complexidade das imagens a que estamos habituados podem não ser extraordinários, mas enquanto estiverem a vê-los pensem que a Gen2 é ainda um BETA, que estou n plano gratuito, que a tecnologia é muito recente e que são concebidos usando apenas as nossas palavras...e o poder do AI.





E agora espreitem este vídeo - The Carnival of the Ages, de Justin Hackney. O hipnotizante e retrofuturista "Carnaval dos séculos é um filme gerado por IA revelando uma odisseia cinematográfica no tempo e no espaço". O diretor de Mad Cow e pioneiro da inteligência artificial, Justin Hackney, lançou recentemente esta curta-metragem através do RealDreams.io, que foi inteiramente gerada usando ferramentas transformadoras de IA. Conforme podem ler com mais detalhe aqui, "O mundo evocativo foi criado usando DALL-E, MidJourney, Gen2, Runway e Chat GPT. Como cineasta, Justin foi capaz de guiar habilmente essas ferramentas de ponta para criar um mundo que é caprichoso, mas misterioso – refletindo perfeitamente o consenso geral da IA. Ao agrupar imagens de referência e falar a linguagem da IA, toda uma paleta de cores, tom e storyboard para o filme foram gerados em questão de minutos."



Comentários