Retirado do X do: @PJaccetturo

Se você quer saber quais ferramentas usei para criar isso, aqui está uma visão geral rápida:

Usei o @Magnific_AI para os personagens base e milhares de gerações no @midjourney para as cenas. O trailer tem cerca de 50 tomadas, e cada uma custou entre $10 e $20 dólares em créditos no @Kling_ai para ficar perfeita.

No início, experimentei o @lipdubai para as falas. Os resultados foram fantásticos, mas a plataforma deles é melhor para sequências longas de fala, não para tomadas de 1 a 2 segundos como você vê no trailer. No fim, acabei usando o recurso de sincronia labial (lip sync) do próprio Kling e ficou muito bom.

Para fazer com que as cenas combinassem com o trailer original no Midjourney, fiz o upload de capturas de tela (stills) do trailer no @ChatGPTapp e pedi para ele me dar uma descrição de tudo na cena. Depois, simplifiquei essas descrições para que o Midjourney pudesse entender melhor.

Após gerar várias imagens que gostei, criei referências de cena para a estética geral e referências de personagem a partir dos modelos base do @Magnific_AI. O Midjourney permite que você referencie tanto a cena quanto o personagem em um único comando (prompt).

Dica de mestre: Se você estiver adicionando uma referência de personagem para o rosto, use o parâmetro --cw 10. Isso faz com que ele referencie apenas o rosto, mas baseie a roupa e a cena no seu texto. Se eu não tivesse usado --cw 10 nesta tomada, teria sido apenas um close do rosto dela. Além disso, use o zoom out de 2x.

Quando levei as imagens para o Kling 1.5, usei comandos simples como “câmera lenta”, “ela galopa rapidamente”, “explosões ao fundo”. Eu configurava para gerar 2 ou 3 vídeos por imagem. (Isso ficou bem caro, e precisei rodar algumas tomadas 10 vezes até acertar).

Também usei prompts negativos: ARTEFATOS, LENTO, FEIO, BORRADO, DEFORMADO, MÚLTIPLOS MEMBROS, CARTOON, ANIME, PIXELADO, ESTÁTICO, NÉVOA, PLANO, INDEFINIDO, DISTORCIDO, ERRO, PARADO, BAIXA RESOLUÇÃO, SUPERSATURADO, RUÍDO, MORFAGEM, DEFORMAÇÃO.

Depois, levei todas as tomadas para o Final Cut Pro X (FCPX) e as sobrepus ao trailer original.

Se você está pensando em fazer isso com um orçamento limitado, sugiro usar o Runway. Eles teriam me poupado mais de $700 dólares, mas eu precisava de resolução 1080p.

É isso! Sinta-se à vontade para me seguir no X para ver mais filmes feitos com IA.

Se você tá pensando em montar um PC para trabalhar sério com geração de vídeo por IA, esse post é pra você. Mas já aviso. Não é barato. Uma RTX 4090 é algo intermediário para nossa realidade e essa GPU atualmente orbita na faixa dos R$ 15.000,00.

Mas antes, por que diabos investir em hardware quando existem o Runway, Veo 3.1, Sora 2 e companhia?

Simples: Liberdade e Volume. As ferramentas baseadas em nuvem tipo RunwayML, Veo 3.1, Sora 2 PRO e outras cobram por segundo gerado ou têm planos mensais que escalam rápido conforme você produz mais. Se você tá testando, experimentando workflows, gerando múltiplas variações ok, mas se vc começar a levar a sério e gerar MUITO, criar localmente pode compensar.

E o mais óbvio é: seus modelos, seus dados, sua privacidade. Você tem controle total para criar o que quiser, sem as amarras da censura das ferramentas populares. Você pode fazer deepfakes, criar conteúdo XXX, violento, ou qualquer outra coisa que um projeto particular demandar.

A Verdade Que Ninguém Te Conta: Pré-Montado é Furada

Vou direto ao ponto: aqueles PCs “prontos para IA” que você vê por aí? Podem custar até 60% a mais do que montar você mesmo. Não tô brincando. Tem gente que orçou uma máquina de R$29 mil que sairia por R$47 mil em lojas de PC.

“Ah, mas eu não sei montar PC, vou estragar tudo…” Relaxa. Montar um PC hoje em dia é basicamente encaixar peças e apertar parafusos. Nada de solda, nada de engenharia aeroespacial. Se você sabe usar uma chave de fenda, você consegue montar um PC. Sério mesmo.

O único “porém” real é compatibilidade entre peças, mas hoje existem ferramentas online que checam isso pra você automaticamente. Então esse medo também pode ir pro espaço.

O Coração da Máquina: GPU é Tudo (ou Quase)

Vamos falar do que realmente importa para geração de vídeo com IA: a placa de vídeo. Enquanto o resto dos componentes é importante, a GPU é quem vai fazer o trabalho pesado. É tipo contratar um time inteiro: você pode ter um ótimo gerente de projetos (CPU), mas se o time de produção (GPU) for fraco, nada acontece.

Para vídeo com IA, a regra de ouro é: VRAM, VRAM e mais VRAM.

Modelos de geração de vídeo são monstros famintos de memória VRAM.

A matemática é simples:

• VRAM determina o tamanho do modelo que você roda
• Velocidade da GPU determina o quão rápido gera
• Quantidade de GPUs ajuda no treinamento (mas ComfyUI ainda não aproveita múltiplas GPUs tão bem quanto deveria)

RAM do Sistema: O Buffer Secreto

Aqui vai uma dica de ouro: seu sistema precisa de RAM suficiente para manter todos os modelos em cache. Isso acelera absurdamente a troca entre modelos em workflows complexos.

A regra geral é ter pelo menos o dobro de RAM do sistema em relação à VRAM. Tem uma 4090 com 24GB? Mínimo de 48GB de RAM no sistema. Mas se você tá investindo numa configuração top, vai de 64GB ou até 128GB. É aqui que os workflows complexos deixam de ser um pesadelo de loading.

Armazenamento: Rápido e Abundante

Models de IA ocupam MUITO espaço, e você vai querer acessá-los rápido. A configuração ideal tem três camadas:

1. NVMe PCIe 4.0 (ou 5.0) para o sistema operacional – velocidade máxima
2. SSD SATA ou NVMe secundário para projetos atuais e modelos em uso – equilíbrio entre velocidade e custo
3. HD grande para arquivo morto e backup – capacidade é a chave

Alguns malucões mais hardcore até montam RAID 0 com NVMes para velocidade estratosférica, mas isso é pra quem realmente quer extrair até o último frame por segundo.

CPU: O Componente Subestimado (Mas Não Precisa Exagerar)

Surpresa: a CPU não é tão crucial quanto você imagina para IA. Claro, não vai colocar um Pentium de 2010, mas também não precisa do processador mais caro do mercado.

Um processador mediano de boa geração aguenta o tranco tranquilamente. Há relatos de gente usando Core i7 de 2017 rodando tudo liso até hoje. O importante é ter cores suficientes para não engasgar o sistema enquanto a GPU trabalha.

Se você realmente quer futureproof e tem grana sobrando, processadores da linha Epyc (usado no mercado de servidor) têm preço/performance absurdo no mercado de usados, especialmente as gerações Milan e Genoa.

O Veredicto Final: Onde Investir os R$?

Se eu tivesse entre 20 e 50 mil reais para montar uma máquina hoje, essa seria minha prioridade:

1. 70% do orçamento: GPU(s) com máximo de VRAM possível
2. 15% do orçamento: RAM abundante (64GB mínimo, 128GB ideal)
3. 10% do orçamento: Armazenamento rápido e em camadas
4. 5% do orçamento: CPU decente e motherboard compatível

Lembra: a GPU você vai trocar em 2-3 anos quando sair tecnologia nova. O resto (RAM, armazenamento, gabinete, fonte) dura muito mais tempo. Então não economize muito na fonte de alimentação – uma GPU top precisa de energia estável.

Hora de Meter a Mão na Massa

Montar seu próprio PC não é só economizar uma grana preta. É também entender sua ferramenta de trabalho, poder fazer upgrades quando precisar, e ter o controle total sobre cada componente.

A geração de vídeo por IA tá só começando, e ter uma máquina robusta é o primeiro passo pra explorar esse universo sem limitações técnicas te segurando. Então bora, pega a chave de fenda e monta esse monstro!

Tá montando seu PC para IA? Conta aqui nos comentários qual configuração você tá pensando! Bora trocar ideia sobre specs e ajudar a galera a não cair em cilada.

A criação de vídeos com IA é uma das habilidades mais empolgantes do momento, e o que pouca gente sabe é que existem 5 níveis de habilidade diferentes para você dominar, cada um com suas próprias ferramentas e técnicas para te levar a um novo patamar de criador de conteúdo.

Abaixo, você vai descobrir em qual nível você está e qual o caminho para se tornar um verdadeiro expert!

Nível 1: O Iniciante

Este é o nível mais básico e perfeito para quem está começando a explorar o mundo dos vídeos com IA. Neste estágio, a principal técnica é a conversão de texto para vídeo, ou seja, você utiliza apenas um comando de texto para gerar um vídeo. Por exemplo, se você fosse um fã de Star Wars, poderia usar a ferramenta Google VEO3 e digitar um comando como “um stormtrooper em ação no campo de batalha”.

Outra abordagem popular para iniciantes são os vídeos estilo vlog, utilizando palavras-chave como “ângulo de câmera de selfie”. O segredo aqui é ser simples e direto, usando palavras-chave como “vídeo ASMR” para criar vídeos de alta qualidade.

Além disso, neste nível você também experimenta a conversão de imagem para vídeo, transformando suas próprias fotos em vídeos curtos e dinâmicos. A maioria das ferramentas de vídeo com IA, como o Google VEO3, permite que você faça isso de forma simples, adicionando instruções de texto à sua imagem.

A melhor notícia é que, mesmo com técnicas simples, a IA moderna já é capaz de criar vídeos de altíssima qualidade visual. No entanto, você logo vai perceber algumas limitações, como a voz do personagem que não corresponde à sua e a falta de consistência visual em diferentes cenas. Para superar isso, é preciso avançar para o próximo nível.

Nível 2: O Intermediário

Neste nível, a grande evolução é dominar a técnica de imagem para vídeo, onde você cria as imagens com IA primeiro e só então as transforma em vídeos. Isso te dá muito mais controle criativo sobre os personagens e cenários.

Uma ferramenta poderosa para isso é a Nano Banana, um editor de imagens com IA que permite manipular personagens e ambientes com precisão. Você pode colocar um personagem em diferentes locais, como a cabine de uma nave espacial, ou até mesmo combinar vários personagens e objetos na mesma cena. A chave é ser extremamente descritivo em seus comandos (prompts).

Para manter um estilo visual consistente em várias cenas, o Midjourney é uma excelente ferramenta. Você pode usar uma imagem como “referência de estilo” para gerar novas imagens que mantêm a mesma estética. Isso é fundamental para a construção de mundos em suas histórias.

Nível 3: O Prompter

Chegamos ao nível profissional. Aqui, o foco não é apenas em usar as ferramentas, mas em dominar a arte dos prompts e como eles interagem com a geração de vídeo. Você consegue criar diferentes variações de um vídeo a partir de uma única imagem.

Neste nível, você aprende a controlar o movimento da câmera por meio dos prompts, criando:

• Zoom In para focar em detalhes.
• Zoom Out para revelar mais do ambiente.
• Pan para mover a câmera lateralmente.
• Orbit Shot para fazer a câmera girar em torno do personagem.

Você também começa a combinar diferentes movimentos de câmera e a controlar a velocidade da animação (rápida ou lenta).

Uma habilidade crucial do Nível 3 é entender as peculiaridades de cada gerador de vídeo com IA, como o SeeDance e o Kling , e escolher a ferramenta certa para cada tipo de projeto. Por exemplo, o SeeDance é ótimo para consistência, enquanto o Kling se destaca em movimentos dinâmicos. Além disso, você aprende a “afinar” seus prompts, reforçando as instruções visuais para evitar que a IA transforme o personagem de forma indesejada.

Nível 4: O Power User

Agora você é um verdadeiro especialista. Você domina os prompts e está pronto para mergulhar em recursos mais avançados. Uma das técnicas mais poderosas é o Keyframing, que permite usar várias imagens para criar uma transição perfeita e contínua em um vídeo. Com o Keyframing do Kling (também conhecido como Start & End frames), você pode transformar uma ilustração em uma cena real com um movimento suave.

Outro recurso essencial é a Captura de Movimento, que permite mapear seus próprios movimentos em um personagem de IA. Ferramentas como o Runway Act 2 oferecem essa funcionalidade, permitindo que você crie avatares de IA que imitam seus gestos e fala.

Neste nível, você também domina fluxos de trabalho avançados para otimizar a qualidade dos seus vídeos. O processo ideal é:

1. Gerar uma imagem com IA (por exemplo, no Midjourney).
2. Aumentar a resolução dessa imagem (upscale) com uma ferramenta como o Magnific.
3. Gerar o vídeo a partir dessa imagem de alta resolução.
4. Aumentar a resolução do vídeo final com uma ferramenta como o Topaz AI.

Por fim, você aprende a trocar a voz de um personagem de IA pela sua própria voz, utilizando ferramentas como o ElevenLabs para clonar ou alterar a voz de um áudio extraído.

Nível 5: O Inovador

Parabéns! Você chegou ao topo. Neste nível, você não apenas domina todas as técnicas e ferramentas, mas também é capaz de criar seus próprios fluxos de trabalho e efeitos que ninguém pensou antes.

Um exemplo desse nível é criar um vídeo de transformação, onde você captura seu movimento com uma ferramenta como o Runway Act 2, usa um editor de imagens como o Nano Banana para transformar um quadro do seu vídeo em um avatar de IA, e depois usa o Kling para animar a transição entre você e o avatar.

Ao combinar essas ferramentas e técnicas de forma inovadora, você consegue criar efeitos visuais impressionantes e completamente originais. O caminho para o Nível 5 é a experimentação constante e a criatividade.

No mundo em constante evolução da inteligência artificial e da criação de conteúdo, o Runway ML continua a inovar com ferramentas que transformam a maneira como interagimos com a mídia digital. Uma dessas inovações é o Act-Two, uma funcionalidade poderosa projetada para animar personagens com movimentos realistas, fala e expressões, tudo a partir de vídeos de performance. Este post explora como o Act-Two funciona, suas melhores práticas e como você pode utilizá-lo para dar vida aos seus personagens digitais.

O Act-Two permite a transferência de movimento de um vídeo de performance (onde alguém atua uma cena) para um personagem de referência (imagem ou vídeo). Isso significa que você pode capturar a essência de uma atuação humana e aplicá-la diretamente a um personagem digital, resultando em animações incrivelmente autênticas. Além disso, ao usar uma imagem de personagem, o Act-Two oferece controle de gestos, permitindo que você controle os movimentos das mãos e do corpo através do vídeo de performance. Ele também adiciona automaticamente movimento ambiental às imagens de entrada para criar tomadas mais naturais em uma única geração.

Video Original	Referência	Resultado
	Imagem
	Vídeo Referência

Como o Act-Two Funciona: Selecionando as Entradas

Para começar a criar com o Act-Two, você precisará de duas entradas principais:

1.Vídeo de Performance: Um vídeo de uma pessoa atuando a cena que você deseja animar. Este vídeo captura o movimento, expressões, áudio e gestos que serão transferidos para o seu personagem.

2.Entrada do Personagem: Uma imagem ou vídeo do personagem que você deseja animar.

Escolhendo entre Imagem ou Vídeo de Personagem

A escolha entre uma imagem ou um vídeo de personagem como entrada é crucial, pois afeta o nível de controle e os resultados da geração:

•Imagens de Personagem: Oferecem uma experiência mais fluida. As gerações com imagens de personagem adicionam automaticamente movimento ambiental e permitem controlar gestos e movimentos corporais através do vídeo de performance. Isso é ideal para criar cenas dinâmicas com controle preciso sobre a atuação do personagem.

•Vídeos de Personagem: Mantêm o assunto, o ambiente e o movimento da câmera do vídeo original. O Act-Two controla o movimento facial e as expressões, mas o controle de gestos não está disponível. Isso é útil se você já tem um vídeo de personagem com um ambiente e movimento de câmera específicos que deseja preservar.

Por exemplo, se você usar a mesma performance com uma imagem de personagem e um vídeo de personagem, a imagem de personagem pode adicionar um leve tremor de câmera e permitir o controle de gestos, enquanto o vídeo de personagem adicionará movimento facial, mas manterá o movimento original da câmera e da cena.

Considerações sobre Duração e Movimento de Câmera

•Duração: Se o seu vídeo de performance for mais longo que o vídeo do personagem, o vídeo do personagem será repetido em loop com um efeito de

“bumerangue” invertido para corresponder à duração da performance. Para resultados mais naturais, é preferível usar uma imagem de personagem se você não tiver um vídeo de personagem que corresponda à duração da sua performance.

•Movimento de Câmera e Ambiental: Usar um vídeo de personagem utilizará o movimento da câmera, do personagem e ambiental contido no vídeo original. Usar uma imagem de personagem adicionará automaticamente movimento de câmera e ambiental. Se um movimento de câmera e ambiental específico for necessário para sua tomada, optar por um vídeo de personagem pode ser ideal.

Melhores Práticas para Entradas

Para obter os melhores resultados com o Act-Two, é fundamental seguir algumas melhores práticas ao selecionar seus vídeos de performance e entradas de personagem:

Vídeo de Performance

•Apresente um único sujeito no vídeo.

•Garanta que o rosto do sujeito permaneça visível durante todo o vídeo.

•Enquadre o sujeito, no máximo, da cintura para cima.

•Bem iluminado, com características faciais definidas.

•Sem cortes que interrompam a tomada.

•Garanta que a performance siga os padrões de Confiança e Segurança do Runway ML.

•Gestos: Garanta que as mãos do sujeito estejam no enquadramento no início do vídeo.

•Gestos: Comece em uma pose semelhante à sua entrada de personagem para obter os melhores resultados.

•Gestos: Opte por movimentos naturais em vez de movimentos excessivos ou abruptos.

Imagem de Personagem

•Apresente um único sujeito.

•Enquadre o sujeito, no máximo, da cintura para cima.

•O sujeito deve ter características faciais definidas (como boca e olhos).

•Garanta que a imagem siga os padrões de Confiança e Segurança do Runway ML.

•Gestos: Garanta que as mãos do sujeito estejam no enquadramento no início do vídeo.

Vídeo de Personagem

•Apresente um único personagem no vídeo.

•Enquadre o sujeito, no máximo, da cintura para cima.

•O sujeito deve ter características faciais definidas (como boca e olhos).

•Sem cortes que interrompam a tomada.

•Use um vídeo próximo à duração da performance para obter os resultados mais naturais.

Configurando as Definições

Após selecionar suas entradas, você pode configurar duas definições importantes antes de iniciar a geração:

Gestos

A definição de gestos controla se as poses, gestos e movimentos corporais do vídeo de performance são transferidos para as entradas de imagem do personagem. Quando esta definição está desativada, o Act-Two se concentra em adicionar movimento facial e ambiental. Esta definição não está disponível ao usar vídeos de personagem, pois o movimento deste vídeo determina os movimentos corporais do seu personagem.

É importante notar que habilitar esta definição fará com que o personagem siga de perto o vídeo de performance e pode mudar a pose do personagem. Para manter uma pose ou direção semelhante, tente combinar a pose e o posicionamento da sua imagem de personagem no seu vídeo de performance.

Expressividade Facial

A definição de expressividade facial controla a quantidade de movimento facial transferida do vídeo de performance para a entrada do seu personagem. O valor padrão é 3, mas você pode usar um valor menor ou maior:

•Valores mais baixos: Resultam em menos expressividade, mas podem melhorar a consistência do personagem em certos casos.

•Valores mais altos: Resultam em mais expressividade, mas podem levar a artefatos visuais em certos casos.

Recomenda-se testar suas entradas com o valor padrão primeiro e, em seguida, fazer ajustes conforme necessário com base nos resultados.

Gerando o Vídeo Act-Two

Uma vez que você confirmou as definições, está pronto para gerar. Você pode passar o mouse sobre o modal de duração para ver o custo de crédito calculado antes de gerar. Clique no botão Gerar após confirmar que está satisfeito com as entradas selecionadas, definições e custos de crédito.

Seu vídeo começará a ser processado em sua sessão atual, onde cada vídeo estará disponível para revisão assim que for concluído.

Entendendo o Preço do Act-Two

O Act-Two cobra 5 créditos por segundo, com um mínimo de 3 segundos. Isso significa que vídeos de performance com menos de 3 segundos resultarão em uma cobrança de 15 créditos.

Nova Funcionalidade: Imagem para Vídeo com Áudio

O Google VEO-3 acaba de receber uma grande atualização com a introdução da funcionalidade de conversão de imagem para vídeo com áudio. Anteriormente, já existiam algumas opções de imagem para vídeo no V3, especificamente na função “frames to video”, mas os resultados eram inconsistentes.

Abaixo, temos o video curto criado pelo Tim.

Demonstração Prática

Para testar as novas capacidades, ele criou um projeto chamado “Operation Fuzzy Bunny”, utilizando três imagens do Midjourney com um código SREF específico para obter uma estética cinematográfica dos anos 90. O resultado foi impressionante, mostrando a capacidade do V3 de gerar diálogos e narrativas coerentes.

Limitações e Proteções

O VEO-3 possui proteções contra a geração de conteúdo com semelhanças de celebridades. Durante os testes, o sistema rejeitou imagens que se pareciam com Tom Cruise e Daniel Craig, recusando-se a processá-las. Importante notar que quando isso acontece, não são cobrados créditos do usuário.

Como Usar a Funcionalidade

Para utilizar a conversão de imagem para vídeo:

1. Acesse o menu e selecione “frames to video”
2. Você terá opções para primeiro quadro e último quadro
3. Clique no botão “+” para fazer upload de uma imagem ou gerar uma nova
4. A funcionalidade funciona tanto no VEO-3 padrão quanto no V3 Fast

Comparação: VEO-3 Fast vs Standard

Uma descoberta interessante é que a funcionalidade de frames para vídeo com áudio funciona também na versão V3 Fast, que é mais barata (20 créditos por geração) comparada à versão padrão (100 créditos).

Nos testes comparativos, as diferenças entre as versões Fast e Standard foram mínimas, tornando a versão Fast uma opção mais econômica sem sacrificar significativamente a qualidade.

Custos e Eficiência

Para o projeto “Operation Fuzzy Bunny”, foram necessárias 22 gerações no total para criar 6 cenas, mas considerando apenas as utilizadas no resultado final, foram 12 gerações – uma média de 2 gerações por cena, o que é bastante eficiente.

Dicas para Economizar

Uma estratégia útil é planejar para obter duas falas ou cenas de uma única geração, aproveitando os 8 segundos de duração disponíveis. Isso pode reduzir significativamente o número de gerações necessárias.

Consistência de Imagem

O VEO-3 se destaca especialmente na criação de personagens consistentes. A cadência vocal e performance dos personagens supera os métodos tradicionais de texto-para-voz sincronizado com lábios.

Consistência de Voz

Os testes mostraram que é possível manter vozes consistentes entre diferentes gerações, desde que se use descrições físicas detalhadas dos personagens em vez de nomes. Por exemplo, “a mulher de cabelo loiro preso em coque, com voz firme e comandante” funciona melhor que simplesmente usar um nome de personagem.

Limitações em Cenas de Ação

Embora o VEO-3 tenha evoluído muito, ainda apresenta limitações em sequências de ação, especialmente lutas. Os movimentos podem parecer sem energia ou pouco convincentes, embora o áudio e diálogos permaneçam sincronizados.

Atualização de Preços

Uma boa notícia é que agora assinantes do plano Pro ($20/mês) podem comprar créditos adicionais, funcionalidade que antes estava disponível apenas no plano Ultra ($250/mês). É possível gastar $50 por 5.000 créditos adicionais, resultando em aproximadamente 300 gerações Fast por mês por $70 total, uma economia significativa comparada ao plano Ultra.

Conclusão

O VEO-3 representa um avanço significativo na geração de vídeos com IA, especialmente com a nova funcionalidade de imagem para vídeo com áudio. Embora ainda tenha limitações em cenas de ação complexas, a qualidade geral dos personagens e a consistência vocal tornam-no uma ferramenta poderosa para criação de conteúdo audiovisual.