Vídeo com IA · código aberto
Vídeo de minutos, em modelo aberto
Texto, imagem ou um vídeo seu viram cenas em 720p a 30 fps. E a versão Avatar faz uma pessoa falar a partir de um áudio.
Texto, imagem ou um vídeo seu viram cenas em 720p a 30 fps. E a versão Avatar faz uma pessoa falar a partir de um áudio.
O LongCat-Video é um modelo de inteligência artificial que cria vídeos, publicado de graça pela Meituan, uma grande empresa chinesa de tecnologia. Você descreve uma cena em texto, ou entrega uma imagem ou o começo de um vídeo, e ele gera a continuação em 720p a 30 quadros por segundo, inclusive vídeos de vários minutos. A versão Avatar recebe uma foto e um áudio e faz a pessoa falar com a boca sincronizada. Serve para quem produz vídeo e quer rodar tudo no próprio servidor, sem pagar por crédito. Precisa de uma placa de vídeo NVIDIA grande e de 80 a 160 GB de disco para os modelos.
Projeto de meituan-longcat/LongCat-Video (licença MIT no código e nos pesos), espelhado pelo INEMA com este guia. Lançado em 25/10/2025; a versão Avatar 1.5 saiu em 21/05/2026.
Texto para vídeo, imagem para vídeo e continuação de vídeo saem do mesmo modelo de 13,6 bilhões de parâmetros. Muda só quantos quadros você entrega no começo: nenhum, um ou vários.
Ele foi treinado continuando vídeos, então emenda trecho após trecho por minutos sem a cor desbotar nem a imagem degradar. Dá até para mudar a instrução a cada trecho.
O LongCat-Video-Avatar 1.5 anima uma ou várias pessoas a partir do áudio, com sincronia labial pelo Whisper-Large e só 8 passos de geração.
O modelo é um diffusion transformer (o mesmo tipo de modelo do Wan e do Sora): parte de ruído e limpa a imagem aos poucos. Três truques deixam a geração em 720p mais de 10 vezes mais rápida, segundo o relatório técnico.
Gera primeiro em 480p a 15 fps, amplia e passa um "especialista de refinamento" (um LoRA sobre o modelo base) que devolve 720p a 30 fps com mais detalhe que gerar direto em 720p.
Em vez de cada pedaço da imagem olhar para todos os outros, olha só para os blocos mais parecidos. Usa menos de 10% da conta original com perda quase nula.
Destilação reduz de mais de 50 para 16 passos com qualidade parecida. No Avatar 1.5, a destilação DMD2 baixa para 8 passos.
O ajuste final usou aprendizado por reforço com três "juízes" ao mesmo tempo (qualidade visual, movimento e fidelidade ao texto). Com um juiz só, o modelo aprendia a trapacear, por exemplo ficando parado para parecer bonito.
Notas de avaliação humana (MOS, de 1 a 5) publicadas pela própria Meituan, em texto para vídeo. Não é teste independente.
| Critério | Veo3 | PixVerse-V5 | Wan 2.2 A14B | LongCat-Video |
|---|---|---|---|---|
| Acesso | fechado | fechado | aberto | aberto (MIT) |
| Parâmetros ativos | – | – | 14B (de 28B) | 13,6B |
| Fidelidade ao texto | 3,99 | 3,81 | 3,70 | 3,76 |
| Qualidade visual | 3,23 | 3,13 | 3,26 | 3,25 |
| Movimento | 3,86 | 3,81 | 3,78 | 3,74 |
| Geral | 3,48 | 3,36 | 3,35 | 3,38 |
Terceira nota total, atrás só de Veo3 e Vidu Q1, e a primeira no quesito senso comum (movimento plausível e física).
Melhor qualidade visual (3,27), mas abaixo de Seedance 1.0, Hailuo-02 e Wan 2.2 em fidelidade à imagem e movimento. Nota geral 3,17 contra 3,35 do Seedance.
O relatório mede os tempos numa NVIDIA H800. O README não diz o mínimo de memória de vídeo; os exemplos do Avatar usam 2 placas e o modo --use_int8.
Linux com NVIDIA e CUDA. O ambiente oficial é Python 3.10, PyTorch 2.6 (cu124) e FlashAttention 2.7.4.
nvidia-smi ; df -h .
Medido no Hugging Face (16/10/2026): LongCat-Video 83 GB, Avatar 1.5 75 GB (16 GB na versão int8), Avatar 1.0 129 GB.
pip install "huggingface_hub[cli]"
Também librosa e ffmpeg e o arquivo requirements_avatar.txt. O README baixa o modelo base junto.
conda install -c conda-forge librosa ffmpegComandos da documentação oficial do projeto. Para várias placas, troque torchrun por torchrun --nproc_per_node=2 e acrescente --context_parallel_size=2.
Ajuste a versão do PyTorch à sua CUDA.
git clone https://github.com/inematds/LongCat-Video.git cd LongCat-Video conda create -n longcat-video python=3.10 conda activate longcat-video pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 pip install ninja psutil packaging pip install flash_attn==2.7.4.post1 pip install -r requirements.txt
A configuração usa FlashAttention-2; dá para trocar por FlashAttention-3 ou xformers no arquivo de configuração do modelo.
Só o que for usar: o base para texto, imagem e continuação; o Avatar 1.5 para avatar falante.
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 --local-dir ./weights/LongCat-Video-Avatar-1.5
Cada tarefa tem seu script de exemplo; edite o texto e a imagem dentro dele.
torchrun run_demo_text_to_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile torchrun run_demo_image_to_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile
Continuação parte de um vídeo seu. O longo emenda trechos por minutos. O interativo aceita uma instrução nova a cada trecho.
torchrun run_demo_video_continuation.py --checkpoint_dir=./weights/LongCat-Video --enable_compile torchrun run_demo_long_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile torchrun run_demo_interactive_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile
O projeto traz uma interface Streamlit para uma placa.
streamlit run ./run_streamlit.py --server.fileWatcherType none --server.headless=false
O pedido é um JSON com o texto da cena, a imagem e o áudio de cada pessoa. O --stage_1 escolhe se a cena nasce do texto (at2v) ou da sua foto (ai2v).
Exemplo que vem no repo (assets/avatar/single_example_1.json):
{
"prompt": "A western man stands on stage under dramatic lighting, holding a microphone...",
"cond_image": "assets/avatar/single/man.png",
"cond_audio": { "person1": "assets/avatar/single/man.mp3" }
}
--use_distill liga os 8 passos e --use_int8 carrega o modelo menor. Com --num_segments o vídeo é continuado em trechos, para ficar longo.
pip install -r requirements_avatar.txt # foto + áudio, 5 trechos emendados torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 \ --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --stage_1=ai2v \ --input_json=assets/avatar/single_example_1.json --num_segments=5 --ref_img_index=10 \ --mask_frame_range=3 --use_distill --model_type avatar-v1.5 --use_int8
Um áudio por pessoa no JSON (multi_example_1.json) e o script de várias vozes.
torchrun --nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py --context_parallel_size=2 \
--checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --input_json=assets/avatar/multi_example_1.json \
--use_distill --model_type avatar-v1.5 --use_int8
Áudio lido pelo Whisper-Large no lugar do Wav2Vec2: boca mais natural e sincronizada.
Identidade mantida em vídeo longo, mãos segurando objetos e cenas com várias pessoas.
Funciona também com anime e animais, segundo o relatório técnico (mais de 500 casos de teste).
Hoje o avatar do Nei sai do estúdio HeyGen e os clipes de IA saem do Kling e do LTX local. Nada abaixo foi testado ainda no nosso servidor.
| Função | Hoje no INEMA | LongCat-Video |
|---|---|---|
| Avatar falante | Estúdio HeyGen (assinatura) | Avatar 1.5 local: foto + áudio, sem crédito por minuto |
| Clipe de IA | Kling (assinatura), LTX-2.3 local | Texto ou imagem para vídeo, 720p a 30 fps |
| Vídeo longo | Emenda de clipes curtos | Continuação nativa por minutos |
| Licença | Termos de cada serviço | MIT no código e nos pesos |
São 128 GB de memória unificada e processador ARM. As versões fixadas pelo projeto (PyTorch cu124 e o FlashAttention pronto) provavelmente não têm pacote para ARM com a placa Blackwell; o caminho esperado é compilar o FlashAttention ou trocar por xformers. Ainda não medido.
O espelho e este guia estão publicados; o teste prático ainda não foi feito.