Video con IA · código abierto
Video de minutos, con un modelo abierto
Un texto, una imagen o un video tuyo se convierten en escenas en 720p a 30 fps. Y la versión Avatar hace hablar a una persona a partir de un audio.
Un texto, una imagen o un video tuyo se convierten en escenas en 720p a 30 fps. Y la versión Avatar hace hablar a una persona a partir de un audio.
LongCat-Video es un modelo de inteligencia artificial que crea videos, publicado gratis por Meituan, una gran empresa china de tecnología. Describes una escena en texto, o entregas una imagen o el comienzo de un video, y él genera la continuación en 720p a 30 cuadros por segundo, incluso videos de varios minutos. La versión Avatar recibe una foto y un audio y hace hablar a la persona con los labios sincronizados. Sirve para quien produce video y quiere correr todo en su propio servidor, sin pagar por créditos. Necesita una tarjeta de video NVIDIA grande y de 80 a 160 GB de disco para los modelos.
Projeto de meituan-longcat/LongCat-Video (licencia MIT en el código y en los pesos), espejado por INEMA con esta guía. Lanzado el 25/10/2025; la versión Avatar 1.5 salió el 21/05/2026.
Texto a video, imagen a video y continuación de video salen del mismo modelo de 13,6 mil millones de parámetros. Cambia solo cuántos cuadros entregas al comienzo: ninguno, uno o varios.
Fue entrenado continuando videos, así que empalma tramo tras tramo durante minutos sin que el color se desvanezca ni la imagen se degrade. Incluso se puede cambiar la instrucción en cada tramo.
LongCat-Video-Avatar 1.5 anima a una o varias personas a partir del audio, con sincronía labial mediante Whisper-Large y solo 8 pasos de generación.
El modelo es un diffusion transformer (el mismo tipo de modelo de Wan y Sora): parte de ruido y va limpiando la imagen poco a poco. Tres trucos hacen que la generación en 720p sea más de 10 veces más rápida, según el informe técnico.
Genera primero en 480p a 15 fps, amplía y pasa un "especialista de refinamiento" (un LoRA sobre el modelo base) que devuelve 720p a 30 fps con más detalle que generar directo en 720p.
En vez de que cada pedazo de la imagen mire a todos los demás, mira solo los bloques más parecidos. Usa menos del 10% del cálculo original con una pérdida casi nula.
La destilación reduce de más de 50 a 16 pasos con calidad similar. En el Avatar 1.5, la destilación DMD2 baja a 8 pasos.
El ajuste final usó aprendizaje por refuerzo con tres "jueces" al mismo tiempo (calidad visual, movimiento y fidelidad al texto). Con un solo juez, el modelo aprendía a hacer trampa, por ejemplo quedándose quieto para verse bonito.
Notas de evaluación humana (MOS, de 1 a 5) publicadas por la propia Meituan, en texto a video. No es una prueba independiente.
| Criterio | Veo3 | PixVerse-V5 | Wan 2.2 A14B | LongCat-Video |
|---|---|---|---|---|
| Acceso | cerrado | cerrado | abierto | abierto (MIT) |
| Parámetros activos | – | – | 14B (de 28B) | 13,6B |
| Fidelidad al texto | 3,99 | 3,81 | 3,70 | 3,76 |
| Calidad visual | 3,23 | 3,13 | 3,26 | 3,25 |
| Movimiento | 3,86 | 3,81 | 3,78 | 3,74 |
| General | 3,48 | 3,36 | 3,35 | 3,38 |
Tercera nota total, solo por detrás de Veo3 y Vidu Q1, y la primera en el criterio de sentido común (movimiento plausible y física).
Mejor calidad visual (3,27), pero por debajo de Seedance 1.0, Hailuo-02 y Wan 2.2 en fidelidad a la imagen y movimiento. Nota general 3,17 contra 3,35 de Seedance.
El informe mide los tiempos en una NVIDIA H800. El README no indica el mínimo de memoria de video; los ejemplos del Avatar usan 2 tarjetas y el modo --use_int8.
Linux con NVIDIA y CUDA. El entorno oficial es Python 3.10, PyTorch 2.6 (cu124) y FlashAttention 2.7.4.
nvidia-smi ; df -h .
Medido en Hugging Face (16/10/2026): LongCat-Video 83 GB, Avatar 1.5 75 GB (16 GB en la versión int8), Avatar 1.0 129 GB.
pip install "huggingface_hub[cli]"
También librosa y ffmpeg y el archivo requirements_avatar.txt. El README descarga el modelo base junto con él.
conda install -c conda-forge librosa ffmpegComandos de la documentación oficial del proyecto. Para varias tarjetas, cambia torchrun por torchrun --nproc_per_node=2 y agrega --context_parallel_size=2.
Ajusta la versión de PyTorch a tu CUDA.
git clone https://github.com/inematds/LongCat-Video.git cd LongCat-Video conda create -n longcat-video python=3.10 conda activate longcat-video pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 pip install ninja psutil packaging pip install flash_attn==2.7.4.post1 pip install -r requirements.txt
La configuración usa FlashAttention-2; se puede cambiar por FlashAttention-3 o xformers en el archivo de configuración del modelo.
Solo lo que vayas a usar: el base para texto, imagen y continuación; el Avatar 1.5 para avatar hablante.
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 --local-dir ./weights/LongCat-Video-Avatar-1.5
Cada tarea tiene su script de ejemplo; edita el texto y la imagen dentro de él.
torchrun run_demo_text_to_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile torchrun run_demo_image_to_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile
La continuación parte de un video tuyo. El largo empalma tramos durante minutos. El interactivo acepta una instrucción nueva en cada tramo.
torchrun run_demo_video_continuation.py --checkpoint_dir=./weights/LongCat-Video --enable_compile torchrun run_demo_long_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile torchrun run_demo_interactive_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile
El proyecto incluye una interfaz Streamlit para una tarjeta.
streamlit run ./run_streamlit.py --server.fileWatcherType none --server.headless=false
La solicitud es un JSON con el texto de la escena, la imagen y el audio de cada persona. --stage_1 elige si la escena nace del texto (at2v) o de tu foto (ai2v).
Ejemplo que viene en el repo (assets/avatar/single_example_1.json):
{
"prompt": "A western man stands on stage under dramatic lighting, holding a microphone...",
"cond_image": "assets/avatar/single/man.png",
"cond_audio": { "person1": "assets/avatar/single/man.mp3" }
}
--use_distill activa los 8 pasos y --use_int8 carga el modelo menor. Con --num_segments el video se continúa en tramos, para que quede largo.
pip install -r requirements_avatar.txt # foto + audio, 5 tramos empalmados torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 \ --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --stage_1=ai2v \ --input_json=assets/avatar/single_example_1.json --num_segments=5 --ref_img_index=10 \ --mask_frame_range=3 --use_distill --model_type avatar-v1.5 --use_int8
Un audio por persona en el JSON (multi_example_1.json) y el script de varias voces.
torchrun --nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py --context_parallel_size=2 \
--checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --input_json=assets/avatar/multi_example_1.json \
--use_distill --model_type avatar-v1.5 --use_int8
Audio leído por Whisper-Large en lugar de Wav2Vec2: boca más natural y sincronizada.
Identidad conservada en video largo, manos sosteniendo objetos y escenas con varias personas.
Funciona también con anime y animales, según el informe técnico (más de 500 casos de prueba).
Hoy el avatar de Nei sale del estudio HeyGen y los clips de IA salen de Kling y de LTX local. Nada de lo siguiente se ha probado todavía en nuestro servidor.
| Función | Hoy en INEMA | LongCat-Video |
|---|---|---|
| Avatar hablante | Estudio HeyGen (suscripción) | Avatar 1.5 local: foto + audio, sin crédito por minuto |
| Clip de IA | Kling (suscripción), LTX-2.3 local | Texto o imagen a video, 720p a 30 fps |
| Video largo | Empalme de clips cortos | Continuación nativa por minutos |
| Licencia | Términos de cada servicio | MIT en el código y en los pesos |
Son 128 GB de memoria unificada y procesador ARM. Las versiones fijadas por el proyecto (PyTorch cu124 y el FlashAttention ya compilado) probablemente no tienen paquete para ARM con la tarjeta Blackwell; el camino esperado es compilar FlashAttention o cambiar a xformers. Aún no medido.
El espejo y esta guía están publicados; la prueba práctica aún no se ha hecho.