📼 FramePack: Революция в генерации видео с минимальными ресурсами
📼 FramePack: Революция в генерации видео с минимальными ресурсами
🔍 Что такое FramePack?
FramePack — новая прорывная модель для генерации видео. Ключевая особенность этой технологии — сжатие входного контекста кадров в моделях предсказания следующего кадра (next-frame prediction), что делает процесс генерации видео независимым от длительности.
⚙️ Технические характеристики
🟡Модель: нейронная сеть для предсказания следующего кадра (или секции кадров)
🟡Размер модели: всего 1,3 миллиарда параметров (против десятков миллиардов у других моделей)
🟡Требования к памяти: всего 6 ГБ видеопамяти для генерации тысяч кадров в полном разрешении
🟡Скорость генерации: 2,5 секунды/кадр (без оптимизации) или 1,5 секунды/кадр (с технологией teacache)
🟡Частота кадров: поддерживает полные 30 кадров в секунду
🟡Сложность вычислений: O(1) для потоковой передачи (постоянная сложность, не зависит от длины видео)
🚀 Преимущества
🟡Невероятно низкие требования к оборудованию — работает даже на ноутбуках с GPU серии RTX 3060
🟡Генерация видео длительностью до 60 секунд (1800 кадров) на обычных потребительских видеокартах
🟡Возможность дообучения модели размером 13B на одном узле 8xA100/H100 с размером пакета 64
🟡Отсутствие искажений при длительной генерации благодаря двунаправленной выборке (anti-drifting sampling)
🟡Гибкие схемы планирования кадров для различных случаев использования (image-to-video, видео с пользовательскими кадрами)
Как это работает?
FramePack использует концепцию сжатия контекста входных кадров:
-
Каждый входной кадр кодируется с разным уровнем детализации
-
Более важные кадры (ближайшие к целевому) получают больше ресурсов GPU (более длинный контекст)
-
Разные кадры кодируются с разными ядрами патчей (patchifying kernels)
-
Благодаря этому нагрузка на генерацию не зависит от длины видео
Технология также решает проблему "дрейфа" (ухудшения качества с увеличением длины видео) с помощью метода "anti-drifting sampling", который делает выборку двунаправленной вместо причинной.
‼️ВАЖНАЯ ИНФОРМАЦИЯ
Портативная версия данной модели уже находится в разработке. Она будет опубликована в свободный доступ (бесплатно) и у каждого будет возможность потестить.