📼 FramePack: Революция в создании видео с минимальными ресурсами
📼 FramePack: Революция в создании видео с минимальными ресурсами
🔍 Что такое FramePack?
FramePack — это новая прорывная технология для создания видео. Её главная особенность — умное использование информации о кадрах, что позволяет создавать длинные видео даже на слабых компьютерах.
⚙️ Что умеет эта технология
🟡 Принцип работы: искусственный интеллект, который предсказывает, как должен выглядеть следующий кадр видео
🟡 Компактность: занимает в 2-3 раза меньше памяти, чем другие подобные программы
🟡 Требования к компьютеру: нужно всего 6 ГБ видеопамяти — подойдёт даже недорогой игровой ноутбук
🟡 Скорость работы: 1,5-2,5 секунды на создание одного кадра
🟡 Качество видео: полноценные 30 кадров в секунду, как в обычных видео
🟡 Стабильная работа: не замедляется и не требует больше памяти при создании длинных видео
🚀 Преимущества
🟡 Работает на обычных компьютерах — не нужны дорогие профессиональные видеокарты
🟡 Создаёт длинные видео — до 60 секунд (1800 кадров) на обычной домашней видеокарте
🟡 Легко настраивается — можно обучить под свои задачи даже без суперкомпьютера
🟡 Качество не ухудшается — в длинных видео последние кадры такие же чёткие, как первые
🟡 Гибкость использования — работает как с одной картинкой (превращая её в видео), так и с несколькими ключевыми кадрами
Как это работает?
FramePack умно распределяет компьютерные ресурсы:
-
Каждый кадр обрабатывается с разной степенью внимания
-
Важным кадрам (которые ближе к текущему моменту) уделяется больше вычислительных ресурсов
-
Разные части изображения обрабатываются по-разному, в зависимости от их важности
-
Благодаря такому подходу компьютер тратит одинаковое количество ресурсов, независимо от длины видео
Технология также решает проблему "размытия и искажения" в длинных видео с помощью специального двустороннего метода, который оглядывается не только на прошлые, но и на будущие кадры.
Портативная версия
Я добавил в сборку дополнительный функционал из различных сборок:
-
Поддержка генерации по первому и последнему кадру
-
Поддержка установки промпта по временным промежуткам, например:[0s-2s: Person waves] [2s-4s: Person jumps]
Кроме этого, в отличие от оригинала сборка собрана на базе Cuda 12.8, с поддержкой SageAttention 2, FlashAttention 2 и xformers
Скачать: