🚀 Будущее браузерных AI-агентов?
🚀 Будущее браузерных AI-агентов?
Теперь в Transformers.js поддерживаются LLM с ускорением на WebGPU! Это открывает невероятные возможности для локального выполнения моделей прямо в браузере.
➡️ MiniThinky-v2 (1B) уже работает на 100% локально, без каких-либо API-запросов, с производительностью ~60 tps! ⚡️
Представьте приложения, которые можно создавать, используя мощь таких моделей:
• Реальное время работы без задержек
• Полная конфиденциальность данных
• Доступность прямо из браузера
Демо и исходный код ждут вас⚡️
Теперь в Transformers.js поддерживаются LLM с ускорением на WebGPU! Это открывает невероятные возможности для локального выполнения моделей прямо в браузере.
➡️ MiniThinky-v2 (1B) уже работает на 100% локально, без каких-либо API-запросов, с производительностью ~60 tps! ⚡️
Представьте приложения, которые можно создавать, используя мощь таких моделей:
• Реальное время работы без задержек
• Полная конфиденциальность данных
• Доступность прямо из браузера
Демо и исходный код ждут вас⚡️
Канал источник:@neuro_text