logo

🚀 Будущее браузерных AI-агентов?

🚀 Будущее браузерных AI-агентов?

Теперь в Transformers.js поддерживаются LLM с ускорением на WebGPU! Это открывает невероятные возможности для локального выполнения моделей прямо в браузере.

➡️ MiniThinky-v2 (1B) уже работает на 100% локально, без каких-либо API-запросов, с производительностью ~60 tps! ⚡️

Представьте приложения, которые можно создавать, используя мощь таких моделей:
• Реальное время работы без задержек
• Полная конфиденциальность данных
• Доступность прямо из браузера

Демо и исходный код ждут вас⚡️

Канал источник:@neuro_text