⚡️ Nemotron-Mini-4B-Instruct: инструктивная компактная модель от Nvidia
⚡️ Nemotron-Mini-4B-Instruct: инструктивная компактная модель от Nvidia
Nemotron-Mini-4B-Instruct - небольшая модель, полученная в результате файнтюна, обрезки (pruning), дистилляции и квантования модели Minitron-4B-Base.
Эта модель оптимизирована для roleplay-сценариев, RAG QA и вызова функций на английском языке.
Практическое применение модели ориентировано на интеграции в гейм-разработке, преимущественно - в экосистеме NVIDIA.
Модель обучалась в период февраль-август 2024 года.
При создании Nemotron-Mini-4B-Instruct использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).
▶️Технические характеристики:
🟢total params - 4B;
🟢embedding size - 3072;
🟢attention heads - 32;
🟢MLP intermediate dimension - 9216;
🟢input context - 4096.
Пример инференса в Transformers, шаблоны простого промпта и instruct- шаблон в карточке модели на Huggingface.
Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 3-bit (2.18 Gb) до 16-bit (8.39 Gb) для запуска в llama.cpp и LM Studio.
📌Лицензирование : NVIDIA Community Model License.
🟡Страница модели на NGC Catalog
🟡Модель
🟡GGUF
🟡Arxiv
🟡Demo
@ai_machinelearning_big_data
#AI #NVIDIA #LLM #ML #Nemotron
Nemotron-Mini-4B-Instruct - небольшая модель, полученная в результате файнтюна, обрезки (pruning), дистилляции и квантования модели Minitron-4B-Base.
Эта модель оптимизирована для roleplay-сценариев, RAG QA и вызова функций на английском языке.
Практическое применение модели ориентировано на интеграции в гейм-разработке, преимущественно - в экосистеме NVIDIA.
Модель обучалась в период февраль-август 2024 года.
При создании Nemotron-Mini-4B-Instruct использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).
▶️Технические характеристики:
🟢total params - 4B;
🟢embedding size - 3072;
🟢attention heads - 32;
🟢MLP intermediate dimension - 9216;
🟢input context - 4096.
Пример инференса в Transformers, шаблоны простого промпта и instruct- шаблон в карточке модели на Huggingface.
Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 3-bit (2.18 Gb) до 16-bit (8.39 Gb) для запуска в llama.cpp и LM Studio.
📌Лицензирование : NVIDIA Community Model License.
🟡Страница модели на NGC Catalog
🟡Модель
🟡GGUF
🟡Arxiv
🟡Demo
@ai_machinelearning_big_data
#AI #NVIDIA #LLM #ML #Nemotron
Канал источник:@ai_machinelearning_big_data