💀 DeepSeek будет пять дней выкладывать код своих проектов в опенсорс
26 февраля 2025 г.Библиотека нейротекста
💀 DeepSeek будет пять дней выкладывать код своих проектов в опенсорс
Команда DeepSeek подчеркивают, что делятся своим пусть и небольшим, но честным прогрессом: это важные элементы их онлайн-сервиса, которые задокументированы, развернуты и проверены в реальных условиях.
Что уже вышло:
➡️ FlashMLA — оптимизированные GPU-ядра для multi latent attention. Снижает потребление памяти в трансформерах, поддерживает bfloat16, работает на серии Hopper (H100, H800 и т. д.).
➡️ DeepEP — библиотека для обучения и инференса MoE. Оптимизирует обмен данными между GPU, повышает пропускную способность. Поддерживает FP8 и hook-based overlapping для параллельных вычислений и передачи данных.
#свежак