AMD выпустила полностью открытый MoE большой модели Instella-MoE с количеством параметров 16 миллиардов

AMD 25 июля представила полностью открытую смешанную экспертную модель Instella-MoE, обладающую 16 миллиардами общих параметров, при этом каждый токен активирует 2,8 миллиарда параметров, что обеспечивает передовые характеристики. Эта модель основана на графических процессорах AMD Instinct MI300X и MI325X, а также на программном стеке ROCm, и была обучена с нуля, используя архитектурные инновации, такие как Gated Multi-head Latent Attention и FarSkip-Collective, что повышает эффективность обучения и вывода. Тестирование производительности показало, что базовая модель Instella-MoE-16B-A3B в среднем набрала 76,7 балла, что ставит её на лидирующие позиции среди полностью открытых моделей, превосходя такие модели, как SmolLM3-3B и OLMo-3-7B, и конкурируя с более крупными моделями при активации всего 2,8 миллиарда параметров. Эта модель поддерживает обработку длинного контекста до 64K токенов и завершает полный процесс обучения, включая предобучение, промежуточное обучение, расширение длинного контекста, супервизорную донастройку, прямую оптимизацию предпочтений и обучение с подкреплением. AMD также опубликовала все веса модели Instella-MoE, конфигурации обучения, соотношения данных, промежуточные контрольные точки и код вывода, способствуя исследованию и воспроизведению открытых AI моделей. AMD заявила, что Instella-MoE демонстрирует возможность обучения больших моделей MoE на базе аппаратного обеспечения AMD и открытой программной экосистемы, и в будущем будет продолжать развивать более крупные, более мощные и более эффективные открытые языковые модели.

Отказ от ответственности: Данный контент предоставляется исключительно в целях общего брендинга и предоставления информации и не является финансовой, инвестиционной, юридической или налоговой консультацией. Любые события, вознаграждения, онлайн-мероприятия или связанная с ними информация, упомянутые здесь, не должны рассматриваться как рекомендация, предложение или приглашение к покупке, продаже, торговле или иным операциям с криптоактивами или к использованию каких-либо услуг. Криптовалюты обладают высокой волатильностью и могут привести к убыткам. Услуги WEEX и онлайн-мероприятия могут быть недоступны во всех регионах и регулируются применимыми законами, правилами и требованиями к участию. Вы несете ответственность за обеспечение соответствия использования вами услуг WEEX местным законам и за тщательную оценку рисков перед участием в любой деятельности, связанной с криптовалютами.