Cursor увеличивает производительность обучения модели смешанных экспертов на 41%

AI инструмент для кодирования Cursor улучшил технологии обучения модели смешанных экспертов (Mixture-of-Experts, MoE), увеличив общую производительность на 41% в среде с 512 графическими процессорами NVIDIA GB300. Эта технология уменьшает узкие места в обучении, выполняя передачу данных и вычисления одновременно между графическими процессорами. 5 числа Cursor опубликовал открытый исходный код ядра для обучения модели смешанных экспертов под названием 'Mixture-of-Kittens (MoK)', утверждая, что в тестах с одним слоем смешанных экспертов он показал производительность до 2,37 раза быстрее, чем альтернативы на рынке. Модель смешанных экспертов включает несколько сетей экспертов и вызывает только некоторые из них в зависимости от входных данных, что позволяет увеличить масштаб модели, уменьшая при этом объем вычислений. Однако, когда эксперты распределены по нескольким графическим процессорам, увеличивается время ожидания передачи данных и вычислений. Эта технология сосредоточена на одновременной обработке передачи данных и вычислений, чтобы сократить время ожидания. На официальном блоге Cursor и на GitHub не было подтверждено никаких объявлений с таким же названием, а цифры 41% и 2,37 раза основаны на сообщениях от Dongchul Biting. Ранее Cursor сообщал, что производительность слоя смешанных экспертов для графических процессоров Blackwell увеличилась в 3,5 раза, а общая скорость обучения - в 1,5 раза. Эта технология может повлиять на блокчейн-компании, использующие AI-агентов и инструменты автоматизации кода.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.