Французский стартап Kog делает ставку на ускорение программного обеспечения для GPU-интерпретации

Конкуренция в области ускорения AI-интерпретации нарастает. Французская компания-стартап Kog не выбрала разработку собственных чипов, а делает ставку на оптимизацию программного обеспечения, чтобы дополнительно раскрыть потенциал интерпретации существующих GPU в центрах обработки данных предприятий.

Сначала нацелены на высокозадержанные сценарии для бизнеса

Эта компания привлекла внимание в мае этого года благодаря техническому предварительному показу. Kog тогда продемонстрировала, что с использованием стандартных GPU для центров обработки данных, таких как AMD MI300X и Nvidia H200, можно достичь очень высокой скорости декодирования для одного запроса. Компания позже заявила, что эта демонстрация привела к около 200 четким коммерческим подсказкам.

В настоящее время Kog в первую очередь сосредоточена на профессиональных рабочих процессах с высокими требованиями к скорости отклика, особенно в сценариях программной инженерии. По словам компании, некоторые пользователи, активно занимающиеся генерацией кода, могут ждать результаты до нескольких часов, и задержка интерпретации стала важной проблемой, влияющей на пользовательский опыт и затраты.

Компания также работает с некоторыми партнерами по дизайну для продвижения приложений. Эти клиенты позволяют пользователям генерировать игры или приложения с помощью подсказок, и если скорость интерпретации увеличится, это обычно означает более высокую эффективность конверсии и возможности дохода.

Малые модели уже показывают 3000 TPS

Kog ранее поставила цель "ускорить интерпретацию больших моделей в 30 раз", но на данный момент публичные демонстрации в основном основаны на малых моделях. В демонстрации использовалась модель Laneformer 2B с примерно 2 миллиардами параметров, скорость интерпретации для одного запроса достигла 3000 токенов в секунду. Эта модель уже открыта для общего доступа.

Тем не менее, рыночный спрос не ограничивается тонкой настройкой малых моделей. Kog заявляет, что потенциальные клиенты не собираются сосредотачиваться на малых моделях, поэтому с момента публикации демонстрации компания направила основное внимание на ускорение разработки более крупных моделей, чтобы соответствовать реальным потребностям.

Проверка возможностей больших моделей в сентябре

Kog считает, что потенциал GPU в декодировании интерпретации все еще не полностью раскрыт. Генеральный директор компании Гаэль Делальо заявил, что с постоянным увеличением пропускной способности памяти нового поколения GPU на программном уровне все еще есть значительное пространство для оптимизации.

Цена этого метода заключается в том, что цикл разработки довольно длительный. Kog сообщает, что для адаптации нового GPU команде часто требуется потратить несколько недель или даже месяцев на исследования на аппаратном уровне. Учитывая текущий размер команды в 11 человек, количество чипов, которые компания может поддерживать в краткосрочной перспективе, все еще ограничено.

Kog планирует в будущем постепенно интегрировать этот метод в процессы разработки на основе агентов, чтобы поддерживать больше чипов и моделей. В данный момент более критическим этапом является сначала доказать, что этот путь может быть реализован на больших моделях. Делальо ожидает, что компания завершит реализацию первого основного ускорения модели примерно в 10 раз в сентябре и на основе этого продемонстрирует прогресс клиентам, чтобы способствовать последующему финансированию раунда A.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.