هوانگ رن‌خون، کیمی K3 و جنگی که به زودی آغاز می‌شود

نویسنده: دیجیتال لایف کازک

شما باید بگویید که در صنعت AI، داغ‌ترین و بیشترین بحث در مورد چه چیزی است. این قطعاً داستانی است که توسط چهار کلمه به ظاهر نامربوط، یعنی هوانگ، آنتروپیک، کیمی و متن‌باز، به هم پیوسته است. داستان از این قرار است. چند روز پیش، در تاریخ ۲۴ ژوئیه، هوانگ رن‌خون اولین پست خود را در X منتشر کرد.

این مرد ممکن است در دنیای AI مشهورترین باشد و برای ارسال این نامه عمومی، حتی یک حساب کاربری در X ثبت‌نام کرده است. این نامه با عنوان "وزن‌های باز و رهبری AI آمریکا" منتشر شده است.

معنای کلی این است که AI هر صنعتی را متحول خواهد کرد، هر شرکتی را به حرکت درخواهد آورد و توسط هر کشوری ساخته خواهد شد. مدل‌های باز می‌توانند امنیت را تقویت کنند، نوآوری را تسریع کنند و همچنین حاکمیت فناوری را به ارمغان بیاورند. این دنیا هم به مدل‌های بسته پیشرفته و هم به مدل‌های باز پیشرفته نیاز دارد. ما نمی‌توانیم مدل‌های متن‌باز را تحریم کنیم. دلیل اینکه هوانگ اینقدر نگران است، در واقع پیش‌زمینه‌ای دارد. بیایید زمان را به ۱۱ روز پیش برگردانیم، روزی که یک رویداد نمادین اتفاق افتاد. در تاریخ ۱۷ ژوئیه، کیمی K3 به‌طور رسمی منتشر شد.

۲۸ تریلیون پارامتر کل، ۱۰۴ میلیارد پارامتر فعال، قابلیت بصری بومی، و زمینه‌ای با ۱۰۰ هزار توکن.

نکته کلیدی این است که کیمی در آن زمان وعده داده بود که وزن‌های مدل در تاریخ ۲۷ ژوئیه (یعنی دیشب) به‌طور رسمی متن‌باز خواهد شد.

این، اولین مدل ۳T متن‌باز در جهان است. یک تیم چینی، در شرایطی که قدرت محاسباتی چندان زیادی ندارد، چیزی را ساخته است که به قدرت مدل‌های بسته جهانی نزدیک است و همچنین وزن‌ها را به کل جهان می‌دهد.

این موضوع باعث شد که جو در آمریکا تغییر کند. در تاریخ ۲۲ ژوئیه، مایکل کراتسیوس، رئیس دفتر سیاست‌گذاری فناوری کاخ سفید، به‌طور علنی به کیمی K3 حمله کرد و ادعا کرد که توسعه آن از تقطیر گسترده Claude Fable 5 استفاده کرده است.

اما جالب اینجاست که در بخش نظرات، مردم می‌توانند صدای جمعیت را ببینند.

سپس، وزیر خزانه‌داری آمریکا، به‌طرز بدی، آتش را شعله‌ور کرد و دوباره به لیست سیاه تجاری و تحریم‌ها اشاره کرد.

این بار بخش نظرات به‌طور کامل تحت تأثیر قرار گرفت.

این موضوع هر روز بزرگتر می‌شود و به‌سرعت یک رقابت که در اصل در مورد توانایی مدل و مسیر متن‌باز بود، به مسائل مربوط به مالکیت معنوی، امنیت ملی، کنترل صادرات و رقابت فناوری چین و آمریکا کشیده شد. در همین زمان، هوانگ رن‌خون به میدان آمد.

او در مصاحبه‌ای، به‌طور علنی با ممنوعیت مدل‌های متن‌باز چینی مخالفت کرد.

دو روز بعد، او اولین توییت زندگی‌اش را منتشر کرد و با یک نامه عمومی به واشنگتن گفت که مدل‌های باز به نوآوری، رقابت، امنیت و حاکمیت فناوری آمریکا مربوط می‌شود و شما نمی‌توانید آنها را ممنوع کنید، نمی‌توانید تحریم کنید، ما باید متن‌باز را تشویق کنیم.

به‌راستی، هوانگ برای فروش کارت‌ها، واقعاً نگران است. سپس، در پایین، یک دیوار لوگوی بسیار طولانی به نمایش درآمد و کل صنعت فناوری شروع به صف کشیدن برای امضای نامه عمومی کرد. وقتی نامه عمومی منتشر شد، ۲۵ شرکت و سازمان امضا کردند.

انودیا، مایکروسافت، متا، IBM، دل، پالن‌تیر، میسترال، هاجینگ فیس و غیره.

تا آخر هفته، لیست به‌طور جنون‌آسا طولانی‌تر شد.

OpenAI آمد، گوگل آمد، اسپیس‌ایکس آمد، AMD، سیسکو، کلودفلر، گیت‌هاب، بنیاد لینوکس، موزیلا، ورسل، Y Combinator، OpenClaw و غیره، همه آمدند.

تا زمانی که من این مقاله را می‌نوشتم، ۷۷ امضاکننده وجود داشت.

همچنین بسیاری از بزرگان به‌طور جنون‌آسا از این اقدام حمایت کردند.

مدت‌ها بود که چنین تجمعی را ندیده بودیم، یک قیام جمعی، با یکدیگر علیه دشمنان. اما اگر دوستان دقیق باشند، متوجه می‌شوند که در آن دیوار لوگو، تقریباً اکثر شرکت‌های پیشرفته فناوری آمریکا جمع شده‌اند، حتی انودیا و AMD نیز در کنار هم قرار گرفته‌اند، اما شما متوجه می‌شوید که به‌طرز عجیبی یک نام آشنا غایب است. آنتروپیک. من فکر می‌کنم این نقاشی مشهور جهانی می‌تواند به نام "آنتروپیک کجاست؟" تغییر نام یابد. حتی یک کاربر اینترنتی به‌طور مستقیم یک ویدیو طنز درست کرده است، من واقعاً خندیدم و باید به شما نشان دهم.

و در حالی که آنتروپیک خود را نادیده می‌گیرد، غول‌های فناوری آمریکا در توییتر به قیام ادامه می‌دهند. جرقه این رویداد، دیشب، یعنی ۲۷ ژوئیه، ساعت ۲۳:۱۳، به‌طور رسمی اعلام شد که Kimi K3 متن‌باز شده است.

علاوه بر این، سطح متن‌باز بودن فراتر از انتظارات من بود. من فکر می‌کردم فقط وزن‌های مدل متن‌باز خواهد شد.

نتیجه.

وزن‌های مدل، متن‌باز.

گزارش فنی دقیق نیز منتشر شد.

زیرساخت کلیدی که برای آموزش K3 استفاده شده است، نیز متن‌باز شد.

همه چیز متن‌باز شد...

اجازه دهید به‌طور خلاصه ذکر کنم.

وزن‌های مدل Kimi K3، یک مدل MoE با ۲۸ تریلیون پارامتر، در مجموع ۸۹۶ متخصص دارد و هر توکن ۱۶ تا از آنها را فعال می‌کند.

سپس گزارش فنی کامل K3، در مجموع ۴۷ صفحه.

در اینجا جزئیات معماری KDA و Attention Residuals منتشر شده است و توضیح داده شده است که چگونه آنها KDA و Gated MLA را با نسبت ۳ به ۱ ترکیب کرده‌اند و چگونه اطلاعات می‌تواند از چندین لایه عبور کند و ادامه یابد.

همچنین Stable LatentMoE.

۸۹۶ متخصص تنها ۱۶ تا از آنها را فعال می‌کنند، درجه پراکندگی به طرز عجیبی بالا است، کیمی همچنین از SiTU GLU، تعادل کمی و این مجموعه روش‌ها استفاده کرده است تا این آموزش فوق‌العاده پراکنده را در حالت پایدار نگه دارد.

همچنین MoonViT V2، زیرساخت یادگیری تقویتی با میلیون‌ها توکن زمینه، ترکیب وظایف در مقیاس بزرگ، روش‌های پس‌آموزش و نتایج کامل نزدیک به ۲۰ مجموعه ارزیابی داخلی نیز منتشر شده است.

این گزارش فنی بسیار دقیق و محکم است و مطالعه آن توصیه می‌شود.

علاوه بر گزارش فنی، همچنین فناوری‌های زیرساخت کلیدی متن‌باز وجود دارد.

MoonEP، یک کتابخانه ارتباطی موازی متخصص که به‌طور خاص برای MoE با مقیاس بسیار بزرگ طراحی شده است.

در حین آموزش MoE، معمولاً برخی از متخصصان بسیار مشغول هستند و برخی دیگر بیکار، در نهایت همه GPUها باید منتظر کارت مشغول‌ترین باشند.

MoonEP بر اساس نتایج مسیریابی فعلی، به‌طور دینامیک یک بخش کوچک از متخصصان محبوب را کپی می‌کند تا هر کارت تعداد یکسانی از توکن‌ها را دریافت کند و در عین حال شکل حافظه ثابت را حفظ کند و از شکستن آموزش جلوگیری کند و در نهایت از OOM جلوگیری کند.

این موضوع به یکی از ارزشمندترین و پایه‌ای‌ترین جنبه‌های آموزش مدل‌های فوق‌العاده بزرگ تبدیل شده است.

FlashKDA، اپراتور با عملکرد بالا از Kimi Delta Attention. این اپراتور با استفاده از CUTLASS پیاده‌سازی شده است و در H20 انویدیا، سرعت پیش‌پر کردن را نسبت به خط پایه‌ی توجه خطی فلش، 1.85 تا 2.31 برابر افزایش می‌دهد و می‌تواند به طور مستقیم به backend موجود توجه خطی فلش متصل شود.

در ادامه، AgentENV وجود دارد.

این سیستم، یک محیط sandbox توزیع‌شده است که توسط Kimi و KVCache.ai ساخته شده و در واقع پایه‌ای است که K3 برای یادگیری تقویتی مقیاس بزرگ Agent‌ها به آن نیاز دارد.

این سیستم می‌تواند به طور همزمان بر روی تعدادی از ماشین‌ها، تعداد زیادی میکرو ماشین مجازی Firecracker را راه‌اندازی کند، زمان بازیابی محیط کمتر از 50 میلی‌ثانیه و زمان توقف کمتر از 100 میلی‌ثانیه است و به طور بومی از snapshot، بازیابی و fork پشتیبانی می‌کند.

یک Agent پس از رسیدن به یک گره کلیدی، می‌تواند به طور مستقیم به ده‌ها مسیر غیرمداخله‌گر تقسیم شود و به کاوش موازی ادامه دهد.

اگرچه من اطلاعات زیادی درباره تکنولوژی‌های پایه ندارم و فقط دانش سطحی دارم، اما از این تکنولوژی‌ها می‌توانم احساس کنم که واقعاً جذاب هستند.

این واقعاً به عمق موضوع مربوط می‌شود.

MoonEP به حل مشکلات ارتباطی و بارگذاری مدل‌های فوق‌العاده MoE کمک می‌کند.

FlashKDA به بهبود کارایی اپراتورهای معماری توجه جدید کمک می‌کند.

AgentENV به نیازهای یادگیری تقویتی Agent‌ها برای محیط‌های واقعی و فراوان پاسخ می‌دهد.

جامعه متن‌باز در حال پرواز است.

امروز، من Kimi و DeepSeek را به عنوان دو قدیس متن‌باز معرفی می‌کنم.

من همچنین نگاهی به مجوز Kimi K3 انداختم.

محققان، توسعه‌دهندگان و شرکت‌های عادی می‌توانند به صورت رایگان از آن استفاده کنند، کپی کنند، تغییر دهند، مستقر کنند، تنظیمات جزئی انجام دهند، توزیع کنند و محصولات مشتق و تجاری بسازند.

این مجوز فقط برای استفاده تجاری فوق‌العاده بزرگ دو مانع گذاشته است.

اگر شما در کسب و کار خدمات مدل هستید و درآمد کل شرکت و وابستگان شما در 12 ماه متوالی بیش از 20 میلیون دلار باشد، باید توافق‌نامه‌ای با "ماه تاریک" امضا کنید.

اگر استفاده از محصولات تجاری K3 شما بیش از 100 میلیون کاربر فعال ماهانه داشته باشد یا درآمد ماهانه شما بیش از 20 میلیون دلار باشد، رابط محصول باید به طور قابل توجهی Kimi K3 را نمایش دهد.

بله، فقط کافی است که Kimi K3 را به طور قابل توجهی نمایش دهید.

ای خدای من...

برخی گفته‌اند که اگر Kimi K3 بتواند به او 20 میلیون دلار درآمد ماهانه بدهد، نه تنها برند Kimi K3 را به طور قابل توجهی نمایش می‌دهد، بلکه می‌تواند لوگوی Kimi را روی باسن خود خالکوبی کند، حتی می‌تواند دو تا خالکوبی کند.

امروز شب، با انتشار Kimi K3، احساس می‌کنم که این رویداد به اوج خود رسیده است و نظرات عمومی تقریباً یک‌طرفه شده است.

همچنین در Hugging Face تاریخ‌سازی کرده است.

در این لحظه، نگرش آمریکا و متن‌باز شدن Kimi K3 یک واکنش شیمیایی شگفت‌انگیز ایجاد کرده است.

در آینده، این موضوع ممکن است به عنوان:

حادثه ساراژوو در صنعت AI شناخته شود.

این دنیا به متن‌باز نیاز دارد.

"لاو هوانگ" و دیگران به متن‌باز روی آورده‌اند، البته به جز ایده‌آل‌ها، بوی پول نیز در آن وجود دارد.

در سال 2002، "جوئل اسپولسکی" یک قانون تجاری کلاسیک نوشت به نام "Commoditize Your Complements" که به معنای تبدیل مکمل‌های خود به کالا است. هرچه مکمل یک چیز ارزان‌تر باشد، تقاضا برای آن چیز بیشتر می‌شود.

انویدیا GPU می‌فروشد.

هرچه مدل‌های متن‌باز بیشتری وجود داشته باشد، شرکت‌های بیشتری در سراسر جهان مایل به استقرار، تنظیم و آموزش خود خواهند بود و در نهایت به GPU بیشتری نیاز خواهند داشت.

AMD، دل، شرکت‌های ابری و ارائه‌دهندگان خدمات استنتاج، منطق مشابهی دارند.

ابزارهای توسعه و پلتفرم‌های کاربردی مانند GitHub، Vercel، Replit، LangChain و OpenClaw نیز به طور طبیعی امیدوارند که مدل‌های پایه بیشتر، ارزان‌تر و آسان‌تر قابل تعویض باشند.

زیرا هر بار که هزینه مدل یک دلار کاهش یابد، فضای بیشتری برای لایه کاربردی ایجاد می‌شود.

"لاو هوانگ" به شدت به متن‌باز اعتقاد دارد و او یکی از بزرگ‌ترین بهره‌برداران مدل‌های متن‌باز است و این دو موضوع با هم تناقضی ندارند. اما من به شدت به متن‌باز اعتقاد دارم و آن را می‌پذیرم. دلیل آن نیز بسیار ساده است، زیرا من یک فرد عادی هستم. در این زندگی، شاید نتوانم مدل‌هایی مانند K3 را آموزش دهم، من چندین هزار کارت ندارم و هیچ چیز نمی‌دانم، فرمول‌های موجود در گزارش‌های فنی را تنها با کمک AI به سختی می‌توانم بفهمم. اما این مانع نمی‌شود که امروز، بر روی کارها، چارچوب‌ها و مدل‌های متن‌باز بی‌شماری که قبلاً انجام شده‌اند، بایستم و آثار خودم را خلق کنم. افراد عادی می‌توانند در هر انقلاب تکنولوژیکی شرکت کنند، و این به خاطر پیشینیان است که مایلند نقطه پایانی را برای نسل‌های بعدی به عنوان نقطه شروع بگذارند. ما به یکباره نابغه نشده‌ایم.

ما فقط دیگر نیازی به شروع از صفر نداریم.

قدرت واقعی متن‌باز در اینجا نهفته است.

چیزی که یک تیم با هزینه محاسباتی زیاد و بسیاری از بزرگان به سختی به دست آورده‌اند، به محض اینکه عمومی شود، روز بعد به نقطه شروع عمومی بی‌شماری از افراد عادی در سراسر جهان تبدیل می‌شود.

من فکر می‌کنم این همان بهره‌وری تمدن است.

در نهایت، به همه بزرگانی که برای دنیای بشریت، دنیای متن‌باز و دنیای AI تلاش کرده‌اند، احترام می‌گذارم.

از شما متشکرم.

این محتوا صرفاً برای اطلاع‌رسانی عمومی ارائه شده است و به‌منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌شود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید به‌عنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر دارایی‌های رمزارزی تلقی شود. دارایی‌های رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.