Microsoft зробила те, про що говорили роками: запустила великі мовні моделі прямо на CPU без GPU — і не іграшкову модельку, а мережу на 100 мільярдів параметрів. Секрет — 1-бітна квантизація. Замість 32-бітних чисел кожна вага моделі зберігається як -1, 0 або 1. Звучить як деградація, але на практиці це серйозна революція в ефективності.
Мікроблог
Короткі думки, нотатки, миттєві ідеї
Мій тредс-акаунт був забанений цензурою після публікації цього допису. Профіль стрімко набирав оберти та індексацію і місячні охоплення доходили до мільйона.