Учитывая, что Copilot+ будет работать на NPU с производительностью 40 TOPS и выше, но не на вашей игровой машине на базе RTX 4090, зачем вообще нам нужны NPU, если графический процессор способен на гораздо большее? Хотя в целом совершенно нелепо, что Copilot+ не будет работать на 4090, а будет работать на NPU, у NPU есть некоторые преимущества, которые делают их жизнеспособными разработками для включения в так называемые «ПК с искусственным интеллектом».
В NPU стоит инвестировать, и они служат иной цели, чем GPU.
Для обычных пользователей ПК это не имеет значения.
Большим преимуществом NPU для рабочих нагрузок ИИ является их эффективность, и им требуется значительно меньше ресурсов, чем графическому процессору, чтобы не только работать, но даже включаться в компьютер. Особенно если учесть профиль мощности графического процессора в ноутбуке, включение NPU для выполнения особенно тяжелых рабочих нагрузок искусственного интеллекта имеет смысл. Есть также масса вещей, которые графические процессоры делают или умеют хорошо, но которые не принесут пользы ИИ.
NPU специально предназначены для умножения и свертки матриц, что означает, что они могут выполнять эти вычисления более эффективно, сохраняя при этом параллелизм, который делает графические процессоры хорошими для искусственного интеллекта. Они также оптимизированы для потока данных таким образом, что их можно интегрировать с процессором, чтобы они могли быть физически ближе к обрабатываемым данным. Это означает, что NPU могут получать данные с меньшей задержкой.
В дополнение к параллелизму, NPU включают специализированные иерархии памяти. Это может означать, что на чипе есть SRAM, которая является более быстрой памятью с низкой задержкой для хранения промежуточных данных, весов и активаций во время обработки нейронной сети. Это имеет свои преимущества, поскольку хранение часто используемых данных на чипе означает, что NPU минимизируют необходимость доступа к более медленной DRAM вне чипа, что значительно снижает задержку и энергопотребление.
Все эти факторы делают NPU достойными инвестиций, даже если они все еще хуже с точки зрения ИИ, чем обычные высокопроизводительные потребительские GPU.
Тем не менее, должна быть возможность запустить ИИ на вашем GPU.
NPU по-прежнему могут служить цели, признавая, что графические процессоры тоже хороши.
Чего я не понимаю в этой лихорадке NPU на ноутбуках и ПК, так это почему они настаивают на том, чтобы эти рабочие нагрузки выполнялись на NPU. Ничто не мешает Microsoft’s Recall (покойся с миром, временно) работать на графическом процессоре Nvidia или AMD, и конкретное требование TOPS для NPU также не имеет смысла как настоящее ограничение.
Как мы уже говорили, цифры TOPS бессмысленны. Если вы посмотрите спецификации Nvidia GeForce RTX 4090, вы обнаружите, что она способна на 1321 «AI TOPS». Не все TOPS одинаковы, но с таким высоким числом не имеет значения, измеряется ли оно с точностью INT8, которую используют конкуренты Nvidia. Очевидно, что она обходит конкурентов, независимо от того, является ли это число INT4, INT8 или чем-то еще.
NPU занимают свое место в отрасли, и это место отличается от GPU. Они могут абсолютно сосуществовать, но предотвращение выгрузки рабочих нагрузок NPU на GPU не имеет особого смысла, как с технологической точки зрения, так и с точки зрения потребителя. Со стороны это выглядит как закрытая эксклюзивность для поощрения покупки потребителями новых ПК с ИИ и ничего более, потому что нет особых причин, по которым Recall и другие функции Copilot+ не могут работать на лучших GPU сегодня.
Подводя итог, можно сказать, что NPU мощные и занимают свое место в отрасли, но они не совсем незаменимы. GPU будет работать отлично, и именно энергопотребление в первую очередь стимулирует инновации NPU в настоящее время. Возможно, в будущем они будут работать лучше, чем GPU, но если у вас есть ПК с мощным GPU, ваш ПК уже способен на большее, чем может предложить NPU текущего поколения.
