В надпреварата за доминиране на AI хардуера, преобладаващата мъдрост отдавна е проста: повече изчисления са по-добри. Моделите с трилиони параметри изискват инфраструктура с мащаб на трилиони параметри и индустрията послушно е изградила все по-големи клъстери от NVIDIA GPU, за да храни звяра. Но Moffett AI, изгряващ играч в китайската екосистема на AI чипове, залага, че този универсален подход е дълбоко разточителен.
“Ние не използваме оръдия, за да стреляме по комари,” казва Guo Weijun, главен изпълнителен директор на Moffett AI, формулирайки философия, която е в противоречие с цялата хардуерна индустрия за AI. Неговата гледна точка е категорична: по-голямата част от работните натоварвания за изводи в реалния свят не се нуждаят от хиляда терафлопа необработени изчисления. Интелигентен звънец, идентифициращ посетител, фабричен сензор, класифициращ дефект, гласов асистент, анализиращ проста команда – тези задачи се изпълняват от хардуер, предназначен за обучение на модели в GPT мащаб.
Отговорът на Moffett AI е специализация. Вместо да преследва върховите върхове (трилиони операции в секунда) като окончателен бенчмарк – показателят, който NVIDIA е усвоила – компанията се фокусира върху това, което нарича “цена на извод.” Тази промяна изцяло преформулира проблема: целта не е да се увеличи максимално необработената пропускателна способност, а да се съобрази изчислителният капацитет точно с поставената задача. Лек модел, работещ върху ефективно осигурен силиций, може да осигури приемлива точност при малка част от разходите за енергия и хардуер.
В центъра на тази стратегия е работата на Мофет върху поддръжката на рядкост. Невронните мрежи от реалния свят често са прекалено параметризирани; много от техните тегла допринасят малко за крайната продукция. Чрез проектирането на чипове, които могат да пропускат нулеви или почти нулеви тегла по време на изчисление, Moffett има за цел да достави значими печалби в производителността, без да увеличава мащаба на хардуера. Подходът отразява техниките, използвани при подрязване и квантуване, но влага ефективността в самия силиций.
Моментът е стратегически. Тъй като изводите от изкуствен интелект се изместват от облачни центрове за данни към крайни устройства – телефони, камери, сензори, автомобили – изчислението на свръхпровизирането се разпада. Бюджетите за мощност са ограничени, забавянето има значение и цената на единица трябва да спадне рязко, за да може AI да бъде жизнеспособен в мащаб. Дизайнът на Moffett с първо изводи е насочен точно към тази празнина.
Разбира се, конкуренцията с утвърдената CUDA екосистема на NVIDIA не е малко постижение. Но Мофет не се опитва да измести NVIDIA във високия клас. Вместо това, той се изгражда за дългата опашка – милионите ежедневни задачи за изводи, където изчисленията, струващи едно оръдие, са просто пресилени. В свят, в който AI става повсеместен, това може да е точно правилната цел.
Source link
Like this:
Like Loading…
Нашия източник е Българо-Китайска Търговско-промишлена палaта