Apple заявила о возможности своих устройств запускать локальные большие языковые модели (LLM) с миллиардами активных параметров без облака. Смартфоны и планшеты могут обрабатывать нейросети объемом 14 миллиардов параметров, а настольные компьютеры Mac способны поддерживать модели с триллионным количеством параметров при наличии соответствующей конфигурации памяти. Утверждения, как сообщает @aaronp613, базируются на увеличении пропускной способности памяти и внедрении двойных нейропроцессоров в новейших чипах. Для запуска моделей с 14 миллиардами активных параметров Apple рекомендует использовать iPhone или iPad с 16 ГБ единый высокоскоростной пул памяти (Unified Memory). Пропускная способность для локального вывода данных составляет 76 ГБ/с, однако новый процессор A20 Pro уже превосходит этот показатель, обеспечивая скорость передачи данных до 115,2 ГБ/с.
Ноутбуки MacBook Air и Mac mini с памятью до 64 ГБ и пропускной способностью до 307 ГБ/с справляются с моделями до 70 миллиардов параметров. Флагманские MacBook Pro с 128 ГБ памяти конкурируют с игровыми ноутбуками на базе RTX, запуская нейросети объемом до 120 миллиардов параметров. Наиболее мощные результаты показал Mac Studio на базе чипа M5 Ultra. Устройство с пропускной способностью памяти 1,2 ТБ/с и объемом до 512 ГБ поддерживает модели до 480 миллиардов параметров. Для обработки нейросетей объемом свыше 1,6 триллиона параметров требуется кластер из четырех таких станций с общим объемом памяти до 2 ТБ.
