Сколько оперативной памяти нужно для локальных нейросетей
Для простых моделей хватит 16 ГБ, для уверенной работы с кодом и документами нужно 32 ГБ, а большие модели на 70 миллиардов параметров требуют от 64 ГБ. С 128 ГБ запускаются самые крупные открытые модели и остаётся запас под длинный контекст.
Что запустится на каждом объёме
| Память | Какие модели помещаются | Кому подойдёт |
|---|---|---|
| 16 ГБ | до 8 млрд параметров | Попробовать и понять, нужно ли это вам |
| 32 ГБ | до 30 млрд | Помощник по коду, работа с текстами |
| 64 ГБ | до 70 млрд | Серьёзная работа без облака |
| 128 ГБ | 100–120 млрд и несколько моделей сразу | Команды, исследователи, домашний AI-сервер |
Цифры ориентировочные и относятся к моделям, сжатым до 4 бит. Чем меньше сжатие и длиннее контекст, тем больше нужно памяти.
Почему нельзя взять впритык
Кроме самой модели память занимают операционная система, программы и контекст разговора. Чем длиннее документ, который вы даёте модели, тем больше памяти уходит на контекст. Запас в 20–30 % избавляет от замедлений.
Оперативная память и видеопамять
На обычном компьютере модель должна поместиться в память видеокарты, а её мало. На мини-ПК с общей памятью графике выделяется часть оперативной: на платформе Ryzen AI Max это до 96 ГБ из 128 ГБ. Поэтому при выборе смотрите не только на общий объём, но и на то, сколько из него доступно графике.
Можно ли добавить память позже
Зависит от компьютера. В моделях со слотами память меняется за пять минут. В производительных мини-ПК для нейросетей память часто распаяна ради скорости, и объём выбирают при покупке. Если сомневаетесь между двумя объёмами, берите больший.
Компьютер со 128 ГБ: Topton на Ryzen AI Max+ 395 со 128 ГБ памяти.
Частые вопросы
Хватит ли 16 ГБ для локальной нейросети?
Для небольших моделей до 8 миллиардов параметров хватит. Для работы с кодом и длинными документами лучше 32 ГБ и больше.
Сколько памяти нужно для модели на 70 миллиардов параметров?
Около 40–48 ГБ под саму модель при сжатии до 4 бит, поэтому компьютер нужен с 64 ГБ и больше.
Зачем 128 ГБ памяти?
Чтобы запускать самые крупные открытые модели, держать несколько моделей одновременно и работать с длинным контекстом.