Мини-ПК для нейросетей: как выбрать компьютер для локальных LLM
Для локальных нейросетей важнее всего объём памяти, доступной графике. Чтобы запускать большие языковые модели на 70 миллиардов параметров и больше, нужен компьютер с 64–128 ГБ общей памяти, из которой основную часть можно отдать видеопамяти.
Что решает при выборе
Языковая модель целиком загружается в память. Если она не помещается в видеопамять, часть вычислений уходит на процессор, и скорость ответа падает в разы. Поэтому главный вопрос звучит так: сколько памяти компьютер может отдать графике.
У обычных видеокарт видеопамять своя и небольшая: 8, 12, 16 или 24 ГБ. У мини-ПК с общей памятью процессор и графика делят один большой объём. На платформе AMD Ryzen AI Max при 128 ГБ общей памяти под видеопамять можно выделить до 96 ГБ. Это позволяет запускать модели, которые не помещаются ни в одну потребительскую видеокарту.
Сколько памяти нужно под модель
Ориентиры для моделей со сжатием до 4 бит. Точные цифры зависят от способа сжатия и длины контекста.
| Размер модели | Нужно памяти | Что это даёт |
|---|---|---|
| 7–8 млрд параметров | около 5–6 ГБ | Быстрые ответы, простые задачи |
| 13–14 млрд | около 9–10 ГБ | Переписка, черновики текстов |
| 30–34 млрд | около 20–24 ГБ | Код, анализ документов |
| 70 млрд | около 40–48 ГБ | Качество, близкое к облачным сервисам |
| 100–120 млрд | около 65–80 ГБ | Самые сильные открытые модели |
На что ещё смотреть
- Диск. Одна большая модель занимает десятки гигабайт. Если планируете держать несколько, берите накопитель от 1–2 ТБ или компьютер с несколькими слотами M.2.
- Скорость памяти. Чем шире и быстрее шина памяти, тем быстрее модель выдаёт ответ. У Ryzen AI Max шина 256-битная, память LPDDR5X.
- Охлаждение. Генерация нагружает компьютер на 100 % надолго. Два вентилятора и крупный радиатор здесь не роскошь.
- Сеть. Если компьютер будет работать как домашний AI-сервер, пригодятся проводные сетевые порты.
Какой мини-ПК подойдёт
Под большие модели мы привозим Topton на Ryzen AI Max+ 395 со 128 ГБ памяти: до 96 ГБ под видеопамять, четыре слота под диски, Wi-Fi 7 и два сетевых порта. Память в нём распаяна, поэтому объём выбирается сразу.
Частые вопросы
Можно ли запускать нейросети без видеокарты?
Да. На мини-ПК с общей памятью модель работает на встроенной графике, которой выделяется часть оперативной памяти.
Хватит ли 32 ГБ памяти для нейросетей?
Для моделей до 30 миллиардов параметров хватит. Для моделей на 70 миллиардов и больше нужно от 64 ГБ.
Нужен ли интернет для локальной нейросети?
Только чтобы один раз скачать модель. Дальше она работает без подключения, и данные не уходят с компьютера.