Какую нейросеть запустить на своей видеокарте: 8, 12, 16 и 24 ГБ

8 Просмотры
Издатель
Сколько видеопамяти нужно, чтобы запустить нейросеть у себя дома. Модель должна целиком лечь в память видеокарты. Если не влезла, часть уезжает в оперативку, и всё работает в разы медленнее.

Как посчитать: модель, сжатая до 4 бит (q4), весит примерно 0,6 ГБ на каждый миллиард параметров. Плюс нужен запас на контекст.
• 8 ГБ (RTX 3050, 4060, 5060): модель на 8 млрд, около 5 ГБ
• 12 ГБ (RTX 4070, 5070): модель на 14 млрд, около 9 ГБ
• 16 ГБ (RTX 4080, 5080): gpt-oss-20b от OpenAI, около 14 ГБ
• 24 ГБ (RTX 3090, 4090): модель на 32 млрд, около 20 ГБ

Размеры взяты из библиотеки Ollama: Llama 3.1 8B 4,9 ГБ, Qwen3 14B 9,3 ГБ, gpt-oss-20b 14 ГБ, Qwen3 32B 20 ГБ. Запустить можно бесплатно через LM Studio или Ollama. Когда модель скачана, интернет не нужен. Честно: до топовых облачных нейросетей локальным моделям далеко. Картинка в ролике — схема.

Какая у тебя видеокарта и что на ней уже запускал?
Категория
Схемы по заработку в интернете
Комментариев нет.