Подписка на облачного кодинг-агента стоит не так уж дорого. Зачем тогда покупать GPU и запускать модель самому? Вместе с Иваном Опариным из Wildberries разбираемся, какие локальные модели уже годятся для агентной разработки, где они уступают облачным, сколько стоит железо под них и как настраивать их под свою кодовую базу.
А самое главное – дадим подробный гайд по тому, как решить свою первую задачу с помощью агента на локальной модели, и по тому, как внедрить их в свою ежедневную работу.
Хочешь стать главным экспертом по AI в своей команде? Один из лучших способов – перенимать опыт у тех, кто уже внедряет AI и набивает шишки на практике. Вступай в Podlodka AI Engineers Club – закрытое сообщество 800 инженеров c еженедельными воркшопами, активным чатом и огромной базой знаний.
https://podlodka.ai
Реклама. ИП Толстая, ИНН 507503278104, erid: 2SDnjdsfbtg
Полезные ссылки:
— Чат «ИИнтузиаст» https://t.me/+H3uHM51jCg5mZjAy
— Канал «ИИнтузиаст» https://t.me/byurrer_ru
— «Фарш не провернуть» — канал Алексея Фатеева о локальных моделях и инференсе https://t.me/fuckup_files
— «Локальный максимум» — материалы о локальных LLM, инференсе и GPU https://alesha.pro/
— Qwen3.8-27B — основная модель, которую обсуждаем в выпуске https://huggingface.co/Qwen/Qwen3.8-27B
— Qwen3.8-27B — GGUF-квантизации от Unsloth https://huggingface.co/unsloth/Qwen3.8-27B-GGUF
— Qwen3.8-Flash-Next https://huggingface.co/Qwen/Qwen3.8-Flash-Next
— GLM-5.3-Flash https://huggingface.co/zai-org/GLM-5.3-Flash
— DeepSeek V4.1 Flash https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
— Gemma — документация семейства моделей Google https://ai.google.dev/gemma/docs/core
— Unsloth — динамические квантизации моделей https://unsloth.ai/blog/dynamic-v2
— llama.cpp — движок для запуска локальных моделей https://github.com/ggml-org/llama.cpp
— vLLM https://github.com/vllm-project/vllm
— SGLang https://github.com/sgl-project/sglang
— DS4 / DwarfStar — inference-движок от создателя Redis https://github.com/antirez/ds4
— DeepInfer — inference-движок DeepSeek https://github.com/deepseek-ai/DeepInfer
— Mirai https://trymirai.com/
— Uzu — inference-движок Mirai https://github.com/trymirai/uzu
— Coinbase — кейс дообучения Qwen3.5-9B для выявления фрода https://www.coinbase.com/blog/part-three-owning-intelligence-series
— Cross-Model KV Cache Transfer — исследование переноса KV-кэша между моделями https://arxiv.org/abs/2608.03893
— Экспериментальная реализация переноса KV-кэша на vLLM от Алексея Фатеева https://github.com/alesha-pro/vllm-cross-model-kv
— Mostik — передача внутренних состояний между большой и маленькой моделями https://mostik.ai/read-more
— Microsoft — локальные модели и инструменты в Windows и GitHub Copilot https://commandline.microsoft.com/local-models-sandboxed-tools-github-windows/
— Microsoft — гибридный AI в Windows https://blogs.windows.com/windowsexperience/2026/10/07/building-windows-for-hybrid-intelligence/
— Гибридный инференс с клиент-серверным разнесением prefill и decode: архитектура и экономика для клиентов с унифицированной памятью https://github.com/relux-works/hybrid-inference-paper
— Андрей Карпати — о разрыве между использованием чат-ботов и продвинутых агентских систем https://x.com/karpathy/status/2109361546505966046
— Эссе инженера DeepSeek об автоматизации своей работы и открытом интеллекте https://mp.weixin.qq.com/s/zk0KxuLzhmMJ4LPYW_OHMA
— Английский пересказ эссе инженера DeepSeek и перевод в комментариях https://www.lesswrong.com/posts/o8roRrdisBAjngHJN/a-summary-of-a-viral-chinese-essay-on-what-a-deepseek-kernel
— «От вёдер к пасеке: как мы строим агентские системы» — статья Ивана Опарина и Алексея Григорьева, черновик (немного устарел) https://relux.works/ru/blog/from-buckets-to-apiary/ лучше смотреть:
— Рой над одной средой – Алексей Григорьев и Иван Опарин https://www.youtube.com/watch?v=mWyUI_wZMGU
❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат: https://t.me/podlodka
А самое главное – дадим подробный гайд по тому, как решить свою первую задачу с помощью агента на локальной модели, и по тому, как внедрить их в свою ежедневную работу.
Хочешь стать главным экспертом по AI в своей команде? Один из лучших способов – перенимать опыт у тех, кто уже внедряет AI и набивает шишки на практике. Вступай в Podlodka AI Engineers Club – закрытое сообщество 800 инженеров c еженедельными воркшопами, активным чатом и огромной базой знаний.
https://podlodka.ai
Реклама. ИП Толстая, ИНН 507503278104, erid: 2SDnjdsfbtg
Полезные ссылки:
— Чат «ИИнтузиаст» https://t.me/+H3uHM51jCg5mZjAy
— Канал «ИИнтузиаст» https://t.me/byurrer_ru
— «Фарш не провернуть» — канал Алексея Фатеева о локальных моделях и инференсе https://t.me/fuckup_files
— «Локальный максимум» — материалы о локальных LLM, инференсе и GPU https://alesha.pro/
— Qwen3.8-27B — основная модель, которую обсуждаем в выпуске https://huggingface.co/Qwen/Qwen3.8-27B
— Qwen3.8-27B — GGUF-квантизации от Unsloth https://huggingface.co/unsloth/Qwen3.8-27B-GGUF
— Qwen3.8-Flash-Next https://huggingface.co/Qwen/Qwen3.8-Flash-Next
— GLM-5.3-Flash https://huggingface.co/zai-org/GLM-5.3-Flash
— DeepSeek V4.1 Flash https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
— Gemma — документация семейства моделей Google https://ai.google.dev/gemma/docs/core
— Unsloth — динамические квантизации моделей https://unsloth.ai/blog/dynamic-v2
— llama.cpp — движок для запуска локальных моделей https://github.com/ggml-org/llama.cpp
— vLLM https://github.com/vllm-project/vllm
— SGLang https://github.com/sgl-project/sglang
— DS4 / DwarfStar — inference-движок от создателя Redis https://github.com/antirez/ds4
— DeepInfer — inference-движок DeepSeek https://github.com/deepseek-ai/DeepInfer
— Mirai https://trymirai.com/
— Uzu — inference-движок Mirai https://github.com/trymirai/uzu
— Coinbase — кейс дообучения Qwen3.5-9B для выявления фрода https://www.coinbase.com/blog/part-three-owning-intelligence-series
— Cross-Model KV Cache Transfer — исследование переноса KV-кэша между моделями https://arxiv.org/abs/2608.03893
— Экспериментальная реализация переноса KV-кэша на vLLM от Алексея Фатеева https://github.com/alesha-pro/vllm-cross-model-kv
— Mostik — передача внутренних состояний между большой и маленькой моделями https://mostik.ai/read-more
— Microsoft — локальные модели и инструменты в Windows и GitHub Copilot https://commandline.microsoft.com/local-models-sandboxed-tools-github-windows/
— Microsoft — гибридный AI в Windows https://blogs.windows.com/windowsexperience/2026/10/07/building-windows-for-hybrid-intelligence/
— Гибридный инференс с клиент-серверным разнесением prefill и decode: архитектура и экономика для клиентов с унифицированной памятью https://github.com/relux-works/hybrid-inference-paper
— Андрей Карпати — о разрыве между использованием чат-ботов и продвинутых агентских систем https://x.com/karpathy/status/2109361546505966046
— Эссе инженера DeepSeek об автоматизации своей работы и открытом интеллекте https://mp.weixin.qq.com/s/zk0KxuLzhmMJ4LPYW_OHMA
— Английский пересказ эссе инженера DeepSeek и перевод в комментариях https://www.lesswrong.com/posts/o8roRrdisBAjngHJN/a-summary-of-a-viral-chinese-essay-on-what-a-deepseek-kernel
— «От вёдер к пасеке: как мы строим агентские системы» — статья Ивана Опарина и Алексея Григорьева, черновик (немного устарел) https://relux.works/ru/blog/from-buckets-to-apiary/ лучше смотреть:
— Рой над одной средой – Алексей Григорьев и Иван Опарин https://www.youtube.com/watch?v=mWyUI_wZMGU
❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат: https://t.me/podlodka
- Категория
- AI Инструменты
Комментариев нет.
