Показываю свой рабочий OCR-проект: распознавание паспорта РФ, водительского
удостоверения и рукописных дипломов полностью локальной нейросетью, без
передачи данных за границу — проект соответствует новому 152-ФЗ. Под капотом —
локальная Qwen3 27B (квант UD-Q8_K_XL, Unsloth Dynamic), развёрнутая сразу
на трёх видеокартах: RTX 3090 + 2×RTX 5070 Ti, с распределением весов и
контекста через Tensor Split (контекст 65k, тестировался и на 260k токенов).
Под капотом гибридный pipeline: документ сначала нарезается на отдельные поля
(серия, номер, ФИО), затем каждый фрагмент подаётся в языковую модель,
которая возвращает строгий JSON — его можно подключить куда угодно: в 1С, на
сайт, в мобильное приложение. Показываю живое распознавание паспорта (в том
числе на плохом скане), водительского удостоверения (почти идеально) и самого
сложного кейса — рукописного диплома СПО с печатями и разными шаблонами
бланков. Отдельно показываю, как прямо из веб-интерфейса можно поправить
разметку и запустить дообучение модели, которая нарезает документ на поля.
Бизнес-задача проекта — приём документов в 1С: оператор загружает сканы,
получает заполненные формы и просто сверяет с оригиналом. Цель — сократить
время приёма одного человека с 40 до 10 минут; дальше в проект добавятся
трудовая книжка и документы для работы с иностранными гражданами. Проект
построен на основе учебного проекта, который я разбираю на своём курсе по AI —
ссылка на курс https://nizamov.school/courses/ai/chatgpt-1s
Таймкоды:
00:00:00 – Приветствие, анонс OCR-проекта (соответствие 152-ФЗ, локальная модель)
00:00:25 – Технические характеристики модели (Qwen3, кванты, GPU, контекст)
00:01:27 – Распознавание паспорта
00:03:40 – Распознавание водительского удостоверения
00:04:26 – Распознавание дипломов (рукописный текст, разбор ошибок)
00:08:06 – Датасет, разметка и дообучение модели
00:09:35 – Итоги и приглашение на курс
Технологии: Python, Qwen3 27B, GGUF / UD-Q8_K_XL (Unsloth Dynamic Quant), Tensor Split (мультиGPU-инференс), локальная Vision-LLM, structured output (JSON), YOLO, детекция и нарезка полей документа, дообучение модели.
#OCR #распознаваниедокументов #локальнаянейросеть #локальнаяLLM #QwenVL
#распознаваниепаспорта #распознаваниерукописноготекста #ИИ #нейросеть
#машинноеобучение #computervision #onpremise #152ФЗ #DocumentAI #Python
#мультимодальныеLLM #локальныеLLM #GPU #1С #нейросетилокально
удостоверения и рукописных дипломов полностью локальной нейросетью, без
передачи данных за границу — проект соответствует новому 152-ФЗ. Под капотом —
локальная Qwen3 27B (квант UD-Q8_K_XL, Unsloth Dynamic), развёрнутая сразу
на трёх видеокартах: RTX 3090 + 2×RTX 5070 Ti, с распределением весов и
контекста через Tensor Split (контекст 65k, тестировался и на 260k токенов).
Под капотом гибридный pipeline: документ сначала нарезается на отдельные поля
(серия, номер, ФИО), затем каждый фрагмент подаётся в языковую модель,
которая возвращает строгий JSON — его можно подключить куда угодно: в 1С, на
сайт, в мобильное приложение. Показываю живое распознавание паспорта (в том
числе на плохом скане), водительского удостоверения (почти идеально) и самого
сложного кейса — рукописного диплома СПО с печатями и разными шаблонами
бланков. Отдельно показываю, как прямо из веб-интерфейса можно поправить
разметку и запустить дообучение модели, которая нарезает документ на поля.
Бизнес-задача проекта — приём документов в 1С: оператор загружает сканы,
получает заполненные формы и просто сверяет с оригиналом. Цель — сократить
время приёма одного человека с 40 до 10 минут; дальше в проект добавятся
трудовая книжка и документы для работы с иностранными гражданами. Проект
построен на основе учебного проекта, который я разбираю на своём курсе по AI —
ссылка на курс https://nizamov.school/courses/ai/chatgpt-1s
Таймкоды:
00:00:00 – Приветствие, анонс OCR-проекта (соответствие 152-ФЗ, локальная модель)
00:00:25 – Технические характеристики модели (Qwen3, кванты, GPU, контекст)
00:01:27 – Распознавание паспорта
00:03:40 – Распознавание водительского удостоверения
00:04:26 – Распознавание дипломов (рукописный текст, разбор ошибок)
00:08:06 – Датасет, разметка и дообучение модели
00:09:35 – Итоги и приглашение на курс
Технологии: Python, Qwen3 27B, GGUF / UD-Q8_K_XL (Unsloth Dynamic Quant), Tensor Split (мультиGPU-инференс), локальная Vision-LLM, structured output (JSON), YOLO, детекция и нарезка полей документа, дообучение модели.
#OCR #распознаваниедокументов #локальнаянейросеть #локальнаяLLM #QwenVL
#распознаваниепаспорта #распознаваниерукописноготекста #ИИ #нейросеть
#машинноеобучение #computervision #onpremise #152ФЗ #DocumentAI #Python
#мультимодальныеLLM #локальныеLLM #GPU #1С #нейросетилокально
- Категория
- Бесплатные курсы
Комментариев нет.
