Сравнение ИИ-ассистентов для юристов: VibeLab, Just AI и no-code боты. Кто выигрывает в точности, compliance и обновлениях. Реальное тестирование.
VibeLab
Поделиться

Корпоративная платформа за 3 млн рублей в год и бесплатный no-code конструктор ломаются на одних и тех же юридических запросах — но по разным причинам. Мы провели сравнительное тестирование трёх подходов на реальных задачах юридической фирмы и выяснили: проблема не в цене инструмента, а в архитектуре. RAG-специализация закрывает те задачи, где универсальные решения систематически проваливаются.
Юридическая фирма покупает корпоративный ИИ-ассистент. Платит за NLP-движок, интеграции, SLA и техподдержку. Запускает бота на внутренний поиск по кодексам. Через две недели старший партнёр обнаруживает, что бот цитирует статью ГК РФ в редакции 2019 года, хотя действующая версия изменилась дважды.
Другая фирма идёт бюджетным путём — собирает бота в Botpress за выходные. Бот отвечает на простые вопросы, но при запросе «найди прецеденты по трудовым спорам с применением ст. 81 ТК РФ за последние два года» выдаёт общие формулировки без ссылок на конкретные решения судов.
Оба сценария — не исключения, а закономерность. Универсальные платформы оптимизированы под типовые задачи: FAQ, маршрутизация обращений, HR-автоматизация. Юридическая специфика — работа с точными формулировками, актуальными редакциями нормативных актов, перекрёстными ссылками между документами — требует принципиально другой архитектуры.
Для предметного сравнения мы определили 8 критериев, критичных именно для юридической практики:
Мы сформировали набор из 50 тестовых запросов трёх типов:
Каждый ответ оценивался по трём параметрам: фактическая корректность (проверка юристом), полнота (все релевантные нормы и ссылки), актуальность (соответствие действующей редакции). Условия одинаковые для всех платформ — один набор запросов, одна правовая база для загрузки.
Just AI — зрелая платформа для построения диалоговых сценариев. NLP-движок корректно обрабатывает интенты, распознаёт сущности, поддерживает контекст диалога. Продукт хорошо решает задачи маршрутизации обращений в контакт-центре, сценарных ботов с ветвлением, голосовых ассистентов.
Проблемы начинаются, когда задача выходит за пределы сценарного дерева.
Где Just AI теряет точность на юридических задачах:
Just AI остаётся сильным выбором для управляемого диалога. Проблема не в качестве платформы, а в несоответствии архитектуры задаче.
No-code конструкторы (Botpress, Voiceflow) привлекают скоростью запуска. Собрать бота в Botpress можно за день. Для простого FAQ — отличный выбор.
Потолок обнаруживается при работе со структурированными юридическими документами.
Три ключевых ограничения:
Юрист загружает договор поставки и просит проверить соответствие условий о качестве товара требованиям ст. 469–477 ГК РФ.
Botpress: бот разбивает документ стандартным сплиттером, находит фрагмент с упоминанием «качество», генерирует ответ на основе общих знаний LLM. Результат — корректные общие положения, но без проверки конкретных пунктов договора против конкретных норм. Пропуск: договор не содержит обязательную ссылку на стандарты качества (п. 4 ст. 469 ГК РФ), а бот этого не выявил.
RAG-подход: договор парсится с сохранением структуры. Каждый пункт сопоставляется с релевантными нормами через семантический поиск. Retrieval извлекает точный текст ст. 469–477 с metadata о дате редакции. LLM сравнивает конкретные формулировки. Результат — список несоответствий с указанием пункта договора, нарушенной нормы и рекомендации.
Разница — не в «умности» модели, а в том, какие данные она получает на вход.
Retrieval-Augmented Generation — конкретная архитектура, а не маркетинговый термин. Модель не генерирует ответ из «памяти» обучающей выборки. Она получает релевантные фрагменты из верифицированной базы документов и строит ответ на их основе. Каждый тезис привязан к источнику.
Результаты тестирования RAG-подхода:
LLM-галлюцинации — главный риск применения ИИ в юридической практике. Ошибка в номере статьи или ссылка на отменённую норму может стоить клиенту проигранного дела.
LLM без RAG получает вопрос и генерирует ответ из обучающих данных. Если норма изменилась после даты обучения — модель воспроизведёт устаревшую версию. RAG меняет механику: модель сначала извлекает релевантные фрагменты из базы актуальных документов, затем генерирует ответ только на их основе. Нет данных — система честно сообщает об этом.
Пример. Запрос: «Какой срок исковой давности по требованиям о применении последствий недействительности ничтожной сделки?»
Разница критична: неполный ответ может привести к пропуску срока.
| Критерий | VibeLab (RAG) | Just AI | No-code (Botpress / Voiceflow) |
|---|---|---|---|
| Точность по кодексам | 94% — извлечение из актуальной базы | 67% — зависимость от даты обучения | 58% — потеря структуры при чанкинге |
| Работа с прецедентами | Поиск по параметрам с фильтрацией | Генерация из памяти, 34% выдуманных ссылок | Не поддерживается без доработки |
| Compliance-фильтрация | Пункт-к-норме сопоставление | Общие рекомендации | Поверхностный анализ |
| Скорость ответа | 3–8 сек. | 2–4 сек. | 2–5 сек. |
| Уровень галлюцинаций | 3% | 34% на прецедентах, 12% на кодексах | 28% |
| Кастомизация | Полная: чанкинг, metadata, re-ranking | Средняя: сценарные деревья | Низкая: визуальный редактор |
| Стоимость (6 мес.) | Средняя | Высокая | Низкая (но скрытые затраты) |
| Обновление базы | 2–4 часа | Недели | Ручная замена, без версионирования |
Just AI выигрывает по скорости ответа — следствие отсутствия этапа retrieval. No-code выигрывает по стоимости входа. Но на критериях, определяющих пригодность для юридической практики (точность, галлюцинации, compliance), RAG-подход опережает обе альтернативы.
Just AI — когда:
No-code — когда:
RAG-специализация — когда:
Разделение простое: если ошибка бота — неудобство, подойдёт любой инструмент. Если ошибка бота — юридический риск, нужна архитектура, минимизирующая галлюцинации.
Как система работает с юридическими документами? Правильно: парсинг с сохранением структуры, metadata по дате редакции. Красный флаг: «загружаете PDF — бот отвечает».
Какой механизм обновления правовой базы? Правильно: пайплайн с конкретными сроками в часах. Красный флаг: «регулярно обновляем модель» без деталей.
Как работает механизм citations? Правильно: ссылка на конкретную норму с указанием редакции. Красный флаг: ответы без источников.
Какой процент галлюцинаций? Правильно: конкретная цифра с методологией. Красный флаг: «наш ИИ не галлюцинирует».
Можно ли настроить retrieval под область права? Правильно: настраиваемые параметры чанкинга, фильтрации, ранжирования. Красный флаг: единый пайплайн для всех документов.
Как проходит compliance-аудит ответов? Правильно: логирование, ретроспективная проверка, обратная связь от юристов. Красный флаг: «дальше — ваша ответственность».
Полная стоимость владения за 12 месяцев? Правильно: лицензия + внедрение + кастомизация + обновления + поддержка. Красный флаг: «от X рублей» без учёта скрытых затрат.
Если вендор не может ответить на три и более вопросов — перед вами универсальное решение, которое пытаются продать как юридический инструмент.
Мы проводим 30-минутные разборы архитектуры под конкретные задачи юридических фирм. Вы описываете свой сценарий — мы показываем, где теряет точность ваш текущий инструмент и как это решается архитектурно. Без продаж — только конкретика по вашему кейсу. Оставить заявку можно на сайте VibeLab или написать в Telegram.
Поделимся опытом
8 800 201 85 68