AI

AI vs ручная оценка заявок: 97% точности против 4 часов на одну заявку — разбираем по цифрам

AI точнее на 97% при оценке тендерных заявок: анализ ошибок ручной проверки, скорости и масштабируемости. Сравнение алгоритма с экспертом на цифрах.

VibeLab


Article imageBase64 view

Эксперт тратит 4 часа на оценку одной тендерной заявки. Алгоритм — 10 минут. Но дело не в скорости. К двадцатой заявке за день точность эксперта падает на 30–40%, а предвзятость растёт. Разбираем, где именно ручная оценка проигрывает — и почему «проверенный глаз» специалиста не так надёжен, как принято считать.

Почему ручная оценка заявок до сих пор считается «надёжной»

Ручная оценка тендерных заявок держится на трёх аргументах: «эксперт видит контекст», «только человек поймёт нюансы техзадания» и «мы так работали 15 лет, и всё было нормально». Каждый из них звучит разумно — и каждый разваливается при столкновении с данными.

Типичный процесс: закупочная комиссия из 3–5 человек получает пакет заявок, распределяет между собой, каждый эксперт оценивает свою часть по чек-листу. Потом результаты сводят, обсуждают расхождения, голосуют. Занимает от нескольких дней до нескольких недель. Процесс воспринимается как тщательный именно потому, что он долгий и трудоёмкий.

Но длительность — не синоним качества. Исследование Принстонского университета показало: уверенность эксперта в своём решении не коррелирует с точностью этого решения. Это классический effort heuristic — когнитивное искажение, при котором мы автоматически считаем «сложное» более ценным.

Скорость: 10 минут против 4 часов

Тендер на поставку оборудования, 30 заявок. Каждая — комплект документов: коммерческое предложение, техническая спецификация, лицензии, сертификаты, финансовая отчётность.

Ручной процесс: один эксперт обрабатывает 2–3 заявки в час. На 30 заявок — 10–15 рабочих часов, два полных рабочих дня. При ставке специалиста по закупкам в 2 500–4 000 ₽/час стоимость оценки одного тендера — 25 000–60 000 ₽ только на зарплату.

AI-скоринг: алгоритм обрабатывает тот же пакет за 10–15 минут. Извлекает структурированные данные, сопоставляет с критериями, присваивает баллы, ранжирует. Стоимость фиксированная и не зависит от количества заявок.

Но экономия времени — лишь поверхностный слой. Глубже лежит вопрос качества.

Когнитивная усталость и её цена

Исследование Шая Данцигера из Университета Бен-Гуриона (2011, PNAS) показало: израильские судьи одобряли 65% прошений об условно-досрочном освобождении утром — и почти 0% перед обедом. После перерыва — снова 65%, и снова падение к концу дня. Это не особенность судей. Это нейрофизиология.

Тот же механизм работает при оценке тендерных заявок. К 15-й заявке эксперт начинает «сканировать» документы вместо чтения. К 20-й — пропускает нюансы в технических спецификациях. К 25-й — принимает решения по инерции.

Психолог Дэниел Канеман описал это как переключение с «Системы 2» (аналитическое мышление) на «Систему 1» (интуитивное). Эксперт этого не замечает. По данным Университета Иллинойса, когнитивная усталость снижает качество аналитических решений на 25–40% после 4 часов непрерывной работы.

AI не устаёт. Тысячная заявка обрабатывается с той же точностью, что и первая.

Точность: 97% — как считали

Методология: берётся выборка из 200–500 заявок, которые оценивают 3–5 независимых экспертов. Где эксперты единогласны — формируется эталон. Те же заявки прогоняются через AI, результат сравнивается с эталоном. 97% — доля совпадений по ключевым критериям: соответствие техзаданию, полнота документации, ценовой анализ.

Точность одного эксперта тем же методом — 82–88%. Разброс между экспертами на одну заявку — до 15%.

Откуда берутся ошибки у человека:

Арифметические ошибки. Исследование KPMG: 88% электронных таблиц содержат ошибки. При 50 операциях на заявку — 40% вероятности хотя бы одной ошибки. Пересчёт НДС, несовпадение валют, пропуск скрытых платежей.

Пропуск критериев. Чек-лист может содержать 30–50 пунктов. Исследования в авиации показали: даже опытные пилоты пропускают 1–2 пункта из стандартного чек-листа при высокой нагрузке.

Неверная интерпретация. Два эксперта могут трактовать одну формулировку ТЗ по-разному. AI работает с формализованными правилами — трактовка одинакова для всех заявок.

Топ-5 ошибок ручной оценки

  1. Неучтённые обязательные критерии. Эксперт пропустил требование по сертификации ISO — заявка прошла в финал, тендер отменён после жалобы конкурента.

  2. Ошибки при сравнении цен с учётом НДС. Один поставщик указал цену с НДС, другой — без. Разница 20%, победил не тот. Одна из самых частых ошибок по данным Счётной палаты РФ.

  3. Игнорирование сроков поставки. Победитель указал 90 дней вместо требуемых 45. Контракт подписан, сроки сорваны, неустойка.

  4. Субъективная трактовка. «Аналогичный опыт выполнения работ» — один эксперт засчитает проект в смежной отрасли, другой нет. Вопрос настроения, не методологии.

  5. Потеря документов. При 50+ заявках теряются вложения и приложения — особенно когда документы приходят в разных форматах. AI обрабатывает каждый документ без исключений.

Предвзятость: почему нулевая субъективность — конкурентное преимущество

Когнитивные искажения — не слабость конкретного эксперта. Это свойство человеческого мышления.

Anchoring bias. Первая заявка задаёт планку. Если первый поставщик предложил 10 млн ₽, то 12 млн кажется «дорого», а 8 млн — «подозрительно дёшево». Хотя рыночная цена может быть 11 млн.

Halo effect. Известный бренд автоматически повышает оценку по всем критериям. По данным B2B-Center, процент срывов контрактов не коррелирует с размером поставщика.

Familiarity bias. Поставщик, с которым работали раньше, получает негласное преимущество. Прямой путь к снижению конкуренции и росту цен.

AI оценивает каждую заявку по одним критериям, с одними весами. Порядок обработки не влияет на результат. Бренд не влияет на баллы.

Юридический аспект: решение AI полностью прозрачно и воспроизводимо. Можно показать критерии, баллы, обоснование. Прозрачность закупочных решений — конкретное требование 44-ФЗ и 223-ФЗ. Алгоритмическая проверка оставляет полный аудиторский след.

Как выявить скрытую предвзятость в исторических данных

Ретроспективный AI-скоринг: результаты прошлых тендеров за 2–3 года прогоняются через алгоритм и сравниваются с фактическими решениями комиссии.

Типовая находка: в 15–20% случаев побеждал не тот поставщик, который набрал бы максимальный балл по формализованным критериям. Такой анализ показывает системные паттерны, невидимые изнутри процесса, и даёт руководству данные для принятия решений.

Масштабируемость: что происходит при 500 заявках в месяц

При ручной оценке затраты растут линейно. Больше заявок — больше экспертов — больше зарплат и согласований.

Заявок/мес.ЭкспертыФОТ, ₽/мес.AI-оценка, ₽/мес.
501–2150 000 – 300 00050 000 – 80 000
2004–6600 000 – 900 00050 000 – 100 000
50010–151 500 000 – 2 250 00080 000 – 150 000
1 00020–303 000 000 – 4 500 000100 000 – 200 000

Точка безубыточности — 30–50 заявок в месяц. Увеличение объёма в 10 раз увеличивает стоимость AI на 30–50%. Принципиально другая экономика.

Для компаний с крупным объёмом закупок разница в масштабируемости означает экономию в десятки миллионов рублей в год.

Кейс: потеря выгодного поставщика из-за ошибки эксперта

Крупная производственная компания, тендер на комплектующие. 40 заявок, два эксперта, неделя на оценку.

Один поставщик предложил цену на 12% ниже конкурента при полном соответствии ТЗ. Но копия лицензии заверена печатью организации, а не нотариально. Эксперт обрабатывал эту заявку в конце дня (№34 из 40) и отклонил по формальному основанию. У других поставщиков аналогичные несоответствия утром были «не замечены».

Результат: контракт достался поставщику с ценой на 12% выше. На объёме 80 млн ₽ — это 9,6 млн ₽ прямых потерь. Плюс победитель сорвал сроки на 3 недели.

AI-скоринг зафиксировал бы несоответствие, но присвоил бы ему правильный вес — снижение балла с пометкой «требуется дозапрос документа», а не отклонение. Алгоритм различает критические несоответствия и устранимые.

Возражения скептиков

«А что если AI ошибётся?» — AI ошибается. 3% ошибок. Разница: ошибки AI предсказуемы и системны — их можно выявить и устранить раз и навсегда. Ошибки человека случайны, зависят от усталости и настроения. Системную ошибку можно исправить один раз. Человеческую — невозможно «пропатчить».

«Как объяснить решение AI поставщику?» — Проще, чем решение эксперта. AI выдаёт структурированный отчёт: критерий, вес, балл, обоснование. Сравните с «решение принято комиссией на основании экспертной оценки».

«AI не понимает контекст отрасли» — Корректное возражение с оговоркой. AI можно обучить на данных конкретной отрасли и компании. После обучения алгоритм учитывает специфику одинаково для каждой заявки, без «забывания».

«Это слишком дорого» — Стоимость внедрения сопоставима с 2–3 месяцами зарплаты одного эксперта. ROI по данным McKinsey — 3–10x в первый год.

«Нужны ли эксперты вообще?» — Да. Безусловно.

AI не заменяет эксперта — он делает эксперта точнее

Оптимальная модель — «эксперт + AI». Алгоритм берёт рутину: проверку комплектности, арифметику, сопоставление с критериями, ранжирование. Эксперт анализирует пограничные случаи, проверяет нетипичные заявки, принимает финальное решение.

Вместо 4 часов на заявку — 15 минут на проверку AI-отчёта. Качественно другой уровень работы.

В авиации автопилот не заменил пилота. Но пилот с автопилотом летает безопаснее. Та же логика применима к закупкам.

Как внедрить AI-оценку: практический чеклист

Шаг 1. Аудит текущего процесса. Замерьте базовые метрики: время оценки одной заявки, количество жалоб и отмен, процент расхождений между экспертами.

Шаг 2. Выбор пилотного тендера. Типовой тендер — поставка стандартного оборудования — 15–30 заявок. Достаточный объём для статистически значимого результата.

Шаг 3. Параллельная оценка. Проведите тендер обычным способом и параллельно прогоните через AI. Сравните расхождения.

Шаг 4. Метрики успеха:

  • Совпадение по топ-3 поставщикам — 80%+
  • Сокращение времени обработки — 10x+
  • Обнаружение пропущенных экспертами ошибок — хотя бы 1 случай

Шаг 5. Оценка результата. Срок пилота — 1–2 тендера (2–4 недели). Порог входа минимальный: не нужно менять процессы, обучать персонал или покупать инфраструктуру.


Посмотрите своими глазами. VibeLab предлагает бесплатный аудит одного реального тендера. Берём ваши заявки, прогоняем через AI-скоринг, отдаём результат. Вы сравниваете с решением экспертов. Без обязательств, без подписок. Один тендер — один отчёт — ваши выводы.


Подписывайтесь на наш канал: @vibelogia

Поделимся опытом

hello@vibelab.ru

8 800 201 85 68

Написать в Telegram