Парадокс продуктивности ИИ: как оценивать ИИ-инициативы

Можно наблюдать повсеместное внедрение ИИ в компаниях разного уровня. При этом внутри компаний растет ощущение роста внутренней производительности с внедрением ИИ-инструментов и агентов, но при этом клиенты для себя не отмечают никаких изменений. Вот один из парадоксов реальности.

Флоу заявок стал красивым, ответы на вопросы улетают за минуты и кому надо, убраны коммуникативные издержки за счет сокращения ролей, на каждый процесс есть дашборд с прекрасными графиками мониторинга, но удовлетворенность клиентов и их удержание не растут.

Исследование показывает, что в организациях ИИ обеспечивает значительный рост внутренней производительности, в то время как ценность для клиентов и рентабельность инвестиций остаются на прежнем уровне.

Хорошим описанием такой активности могло бы быть: команда стала быстрее топтаться на месте. «AI Productivity Paradox» — это тема, которую обсуждают на разном уровне.

Измерение отдачи от внедрения ИИ

Опрос WRITER «AI Adoption in the Enterprise», проведенный среди руководителей, показал, что они оценивают рост производительности ИИ-активных пользователей в 5 раз по сравнению с теми, кто не преуспел в этом.

Но вопрос в том, что даже это не приводит к повсеместной окупаемости инвестиций от вложений в ИИ. Индивидуальная продуктивность не конвертируется в создание бизнес-ценности.

Для небольшой компании очень легко проверить отдачу от внедрения ИИ через финансовые метрики: рентабельность компании, оборот на сотрудника. Если представить, что ИИ создает новые бизнес-ценности в том же объеме, в каком растет ощущение продуктивности, то параметры должны расти. Также можно оценить и влияние ИИ на качество клиентского опыта: сократилось ли время решения проблем, выросла ли удовлетворенность. Все это несложно посчитать и измерить, чтобы увидеть влияние ИИ на реальный результат.

В статье на HBR «AI-Generated „Workslop“ Is Destroying Productivity» авторы уже отмечали похожую проблему внутри команд, когда сотрудники используют ИИ для генерации документов и отчетов: результаты выглядят хорошо, но они не добавляют ценности, а только создают дополнительные материалы для изучения. Более того, иногда получатели всего этого (workslop) вынуждены тратить дополнительное время на то, чтобы проверить и попытаться понять результаты ИИ-генерации, что в итоге только увеличивает их издержки вместо того, чтобы облегчать работу.

И получается, что внутри компании может быть ощущение бурной деятельности, а снаружи это же может восприниматься как дополнительные издержки.

На что ориентируемся, то и получаем

Возможная причина неудачных результатов — в настройке бизнес-фокуса. Например, компания может считать, что важным является внедрение быстрого ответа на запрос пользователя, и использует для этого ИИ. Но можно ориентироваться на то, сколько проблем пользователей было решено с первого раза. И тут мы имеем одну и ту же ситуацию, но в первом случае у нас будет количественная метрика, а во втором — качественная. И для получения стабильного результата во втором случае простым внедрением ИИ уже не обойтись.

«Ускорение ответа на запрос пользователя» или «Улучшение качества ответа на запрос пользователя».

Можно представить еще одну ситуацию, когда есть служба мониторинга и внедренный ИИ позволяет быстрее разрешать возникающие проблемы, но, может быть, более зрелым решением было бы предсказание возникновения таких проблем и предотвращение их еще до инцидента.

«Ускорение решения инцидентов» или «Предотвращение возникновения инцидентов и превентивное их устранение».

Фреймворк ИИ-усилий

От того, как мы подходим к решению задачи, часто зависит ее результат. Так почему бы не собрать простой фреймворк для помощи в рассуждении о том, какую ИИ-инициативу выбрать для внедрения?

Я предлагаю использовать простую матрицу из двух измерений: по одной оси откладывать оценку полезности решения с точки зрения эффективной работы компании, по другой — полезность решения с точки зрения дополнительных ценностей, которые это решение создает для клиентов.

По оси производительности компании оценивается доля затрат, которую инициатива затрагивает, умноженная на изменение. Например, ускорение задачи в разы, если задача занимает 5% времени проекта, дает низкое значение по оси.

Якоря для шкалы оценки:

• 0–2. Эффект почти нулевой или уходит в минус. Либо задача мизерная, либо инициатива добавляет работы больше, чем снимает. Например, мониторинг продуктивности, тренажер soft skills. 

• 3. Экономия есть, но в узком месте. Для одного человека или небльшой задачи. Wiki-страницы, офлайн-симуляция A/B.

• 4–5. Заметная экономия у одной функции. Изменения в регулярных задач, но надо что-то делать еще руками.

• 6–7. Сильный эффект в целом направлении. Меняется не задача, а способ работы команды.

• 8–9. Меняется структура затрат. Например, массовая рутинная операция автоматизируется за счет ИИ.

• 10. Целый класс затрат исчезает полностью. Трудно придумать, что это могло бы быть.

По оси ценности для клиента оценивается изменение, которое клиент может заметить: скорость выхода функций, качество и стабильность, доступность, цена и т. д. Для этого должен быть сформулирован сам механизм, как инициатива влияет на клиентские ценности.

Якоря для шкалы оценки:

• 0–2. Клиент не затронут. Например, таймшиты, внутренние регламенты, автотегирование файлов.

• 3. Механизм есть, но эффект почти незаметен. Релизы чуть быстрее, документация чуть лучше.

• 4–5. Клиент заметит, но не сразу и не всегда. Меньше сбоев в релизах, быстрее восстановление после аварии.

• 6–7. Заметное улучшение в конкретной ситуации. Сервис доступен во время DoS-атаки, ИИ-аудит доступности, перевод системы на язык пользователя.

• 8–9. Меняется сам сценарий клиента. Персональные рекомендации, проактивный сервис, подбор более дешевого тарифа, консьерж для сложного выбора.

• 10. Появляется то, чего без ИИ не было.

Если посмотреть на получившуюся матрицу (рис. 1), то можно выделить четыре квадранта:

• Трансформация. Эффект чувствуется и внутри компании, и у клиента. Идеально, но сложно.

• Операционная эффективность. Заметный эффект внутри компании, но слабый для клиентов. Здесь окупаемость вложений в ИИ посчитать проще всего.

• Клиентская ценность. Здесь больше выигрывают клиенты. Для компаний вложения в эти области могут выглядеть неэффективно. Но это может работать на удержание клиентов.

• Низкий эффект. Инициативы, которые имеют низкий эффект. И инициативы, которые впечатляют на демо и в презентациях, но слабо работают даже внутри компании.

Еще можно выделить отдельные зоны в рамках квадрантов.

Ценность за счет компании. Клиент выигрывает заметно, компания же за это платит эффективностью или доходами. Например, если мы создаем службу поддержки, то гарантированный переход к живому оператору по первому запросу будет давить на многие метрики автоматизации и ухудшать их. Но в защиту таких инициатив могут быть отложенные метрики — удержание, или это может быть связано с требованием регулятора.

Эффект только внутри компании. Это инициативы для операционной эффективности. Ожидается реальная и измеримая экономия, но клиенты просто ничего не заметят. Экономию можно сделать ценностью для клиентов, если за счет нее снижается стоимость для клиентов или когда высвобожденные ресурсы вкладываются в создание дополнительных ценностей. Второй вариант предпочтительнее, потому что позволяет не снижать оборот, а только наращивать продуктивность.

Топтание на месте. Здесь слабый эффект для всех. Порой инициативы могут восприниматься как эффективные для компании, но если на них смотреть с позиции продуктивности, то их эффект оказывается незначительным. Подозреваю, что в корпоративной среде много внедрений ИИ-инициатив как раз и связано с внедрением внешне ярких, но непродуктивных решений. При этом надо отметить, что есть много мелких решений и автоматизаций, которые будут находиться в этой области только по причине своего мелкого масштаба, но при этом могут нести локальную пользу. Все частные продукты, которые человек создает для автоматизации именно своей деятельности, могут оказаться в этой области. Например, я сделал для себя плагин для Chrome, который проверяет орфографию через ИИ, и регулярно пользуюсь, но итоговый эффект такой инициативы очень маленький, потому что затрагивает только одного человека.

В итоге на карте можно разместить ИИ-инициативы, и собственно сам процесс размышления и расчета того, куда нужно инициативу разместить, дает возможность лучше понять необходимость работать над выбранной задачей.

Я для примера разместил четыре идеи на такой схеме. В силу экспертности такого подхода можно спорить о том, где каждая из инициатив должна находиться, но даже интуитивно ощущается, что они не смогут все занять правый верхний квадрант. И даже не все из них могут преодолеть существенный порог пользы для клиентов.

• Договоры и тарифы простым языком. Низкая оценка по X, потому что каждую переформулировку нужно сверить с исходной юридической конструкцией, иначе упрощение меняет смысл обязательства. Высокий Y, потому что затрагивает всех клиентов, а не сегмент, и касается тех решений, где непонимание стоит денег.

• ИИ-анализ обратной связи клиентов. X высокий, потому что ручной разбор отзывов, обращений и интервью съедает много времени, а объем материала почти не ограничен. Y высокий, исходя из того, что найденные инсайты доходят до реализации.

• Генерация и саммаризация документов. X высокий, потому что это касается почти всех ролей. Y ограничен, потому что документы остаются внутренним артефактом.

• ИИ-скоринг бэклога по RICE и ICE. Низкие оценки по обеим осям. Приоритизация занимает мало времени, поэтому экономить почти нечего. Иллюзия объективности при использовании ИИ в данном случае опаснее, чем потеря времени при ручной приоритизации.

Это только модель, она условна, но может помочь увидеть, какие ИИ-инициативы дают возможности для роста компании, а какие остаются для галочки. А создавая новые ценности для клиентов, мы как раз создаем возможности для роста.

На GitHub я выложил расширенный пример такой матрицы, там же лежит репозиторий.

В заключение

Я вспоминаю старый анекдот, который заканчивается словами: «…Вы просто не умеете их готовить». И на мой взгляд, проблемы эффективного внедрения ИИ в компаниях во многом сопряжены с тем, что внедрение идет без фокусировки на значимые цели. А для большинства компаний такие цели будут связаны с созданием дополнительной ценности для клиентов.

И когда можно за счет ИИ создавать такие ценности и еще улучшать внутреннюю эффективность, тут, кажется, и появляется точка трансформации, которая обеспечивает рост отдачи от ИИ. Иначе можно долго топтаться на одном месте, только создавая иллюзию движения вперед.

Если кто-то хочет попробовать оценить свои ИИ-инициативы по такой матрице, то я готов принять в этом участие, чтобы оценить на практике, насколько этот фреймворк может быть адаптирован к реальной работе в корпоративной среде.