Как оценить эффективность информационной системы
Перефразируя известный парадокс нобелевского лауреата Роберта Солоу, мы наблюдаем цифровую эру всюду, кроме статистики по производительности труда: ИТ не оправдывают наши ожидания на лучшую экономику. Правда, профессор Стэнфорда Эрик Бриньолфссон предложил еще один парадокс – при всей очевидности, не существует метода прямой и строгой оценки эффекта от внедрения ИТ: лишь время покажет, и порой, увы, не скоро.
Не стану спорить с уважаемыми коллегами. Добавлю, что количество и качество труда на единицу времени, во все известные эпохи, зависит не столько от орудий этого труда, даже при прочих равных, сколько от самого трудящегося. А цифра нужна далеко не только для производительности, но - вспоминаем теорию систем – еще и в целях снижения ресурсоемкости и увеличения оперативности процессов, а также роста показателей качества управления в целом.
Вместе с тем, есть ощущение, что разговоры о недостаточной или сомнительной эффективности ИТ – от неумения ее посчитать. Хотя для большинства проектов это вполне решаемо. Как? Общая схема примерно такая (см. табл. 1):
Таблица 1 - Методика многокритериальной оценки экономической эффективности эксплуатации автоматизированной информационной системы (АИС)
Не стану спорить с уважаемыми коллегами. Добавлю, что количество и качество труда на единицу времени, во все известные эпохи, зависит не столько от орудий этого труда, даже при прочих равных, сколько от самого трудящегося. А цифра нужна далеко не только для производительности, но - вспоминаем теорию систем – еще и в целях снижения ресурсоемкости и увеличения оперативности процессов, а также роста показателей качества управления в целом.
Вместе с тем, есть ощущение, что разговоры о недостаточной или сомнительной эффективности ИТ – от неумения ее посчитать. Хотя для большинства проектов это вполне решаемо. Как? Общая схема примерно такая (см. табл. 1):
- Сначала определяете параметры бизнес-процессов, на величину которых можно влиять: скажем, вы автоматизируете складские операции, одним из параметров может быть скорость инвентаризации.
- Затем выясняете норму улучшения каждого параметра – ищете в открытых источниках данные по аналогичным отраслевым проектам.
- Далее собираете фактические оценки нужных параметров на объекте автоматизации – а если таких фактов нет, то апроксимируете аналогичные данные по рынку.
- Завершаем элементарной арифметикой – умножаем норму улучшения параметра (в%) на факт и получаем значение ожидаемого эффекта от внедрения ИТ в части указанного параметра.
Таблица 1 - Методика многокритериальной оценки экономической эффективности эксплуатации автоматизированной информационной системы (АИС)
В свою очередь, о результативности проекта автоматизации можно судить по достижению ожидаемых эффектов. Сначала, в соответствии с теорией системного анализа, оцениваем степень достижения каждого из них по следующим критериям:
Также можно получить интегральную квалиметрическую оценку результативности проекта в целом, рассчитав среднее арифметическое из суммы всех оценок по всем эффектам и так же соотнеся ее с нечеткой шкалой. Оценивание можно провести по предварительным итогам выполнения задач по проекту, а также делать регулярно по периодическим эффектам (например, динамика производительности труда или рентабельность средств производства) с помощью опроса непосредственных участников каждого из бизнес-процессов, в которых проявляются указанные эффекты.
Алгоритм инвариантный и простой, однако следует учитывать субъективность персональных оценок и не забывать про более объективные количественные показатели (деньги, продуктивность, тренды), используя их все в совокупности.
Как при этом оценить в целом, насколько хорошо мы автоматизируем те или иные бизнес-процессы? Хорошо и плохо в данном случае – совсем не бихевиористские понятия из стихотворения Маяковского. Это вполне живые квалиметрические величины, которыми оперирует сознание заказчика или покупателя – и из которых они делают вывод о перспективах сотрудничества с исполнителем и вендором ИТ-решения. Ясно, что работать в терминологии хорошо/плохо невозможно – ее нужно приземлить на семантику цифры.
Рассматривая рабочие процессы, мы видим в них системные свойства, у них есть свой жизненный цикл – число шагов, работ, этапов выполнения, связанных в потоки. Одним из вариантов интерпретации "хорошей автоматизации" может стать оценка ее полноты – степени покрытия бизнес-процесса функциональностью информационной системы.
Оценке нужны шкала и критерии – воспользуемся тем фактом, что, в соответствии с теорией вычислительной сложности, наша проблема относится к вероятностным за полиномиальное время с ограниченной ошибкой (BPP-класс), где для истинности утверждения достаточно вероятности 2/3, и возьмем три значения полноты и три метрики (см. табл. 2). Этот же принцип используем для соотнесения значений метрик и шкалы.
Таблица 2 – Методика оценки полноты информатизации и автоматизации бизнес-процессов
Сокращения:
Методика может пригодиться, помимо прочего, для подтверждения результативности в контексте эффективности проекта внедрения АИС, а также в отчетах по госконтрактам и грантам из бюджетных фондов.
- адекватность/пригодность (соответствие проекта внедрения АИС ожидаемому эффекту в плане достижения его максимума);
- оптимальность (необходимость и достаточность проектных решений для эффекта);
- превосходство над потенциальными аналогами (насколько решения лучше тех, что есть или могли бы быть вместо).
- да – 1;
- почти да – 0,8;
- больше да, чем нет – 0,6;
- больше нет, чем да – 0,4;
- почти нет – 0,2;
- нет – 0.
Также можно получить интегральную квалиметрическую оценку результативности проекта в целом, рассчитав среднее арифметическое из суммы всех оценок по всем эффектам и так же соотнеся ее с нечеткой шкалой. Оценивание можно провести по предварительным итогам выполнения задач по проекту, а также делать регулярно по периодическим эффектам (например, динамика производительности труда или рентабельность средств производства) с помощью опроса непосредственных участников каждого из бизнес-процессов, в которых проявляются указанные эффекты.
Алгоритм инвариантный и простой, однако следует учитывать субъективность персональных оценок и не забывать про более объективные количественные показатели (деньги, продуктивность, тренды), используя их все в совокупности.
Как при этом оценить в целом, насколько хорошо мы автоматизируем те или иные бизнес-процессы? Хорошо и плохо в данном случае – совсем не бихевиористские понятия из стихотворения Маяковского. Это вполне живые квалиметрические величины, которыми оперирует сознание заказчика или покупателя – и из которых они делают вывод о перспективах сотрудничества с исполнителем и вендором ИТ-решения. Ясно, что работать в терминологии хорошо/плохо невозможно – ее нужно приземлить на семантику цифры.
Рассматривая рабочие процессы, мы видим в них системные свойства, у них есть свой жизненный цикл – число шагов, работ, этапов выполнения, связанных в потоки. Одним из вариантов интерпретации "хорошей автоматизации" может стать оценка ее полноты – степени покрытия бизнес-процесса функциональностью информационной системы.
Оценке нужны шкала и критерии – воспользуемся тем фактом, что, в соответствии с теорией вычислительной сложности, наша проблема относится к вероятностным за полиномиальное время с ограниченной ошибкой (BPP-класс), где для истинности утверждения достаточно вероятности 2/3, и возьмем три значения полноты и три метрики (см. табл. 2). Этот же принцип используем для соотнесения значений метрик и шкалы.
Таблица 2 – Методика оценки полноты информатизации и автоматизации бизнес-процессов
Значения шкалы полноты | Полная | Частичная | Слабая |
Критерии оценки | |||
Охват этапов ЖЦ БП | АИС поддерживает все этапы ЖЦ | АИС поддерживает не меньше 1/3 этапов ЖЦ | АИС поддерживает меньше 1/3 этапов ЖЦ |
Достаточность АИС для обеспечения БП | Другие АИС не требуются (не обязательны) | Требуется обязательное использование других АИС, но не более чем в 1/3 этапов ЖЦ | Требуется обязательное использование других АИС более чем в 1/3 этапов ЖЦ |
Необходимость участия человека в реализации БП | Не требуется | Требуется не более чем в половине этапов ЖЦ | Требуется в большинстве этапов ЖЦ |
Сокращения:
- АИС – автоматизированная информационная система
- БП – бизнес-процесс
- ЖЦ – жизненный цикл бизнес-процесса, совокупность этапов его реализации
Методика может пригодиться, помимо прочего, для подтверждения результативности в контексте эффективности проекта внедрения АИС, а также в отчетах по госконтрактам и грантам из бюджетных фондов.