>

Bi описание. Что такое Microsoft Power BI и что он умеет? Подключение к данным

Если вы постоянно работаете с большими объемами данных из разных источников, при этом данные операции никак не автоматизированы, BI-системы (Business Intelligence) - то, что вам нужно.

На примере моделей, которые предложили участники CoRe Хакатона (Construction & Recommendation Hackathon), смотрите, как применять платформу Power BI с пользой для бизнеса.

Почему Power BI

Что чаще всего используют компании для обработки больших массивов? Правильно, Excel. Сами представляете, сколько времени (иногда и специалистов) занимают ручные отчеты в электронных таблицах. При этом их удобно просматривать и редактировать только на широком экране.

Больше автоматизации и специфики предлагают аналитические системы Яндекс.Метрика и Google Analytics, но и они проигрывают BI-системам, так как у них:

  • Интерфейсы для среднего пользователя;

Например, банальный подсчет статистики для группы кампаний требует слишком много телодвижений: приходится перебирать все ID вручную, отмечать галочками, объединять в сегменты и потом только по ним работать.

  • Стандартные источники данных, их трудно дополнять самостоятельно;

На момент, когда пользователь совершает на сайте действия, нужно знать, что конкретно вы хотите узнать о нем и его поведении. Чтобы счетчик уже был готов к этому. Исторические данные, параметры для которых вы не задавали, анализировать проблематично.

  • Данные записываются лишь однажды, их невозможно корректировать.

Избегать эти и другие сложности помогают особые программы, которые сами извлекают данные из любых источников и визуализируют на «пять с плюсом», стоит только задать алгоритм.

Основные преимущества Power BI:

  • Понятный интерфейс;
  • Интерактивные информационные панели (dashboards);
  • Данные из разных систем (готовых файлов на компьютере, API, счетчиков Яндекс и Google и т.д.) в едином пространстве;
  • Доступ к ключевым показателям деятельности на любом устройстве;
  • Возможность глубокого исследования без привлечения IT и аналитиков.

Power BI предлагает бесплатное десктопное приложение Power BI Desktop (в нем мы компануем данные и формируем из них отчеты) и облачный сервис на портале powerbi.com (туда выгружаем готовые отчеты и мониторим их).

Power BI Desktop

Скачайте и установите программу на компьютер:

При каждом запуске выходит приветствие, где можно добавить новые данные или открыть готовые отчеты:


По умолчанию появляется окно нового отчета:


В Power BI Desktop можно редактировать данные и создавать по ним отчеты. Обо всем по порядку.

Подключение к данным

Получить данные / Дополнительные сведения.

Выберите источник. Например, веб-страница. Получить данные / Интернет / Подключиться:


Заполните адрес. ОК.

После этого в навигаторе увидите содержимое страницы. Выберите из списка элементы для дальнейшей работы.


Формирование данных

Что вы делаете: вы создаете инструкции по тому, как загружать и отображать данные в программе. Редактор запросов фиксирует их в блоке «Примененные шаги»:

Что вы получаете: при каждом подключении запроса к источнику данных алгоритм выполняется на автомате, данные формируются по одинаковому принципу. При этом меняется не источник, а конкретное представление.

Как это настроить?

Чтобы привести данные в нужный формат, преобразовать или удалить столбцы и т.д., используйте ленту «Преобразование»:


А также меню в редакторе запросов:


Внимание! Последовательность прописанных действий влияет на настройку данных. Поэтому стоит проверить, как каждый шаг влияет на следующие, прежде чем удалять его.

Объединение данных (запросов)

Два метода: слияние (объединить таблицы нескольких запросов) и дополнение (добавить строки из другого запроса в текущий).


Настройки для слияния:


В конце запроса появляется столбец NewColumn, который содержит данные (все столбцы) таблицы, которую объединили с текущим запросом. Можно развернуть таблицу и включить нужные.

Когда данных для создания отчетов достаточно, можно сохранить файл.

Чтобы загрузить изменения редактора запросов, нажмите «Закрыть и применить»:

Построение отчетов

Представление «Отчет» дает такие возможности:


Чтобы создать визуализацию, перетащите нужное поле в представление.

Отчет - это набор визуализаций. Сколько их - зависит от ваших задач.


  • Графики, гистограммы и линейные диаграммы:



  • Комбинированные, многоуровневые и кольцевые диаграммы:

  • Карточки, срезы и отдельные изображения - содержат важные параметры или логотипы:

  • Карты и картограммы:


  • Точечные, пузырьковые и воронкообразные диаграммы (подходят при построении бизнес-процессов):


  • Индикаторные диаграммы (показывают, насколько данные близки к целевым), плоские деревья (размеры прямоугольников коррелирует с данными):


Есть еще пользовательские - для самых одержимых фанатов аналитики.

Примеры:

  • Календарная визуализация - отличный планировщик событий, например.


  • Облако слов / облако тегов - часто используемые слова и выражения.


  • Граф силы - связи между данными, толщина напрямую зависит от силы отношений между точками.

  • Векторная диаграмма - например, для отображения результатов тестов, визуальной интерпретации исследований.

Основные принципы визуализации:

  • Удобная и понятная;
  • Доступ к любым данным в три клика;
  • Корректность для отображаемых закономерностей;
  • Отдельные дашборды под каждую задачу.

Когда отчет готов, вы выгружаете его на портал.

Портал powerbi.com

Залогиньтесь на сайте под учеткой с активной подпиской Office 365:


Портал позволяет решать те же задачи, что и приложение, кроме редактирования.

Закрепляете на панели мониторинга данные из нужных отчетов и отслеживаете в онлайне с любого устройства:


Можно подгонять под удобный размер, перемещать мышью, разворачивать во весь холст, удалять, менять порядок данных внутри и т.д.

Как настроить общий доступ к отчетам (3 способа):

  • Опубликовать в службе Power BI:

Войдите в Power BI, чтобы увидеть загруженный файл в разделах «Панели мониторинга», «Отчеты» и «Наборы данных».

  • Загрузить файл PBIX из службы Power BI:

Нажмите «Получение данных», чтобы запустить загрузку из Power BI Desktop:

Появится страница, на которой выбираете источник «Файлы»:


После передачи файла вы найдете его слева в меню «Отчеты».


  • Сохранить и отправить файл по email:


Что позволяет внедрить Power BI: результаты хакатона

Командам дали исходные данные - выгрузки по двум сайтам недвижимости (все данные обезличенные):

  • По сессиям из Logs API - 500 000 строк;
  • По хитам из Logs API - 1 100 000 строк;
  • По звонкам из CoMagic;
  • Агрегированные данные Яндекс.Директа для каждого сайта.

Задание - создать систему, которая поможет в работе маркетологам и руководителям отделов продаж.

Приведем примеры решений, которые заняли призовые места. Оцените, насколько они адаптированы для бизнеса и красиво выполнены!

UraAnalytics

Обладатели 3-го места применили сквозную аналитику. Так выглядят диаграммы, в которых они объединили действия и звонки аудитории:



Информационная панель по пропущенным звонкам показывает, когда чаще они поступают, какой процент занимают в общем числе обращений по телефону и другие ценные показатели:


First Party Data

Решение от команды со 2-м призовым местом позволяет отслеживать кампании и эффективность отдела продаж.

На сегодняшний день, одной из важных задач, с которыми мы сталкиваемся в процессе работы, является задача правильного и красивого предоставления данных. Мы стремимся превратить безликие цифры в интересные и информативные материалы, оживить свои отчеты и презентации. Более того, объем данных, поступаемых в мозг человека, увеличивается с каждым годом, поэтому, наряду с получением любых результатов нам необходимо правильно их обработать и структурировать.

С чего мы начнем?

Для начала, нам необходимо установить Power BI . Инструмент Power BI доступен в качестве отдельного приложения Power BI Desktop) или на портале powerbi.com . Наше знакомство с Power BI начнется с Power BI Desktop – в нем мы сначала обработаем данные, создадим по ним отчет, а затем загрузим его на портал.

Power BI +  . Что интересного хранится в группе?

В качестве группы, данные которой мы будем анализировать, я выбрала

Платформа Microsoft Power BI или просто Power BI — это новое направление развития Бизнес – аналитики (BI), представляющее собой набор служб бизнес-аналитики с поддержкой облачных технологий для анализа и визуализации данных. Основное преимущество данной технологии — это возможность построения красивых информационных панелей (dashboard), как правило, с ключевыми показателями деятельности компании, доступных на любом устройстве.

Что умеет Microsoft Power BI?

Power BI позволяет показывать на любом устройстве все ключевые показатели организации в удобной панели мониторинга:

Power BI может напрямую загружать данные для визуализации практически из любых источников:

  • Интеграция Службы SQL Server Analysis Services (Microsoft BI OLAP)
  • Интеграция SQL Server (Microsoft BI SQL)
  • Интеграция Excel
  • Интеграция CSV
  • Интеграция Текстовые
  • Интеграция Access
  • Интеграция XML
  • Интеграция Microsoft Dynamics NAV
  • Интеграция Microsoft Dynamics CRM
  • Интеграция SQL Azure
  • Интеграция SharePoint
  • Интеграция Active Directory
  • Интеграция IBM DB2
  • Интеграция Oracle
  • Интеграция PostgreSQL
  • Интеграция MySQL
  • Интеграция Google Analytics
  • и т.п.
Power BI содержит инструменты для самостоятельного создания интерактивных отчетов (dashboard):

Power BI Desktop

  • Power BI Desktop — это удобное и понятное приложение для загрузки, анализа и визуализации данных на dashboard-панелях, которое также позволяет публиковать готовые dashboard-отчеты на портале Power BI.

Power BI Desktop

Портал Power BI

  • Портал Power BI – это облачный портал Power BI, который находится по адресу (https://app.powerbi.com), и используется для публикации dashboard-отчетов и совместной работы с отчетами Power BI.

Портал Power BI

При наличии в организации бизнес-аналитики уровня Business Intelligence (BI) , Power BI может быть точкой входа (содержащей отчеты уровня KPI) в основной BI, из которых в случае необходимости можно любого KPI-показателя компании:

Отчеты Power BI можно встраивать в любое web-приложение, например, Демо BI (http://bireport.ru)

  • Пример: Встроенный интерактивный отчет Power BI

Дополнительно:

Power BI Premium

  • Решение уровня Power BI Premium — это расширенные средства бизнес-аналитики Power BI, которые позволяют развернуть службы Power BI на серверах внутри Вашей организации. Этот подход позволят перевести облачные компоненты Power BI в локальные (т.е. развернуть их на серверах Внутри вашей организации). В первую очередь это позволяет заменить облачный портал Power BI (https://app.powerbi.com), который используется для публикации отчетов, на локальный портал Power BI Report Server, например (http://bireport.ru). Решение Power BI Premium предусматривает отдельную модель лицензирования, при которой нет необходимости приобретать лицензии для каждого пользователя.

Power BI Mobile

  • Приложение бизнес-аналитики Power BI Mobile позволяет открывать и просматривать любые отчеты Power BI, которые опубликованы на облачном портале Power BI (https://app.powerbi.com) или на локальном портале Power BI Report Server (http://bireport.ru).
  • Приложение Power BI Mobile работает на любых устройствах с операционной системой Windows 10, iOS и Android. Это позволяет получить доступ к отчетам Power BI с помощью мобильных устройств.

Power BI Embedded

  • Power BI Embedded — это интеграционные средства Power BI, которые предназначены для разработчиков стороннего программного обеспечения. С помощью Power BI Embedded можно встроить компоненты бизнес – аналитики Power BI непосредственно в стороннее приложение, используя специальный набор API.

Power BI Report Server

  • Сервер Power BI Report Server — это локальный портал для публикации отчетов Power BI, который входит в состав решения уровня Power BI Premium и является альтернативой облачному порталу Power BI (https://app.powerbi.com). Портал Power BI Report Server разворачивается на серверах внутри Вашей организации и доступен по выбранному Вами корпоративному домену, например (http://bireport.ru)

Power BI Insights apps

  • Приложения Power BI Insights apps – это готовые решения бизнес – аналитики, реализованные на платформе Microsoft Power BI

Мы предлагаем следующие приложения уровня Power BI Insights apps .

Приветствую Вас, дорогие друзья, с Вами Будуев Антон. С этой статьи я начинаю рассматривать очень глубокую и важную для каждого из нас тему, в которую я влюбился «по уши» — это сквозная аналитика в бизнесе при помощи удивительной аналитической платформы от Microsoft — Power BI.

Дело в том, что в реалиях сегодняшнего времени, независимо от того, кем Вы являетесь — собственником бизнеса или генеральным директором, управляющим менеджером или руководителем, начинающим предпринимателем или же конкретным специалистом (например, в рекламной отрасли или в маркетинге), всем нам приходится обрабатывать огромное количество входящей информации и на ее основе быстро принимать те или иные взвешенные решения. Которые, в результате, превращаются в конкретные действия, а от них уже получаются результаты.

Если смотреть на вещи в причинно-следственных связях, то, чтобы результаты соответствовали нашим ожиданиям, нужно, чтобы действия были правильными. А действия будут правильными, если первичная информация будет, как говорит один из моих наставников — ТПСИ!

В кратком виде ТПСИ расшифровывается как информация:

  • твердая (то есть, реальная, неискаженная, без ошибок),
  • полная (то есть, всеобъемлющая, без сокрытий),
  • своевременная (то есть, «прямо здесь и сейчас»… устаревшая нас не устраивает).

В расширенной версии расшифровки еще добавляются определения:

  • сравнительная (то есть, мы должны ее с чем-то сравнивать… так как все познается только в сравнении),
  • красивая (то есть, визуально понятная, в графиках… так как человек думает и мыслит образами).

Чтобы у Вас в бизнесе информация была твердая, полная, своевременная, сравнительная и красивая, на основе которой, Вы смогли бы действительно делать правдивый анализ. И, соответственно, предпринимать те действия, которые нужны именно здесь и сейчас для достижения Ваших целей, хорошо и даже очень хорошо подходит целый комплекс программ и сервисов под названием MS Power BI (говоря по-русски «Повер Би Ай»), знакомству с которым и посвящена эта статья.

Если же в Ваших формулах имеются какие-то ошибки, проблемы, а результаты работы формул постоянно не те, что Вы ожидаете и Вам необходима помощь, то в бесплатный экспресс-курс «Быстрый старт в языке функций и формул DAX для Power BI и Power Pivot».

Power BI — что это такое? Описание софта.

Итак, PowerBI — что это за программа, что это за система такая от Майкрософт?

Если говорить про ее описание буквально в одном предложении, то Power BI — это аналитическая среда (комплекс программ и онлайн сервисов), которая дает возможность:

  • легкого подключения к любой выгрузке информации из разных источников,
  • объединения и приведения этой информации в единую стандартизованную модель данных (единый информационный колодец),
  • вычисления необходимых параметров и KPI на основе этих объединенных данных,
  • построения визуальных графиков, и .

И все это полностью автоматизировано, автообновляемо и доступно online для анализа с любых устройств (ПК, планшеты, смартфоны) в интерактивном режиме с предоставлением индивидуальных доступов для просмотра разными пользователями.

Для Вашего лучшего понимания, что такое отчеты и аналитика Power BI, ниже приведен пример простого интерактивного отчета по рекламным источникам и оплаченным заявкам.

Возможности Power BI

Какие же возможности для нас с Вами предоставляет Power BI? На самом деле список можно написать огромный, но мы ограничимся обзором самых основных возможностей:

  • Сбор информации абсолютно из любых источников данных. Это могут быть различные сервисы, базы данных, файлы, Google Docs, Яндекс-Диск, Excel, csv, папки, документы, данные из Интернет, API и различные другие коннекторы, которые ежемесячно разрабатывает и добавляет в программу команда Power BI;
  • Обработка полученных данных, их приведение к единому виду и стандарту. Объединение и связь всех этих разрозненных таблиц в единую модель данных (информационный колодец), которая позволяет черпать данные о состоянии бизнеса на любых уровнях детализации информации, добираясь до самой основы, разбирая все буквально до «косточек», до истинных первопричин имеющихся в бизнесе результатов;
  • Разработка и моделирование собственных формул, метрик, показателей и KPI для контроля и анализа необходимых параметров управления бизнесом;
  • Интерактивная визуализация всех метрик, KPI, таблиц в графическом виде. Что неимоверно улучшает и многократно убыстряет процесс отслеживания, сравнения и анализа операционной информации в бизнес управлении;
  • Представление всех отчетов и дашбордов через Интернет посредством Online службы или через мобильное приложение Power BI Mobile;
  • Предоставление раздельных прав доступа для сотрудников;
  • Использование серверных мощностей облака Microsoft для автоматической обработки любого количества данных;
  • Автоматическое обновление всей информации (в модели данных Ваших отчетов), размещенной в облаке Power BI, что позволяет получать актуальные данные в отчетах Power BI в режиме онлайн «прямо здесь и сейчас»;
  • Автоматическое оповещение системой нужных сотрудников при достижении критических значений в заданных KPI

Что Вам даст использование Power BI и сквозная аналитика в целом?

Нынешнее время — это век информации. И в современном бизнесе, независимо от его размеров, потоков данных очень и очень много: производство, продажи, прибыль, сотрудники, организационные данные, технические данные, логистика, финансы, реклама, маркетинг и так далее.

В каждых из этих сфер имеются десятки своих метрик и KPI. Причем эти метрики и KPI делятся по группам, сегментам, категориям, отделам, менеджерам, продавцам, магазинам и прочее. В общем, показателей, по которым идет контроль набирается даже не сотни, а тысячи.

И если Вы хотите быть успешными, на гребне волны и впереди всех конкурентов, то Вам нужно уметь очень быстро составлять все показатели контроля, анализировать их и принимать верные решения.

Но, проблема в том, что данных очень много и зачастую во многих бизнесах, а тем более у начинающих предпринимателей вся аналитика сводится к процессу ручного копирования (копи-паста). Причем это копирование очень нудное, долгое и кроет в себе большую вероятность совершения ошибок.

В итоге, все это бросается, никакой аналитики не ведется, а если и ведется, то на самом примитивном уровне, и как результат, все решения в бизнесе принимаются на основе каких-то личных умозаключений, которые в 99% случаев ошибочны. И из-за этого бизнес мало того, что не развивается, так и наоборот, проигрывает и скатывается вниз, неся огромные убытки.

Так вот, теперь Вы все это можете решить при помощи Power BI, и даже не можете, а Вам это просто необходимо, потому как:

  1. Сквозная аналитика с сегодняшними технологиями Power BI — это, на самом деле, легко и просто, не сложнее, чем Excel. С ней сможет справиться абсолютно каждый предприниматель, независимо от навыков, возраста, ресурсов и прочее. Абсолютно каждый!
  2. Внедрив сквозную аналитику и Power BI, у Вас появится ясность и Вы полюбите свой бизнес и управление. Вы почувствуете уверенность в себе и в своих решениях. Просто потому, что Вы будете ясно понимать свой бизнес и то, от каких процессов зависят Ваши результаты и как влиять на эти процессы.
  3. Внедрив сквозную аналитику и Power BI, Вы увеличите прибыльность бизнеса в 1.5-2 раза, а то и выше буквально «на пустом месте», сокращая ненужные издержки, усиливая Ваши преимущества и с каждым днем улучшая недостатки.
  4. Сквозная аналитика и Power BI — это Ваше конкурентное преимущество, Вы будете развиваться быстрее и качественнее конкурентов за счет контроля и работы над моментами, зачастую не видными невооруженным глазом. Ведь весь секрет — в управлении первопричинами.
  5. Сквозная аналитика и Power BI — это Ваши структурированные знания о любом аспекте Вашего бизнеса. В любом его разрезе, с любого угла обозрения, под любой призмой в режиме онлайн «здесь и сейчас». Это Ваша сила реагировать на изменения молниеносно.

Поэтому, если внутри Вас резонирует то, что я выше написал, если это Вам близко и Вы наконец-то хотите выйти на новый уровень, то я Вас приглашаю совместно со мной и с Power BI в это приключение!

Ранее, в своем бизнесе я вообще не вел никакой аналитики, а если она и была, то на самом примитивном уровне. Но, я всегда понимал, что так не годится.

Я полностью окунулся в вопрос сквозной аналитики. Теперь я ее поклонник. Теперь все стало на свои места. Теперь я просто обожаю бизнес, потому что знаю, что в нем происходит, какие параметры и как влияют на конечные результаты, которые мною запланированы. Теперь я попросту знаю что нужно делать. Теперь во мне полная ясность. Чего и Вам желаю!

Чтобы Вы смогли лучше понять состав всех программ PowerBI, для чего каждая из этих программ нужна и чем она Вам будет полезна. Какие результаты Вы получите от применения каждой из этих программ, где мы продолжим знакомство с удивительным инструментом Power BI, необходимым для любого бизнеса. А именно, будем разбирать архитектуру MS Power BI (то есть, графически разберем состав программ, движение всех процессов и что за чем следует в общей схеме работы, а также, какая выгода от этого для Вас и Вашего бизнеса).


Также, делитесь данной статьей со своими знакомыми в социальных сетях, возможно, этот материал кому-то будет очень полезен.

Понравился материал статьи?
Добавьте эту статью в закладки Вашего браузера, чтобы вернуться к ней еще раз. Для этого, прямо сейчас нажмите на клавиатуре комбинацию клавиш Ctrl+D

24.04.2003 Валерий Артемьев

Термин «business intelligence» существует сравнительно давно, хотя у нас он мало употребляется из-за отсутствия адекватного перевода и четкого понимания, что, впрочем, характерно и для Запада. Попытаемся разобраться в его сути.

В русском языке слово «интеллект» однозначно понимается, как мыслительная способность человека. На первый взгляд неплохой перевод для термина Business intelligence предложен в «интеллектуальный анализ данных», но сразу возникает вопрос, а имеется ли "неинтеллектуальный анализ данных".

На неопределенность обсуждаемого термина повлияла многозначность английского слова «intelligence»:

  • способность узнавать и понимать; готовность к пониманию;
  • знания, переданные или приобретенные путем обучения, исследования или опыта;
  • действие или состояние в процессе познания;
  • разведка, разведывательные данные.

В русском языке слово «интеллект» однозначно понимается, как мыслительная способность человека. На первый взгляд неплохой перевод для термина Business intelligence предложен в «интеллектуальный анализ данных», но сразу возникает вопрос, а имеется ли «неинтеллектуальный анализ данных». Пути языка неисповедимы, поэтому будем использовать и оригинал на английском и кальку «бизнес-интеллект».

Различные определения

Впервые термин «business intelligence» был введен в обращение аналитиками Gartner в конце 1980-х годов, как «пользователецентрический процесс, который включает доступ и исследование информации, ее анализ, выработку интуиции и понимания, которые ведут к улучшенному и неформальному принятию решений». Позже в 1996 году появилось уточнение - «инструменты для анализа данных, построения отчетов и запросов могут помочь бизнес-пользователям преодолеть море данных для того, чтобы синтезировать из них значимую информацию, - сегодня эти инструменты в совокупности попадают в категорию, называемую бизнес-интеллект (Business Intelligence)».

BI как методы, технологии, средства извлечения и представления знаний

Согласно первоначальным определениям, BI - это процесс анализа информации, выработки интуиции и понимания для улучшенного и неформального принятия решений бизнес-пользователями, а также инструменты для извлечения из данных значимой для бизнеса информации. Надо отметить, что большинство определений трактуют «business intelligence» как процесс, технологии, методы и средства извлечения и представления знаний.

BI, EIS, DSS, электронный бизнес и коммерция

За последние 10 лет менялись названия и содержание информационно-аналитических систем от информационных систем руководителя (executive information systems, EIS) до систем поддержки принятия решений (decision support systems, DSS) и сейчас до систем бизнес-интеллекта.

Во времена больших ЭВМ и миникомпьютеров, когда у большинства пользователей не было прямого доступа к компьютерам, организации зависели от своих подразделений ИТ, которые обеспечивали их стандартными и параметрическими отчетами. Но чтобы получить отчеты, отличные от стандартных, пользователям нужно было заказывать их разработку и ждать в течение нескольких дней или недель.

Приложения EIS были настроены на нужды руководителей и менеджеров и давали возможность получать основную агрегированную информацию о состоянии их бизнеса в виде таблиц или диаграмм. Обычно они включали регламентные запросы с набором параметров. Такие пакеты обычно разрабатывались силами своих подразделений ИТ. Для получения дополнительной информации и проведения дальнейшего анализа применялись другие приложения или создавались по заказу запросы или отчеты на SQL.

Приложения DSS первого поколения были пакетами прикладных программ с динамической генерацией SQL-скриптов по типу запрашиваемой пользователем информации. Они позволяли аналитикам получать информацию из реляционных БД, не требуя знания SQL. В отличие от EIS приложения DSS могут отвечать на широкий спектр вопросов бизнеса, имеют несколько вариантов представления отчетов и определенные возможности форматирования. Однако гибкость таких пакетов все же была ограничена из-за ориентации на конкретный набор задач.

С приходом ПК и локальных сетей следующее поколение приложений DSS строится уже на основе BI и позволяет пользователю-непрограммисту легко и оперативно извлекать информацию из различных источников, формировать собственные настраиваемые отчеты или графические представления, проводить многомерный анализ данных. Развитие систем бизнес-интеллекта прошло путь от «толстых» клиентов до Web-приложений, в которых пользователь ведет исследование с помощью браузера и может работать удаленно. Можно также создавать сценарии «что если» и коллективно просматривать и обновлять информацию.

Хотя пользователи корпоративной BI-информации традиционно находятся внутри предприятия, с распространением Web для электронного бизнеса, B2B, CRM и SCM BI-пользователи могут быть и внешними по отношению к предприятию , а в B2C, C2B и на торговых площадках пользователями BI являются пользователи Internet.

BI и хранилища данных

Концепция, методы и средства хранилища данных (Data warehousing) определяют подходы и обеспечивают интеграцию, очистку, ретроспективное хранение информации, предназначенной для анализа , отвечают на вопрос «Как подготовить информацию для анализа?». Технология бизнес-интеллекта определяет методы и средства доступа и оперативного анализа информации в терминах предметной области. BI-средства не обязательно должны работать в инфраструктуре хранилища данных, но в этом случае проблема очистки и согласования данных возлагается на них, причем осуществлять эти операции придется на лету или же предварительно, но для обособленного информационного ресурса. Кроме того, есть эффект влияния на производительность и надежность оперативной системы обработки транзакций. Вот почему хорошей корпоративной практикой является выделение транзакционной и аналитической составляющих и применение для второй различных решений по хранилищу данных. Основные стыки идут не только на уровне информации, но и на уровне метаданных. В случае хранилища данных можно обеспечить централизованное управление метаданными.

Следует отметить, что часто термином «хранилище данных» обозначают систему поддержки принятия решений DSS или информационно-аналитическую систему, основанные на технологиях хранилища данных и бизнес-интеллекта .

Классификация продуктов business intelligence

Сегодня категории BI-продуктов включают: BI-инструменты и BI-приложения. Первые, в свою очередь, делятся на: генераторы запросов и отчетов; развитые BI-инструменты, - прежде всего инструменты оперативной аналитической обработки (online analytical processing, OLAP); корпоративные BI-наборы (enterprise BI suites, EBIS); BI-платформы. Главная часть BI-инструментов делится на корпоративные BI-наборы и BI-платформы. Средства генерации запросов и отчетов в большой степени поглощаются и замещаются корпоративными BI-наборами. Многомерные OLAP-механизмы или серверы, а также реляционные OLAP-механизмы являются BI-инструментами и инфраструктурой для BI-платформ. Большинство BI-инструментов применяются конечными пользователями для доступа, анализа и генерации отчетов по данным, которые чаще всего располагаются в хранилище, витринах данных или оперативных складах данных. Разработчики приложений используют BI-платформы для создания и внедрения BI-приложений, которые не рассматриваются как BI-инструменты. Примером BI-приложения является информационная система руководителя EIS.

Инструменты генерации запросов и отчетов

Генераторы запросов и отчетов - типично «настольные» инструменты, предоставляющие пользователям доступ к базам данных, выполняющие некоторый анализ и формирующие отчеты. Запросы могут быть как незапланированными (ad hoc), так и иметь регламентный характер. Имеются системы генерации отчетов (как правило, серверные), которые поддерживают регламентные запросы и отчеты. Настольные генераторы запросов и отчетов расширены также некоторыми облегченными возможностями OLAP. Развитые инструменты этой категории объединяют в себе возможности пакетной генерации регламентных отчетов и настольных генераторов запросов, рассылки отчетов и их оперативного обновления, образуя так называемую корпоративную отчетность (corporate reporting) . В ее арсенал входят сервер отчетов, средства рассылки, публикации отчетов на Web, механизм извещения о событиях или отклонениях (alerts). Характерные представители - Crystal Reports, Cognos Impromptu и Actuate e.Reporting Suite.

OLAP или развитые аналитические инструменты

Инструменты OLAP являются аналитическими инструментами, которые первоначально были основаны на многомерных базах данных (МБД) .

МБД - это базы данных, сконструированные специально для поддержки анализа количественных данных с множеством измерений, содержат данные в «чисто» многомерной форме. Большинство приложений включают измерение времени, другие измерения могут касаться географии, организационных единиц, клиентов, продуктов и др. OLAP позволяет организовать измерения в виде иерархии. Данные представлены в виде гиперкубов (кубов) - логических и физических моделей показателей, коллективно использующих измерения, а также иерархии в этих измерениях. Некоторые данные предварительно агрегированы в БД, другие рассчитываются «на лету».

Средства OLAP позволяют исследовать данные по различным измерениям . Пользователи могут выбрать, какие показатели анализировать, какие измерения и как отображать в кросс-таблице, обменять строки и столбцы «pivoting», затем сделать срезы и вырезки («slice&dice»), чтобы сконцентрироваться на определенной комбинации размерностей. Можно изменять детальность данных, двигаясь по уровням с помощью детализации и укрупнения «drill down/ roll up», а также кросс-детализации «drill across» через другие измерения.

Для поддержки МБД используются OLAP-серверы , оптимизированные для многомерного анализа и поставляемые с аналитическими возможностями. Они обеспечивают хорошую производительность, но обычно требуют много времени для загрузки и расширения МБД. Поставляются с возможностью «reach-through», позволяя перейти от агрегатов к деталям в реляционных БД. Классический OLAP-сервер - Hyperion Essbase Server.

Сегодня реляционные СУБД применяются для эмуляции МБД и поддерживают многомерный анализ . OLAP для реляционных БД (ROLAP) имеет преимущество по масштабируемости и гибкости, но проигрывает по производительности многомерному OLAP (MOLAP), хотя существуют методы повышения производительности, наподобие схемы «звезда». Несмотря на то что МБД являются по-прежнему наиболее подходящими для оперативной аналитической обработки, сейчас эту возможность встраивают в реляционные СУБД или расширяют их (например, MS Analysis Services или ORACLE OLAP Services - это не то же самое, что ROLAP). Также существует гибридная оперативная аналитическая обработка данных (HOLAP) для гибридных продуктов, которые могут хранить многомерные данные естественным образом, а также в реляционном представлении. Доступ к МБД осуществляется с помощью API для генерации многомерных запросов, тогда как к реляционным БД доступ производится посредством запросов на SQL. Примером ROLAP-сервера является Microstrategy7i Server.

Настольные OLAP-инструменты (например, BusinessObjects Explorer, Cognos PowerPlay, MS Data Analyzer), встроенные сейчас в EBIS, облегчают конечным пользователям просмотр и манипулирование многомерными данными, которые могут поступать из серверных ресурсов данных ROLAP или MOLAP. Некоторые из этих продуктов имеют возможность загружать кубы, так что они могут работать автономно. Как часть EBIS эти настольные инструменты оснащены возможностями серверной обработки, которые выходят за пределы их традиционных возможностей, но не конкурируют с MOLAP-инструментами. Настольные инструменты по сравнению с MOLAP-средствами имеют небольшую производительность и аналитическую мощь. Нередко обеспечивается интерфейс через Excel, например, MS Eхcel2000/OLAP PTS, BusinessQuery for Excel. Практически все OLAP-инструменты имеют Web-расширения (Business Objects WebIntelligence к примеру), для некоторых они являются базовыми.

Корпоративные BI-наборы

EBIS - естественный путь для предоставления BI-инструментов, которые ранее поставлялись в виде разрозненных продуктов. Эти наборы интегрируются в наборы инструментов генерации запросов, отчетов и OLAP. Корпоративные BI-наборы должны иметь масштабируемость и распространяться не только на внутренних пользователей, но и на ключевых заказчиков, поставщиков и др. Продукты BI-наборов должны помогать администраторам при внедрении и управлении BI без добавления новых ресурсов. Из-за тесного родства Web и корпоративных BI-наборов некоторые поставщики описывают свои BI-наборы как BI-порталы. Эти портальные предложения обеспечивают подмножество возможностей EBIS с помощью Web-браузера, однако поставщики постоянно увеличивают их функциональность, приближая ее к возможностям инструментов для «толстых» клиентов. Типичные EBIS поставляют Business Objects и Cognos.

BI-платформы

BI-платформы предлагают наборы инструментов для создания, внедрения, поддержки и сопровождения BI-приложений. Имеются насыщенные данными приложения с «заказными» интерфейсами конечного пользователя, организованные вокруг специфических бизнес-проблем, с целевым анализом и моделями. BI-платформы, хотя и не так быстро растут и широко используются как EBIS, являются важным сегментом благодаря ожидаемому и уже происходящему росту BI-приложений. Стараниями поставщиков реляционных СУБД, создающих OLAP-расширения своих СУБД, многие поставщики платформ, которые предоставили многомерные СУБД для OLAP, чтобы выжить были вынуждены мигрировать в область BI-приложений. Семейства продуктов СУБД, обеспечивающие возможности BI, действительно подталкивают рост рынка BI-платформ. Отчасти это происходит благодаря большей активности ряда поставщиков СУБД. Рассматривая различные инструменты, видим, что EBIS являются высоко функциональными средствами, но они не имеют такого большого значения, как BI-платформы или заказные BI-приложения. Зато BI-платформы обычно не так функционально полны, как корпоративные BI-наборы. При выборе BI-платформ нужно учитывать следующие характеристики: модульность, распределенную архитектуру, поддержку стандартов XML, OLE DB for OLAP, LDAP, CORBA, COM/DCOM и обеспечение работы в Web. Они должны также обеспечивать функциональность, специфическую для бизнес-интеллекта, а именно: доступ к БД (SQL), манипулирование многомерными данными, функции моделирования, статистический анализ и деловую графику. Эту категорию продуктов представляют фирмы Microsoft, SAS Institute, ORACLE, SAP и другие.

BI-приложения

В приложения бизнес-интеллекта часто встроены BI-инструменты (OLAP, генераторы запросов и отчетов, средства моделирования, статистического анализа, визуализации и data mining). Многие BI-приложения извлекают данные из ERP-приложений. BI-приложения обычно ориентированы на конкретную функцию организации или задачу, такие как анализ и прогноз продаж, финансовое бюджетирование, прогнозирование, анализ рисков, анализ тенденций, «churn analysis» в телекоммуникациях и т.п. Они могут применяться и более широко как в случае приложений управления эффективностью предприятия (enterprise perfomance management) или системы сбалансированных показателей (balanced scorecard).

Разведка данных

Разведка данных (data mining) представляет собой процесс обнаружения корреляции, тенденций, шаблонов, связей и категорий . Она выполняется путем тщательного исследования данных с использованием технологий распознавания шаблонов, а также статистических и математических методов. При разведке данных многократно выполняются различные операции и преобразования над сырыми данными (отбор признаков, стратификация, кластеризация, визуализация и регрессия), которые предназначены: 1) для нахождения представлений, которые являются интуитивно понятными для людей, которые, в свою очередь, лучше понимают бизнес-процессы, лежащие в основе их деятельности; 2) для нахождения моделей, которые могут предсказать результат или значение определенных ситуаций, используя исторические или субъективные данные.

В отличие от использования OLAP разведка данных в значительно меньшей степени направляется пользователем, вместо этого полагается на специализированные алгоритмы, которые устанавливают соотношение информации и помогают распознать важные (и ранее неизвестные) тенденции, свободные от предвзятости и предположений пользователя.

Другие методы и средства BI

Кроме перечисленных инструментов, в состав BI могут входить следующие средства анализа : пакеты статистического анализа и анализ временных рядов и оценки рисков; средства моделирования; пакеты для нейронных сетей; средства нечеткой логики и экспертные системы.

Дополнительно нужно отметить средства для графического оформления результатов : средства деловой и научно-технической графики; «приборные доски», средства аналитической картографии и топологических карт; средства визуализации многомерных данных.

Архитектура business intelligence

Корпоративная BI-архитектура должна быть разработана после того, как определены BI-потребности пользователей, но до выбора BI-инструментов. Архитектура Business Intelligence определяет компоненты доставки BI-информации и компоненты BI-технологии (рис.1). После определения профилей использования BI-информации, может быть спроектирована архитектура доставки информации, основанная на этих профилях и на требуемом типе внедрения. Это может быть любая смесь настольных клиентов с сетевым подключением, настольных клиентов и сервера, тонких клиентов на основе Web и других мобильных вычислительных устройств. Архитектура доставки информации определит пользовательские интерфейсы, которые часто являются порталами с возможностью персонализации.

Рис.1. Архитектура Business intelligence

Архитектура BI-технологии определяет инфраструктуру и компоненты, необходимые для поддержки внедрения, эксплуатации и администрирования BI-инструментов и приложений, а также связи этих компонентов. Прочная архитектура BI-технологии будет состоять из двух важных слоев: инфраструктуры и прикладных сервисов (или функциональности). Инфраструктурный слой включает информационные ресурсы, администрирование и сети. На этом слое данные собираются, интегрируются и становятся доступными. Хранилище данных является одним из возможных компонентов инфраструктурного слоя. Для использования BI в оперативных системах может потребоваться оперативный склад данных (operational data store, ODS), возможно связанный с корпоративными структурами workflow. Прикладные сервисы включают все BI-сервисы, такие как механизмы запросов, анализа, генерации отчетов и визуализации, а также средства безопасности и метаданные.

Среда хранения и доступ к BI-информации

Помимо традиционных решений по хранилищам данных Oracle9i и MS SQL Server2000, растет число применений хранилищ ERP, например, SAP BW для R/3, или PeopleSoft Enterprise Warehouse с BI-приложениями Enterprise Performance Management. Однако в обоих случаях функциональность привязана к конкретным системам ERP, а следовательно ограничена.

Быстро растет применение ROLAP для хранения BI-информации, из-за удобства реляционных СУБД для приложений с очень большими базами детальных данных и благодаря включению возможностей OLAP в СУБД. Использование МБД и OLAP остается неизменным и наиболее преобладающим, т.к. они обеспечивают лучшую производительность и функциональность там, где важны агрегированные данные и сложные аналитические расчеты.

Неудивительно, что при дороговизне двухзвенных клиент-серверных структур доступ к BI все чаще происходит через Web. Центр тяжести перемещается на сервер, отражая тот факт, что важным элементом является доступ к корпоративной BI-информации, автономные же ПК явно недостаточно функциональны. Популярна и растет доставка BI-отчетов по электронной почте, а мобильные и беспроводные способы доставки пока распространяются медленно.

Метаданные

Большинство BI-инструментов, представленных на рынке, используют слой метаданных или репозиторий. Бизнес-метаданные включают определения данных, которые хранятся в источниках данных, в терминах предметной области. Они также могут содержать правила и вычисления, которые должны быть определены для этого бизнеса. Кроме того, существуют технические метаданные для доступа к физическим данным. CASE-средства, реляционные СУБД, средства извлечения, преобразования и загрузки данных используют метаданные. При создании хранилища и витрин данных часто можно автоматически извлечь метаданные из источников данных, но иногда пользователям самим приходится доставать метаданные. Так, возможна сложная ситуация с несколькими репозиториями, существующими в одной организации. Отсутствие общих метаданных для инструментов - из-за отсутствия стандартов для метаданных - серьезная проблема для подразделений ИТ.

Плюсы и минусы технологии

Возможности пользователя по ведению многоаспектного оперативного анализа информации в терминах предметной области для поддержки принятия бизнес решений быстро расширяются. Параллельное движение от информационной анархии или диктатуры к информационной демократии расширяет контингент пользователей business intelligence. На первое место выходит потребность гибкого доступа к корпоративным данным, а не просто потребность решить конкретную функциональную задачу. Снижается прямая зависимость от подразделений ИТ, изготавливающих по заказу отчеты или запросы. Возможен переход от статических регламентных отчетов к «живому отчету», а наиболее продвинутые аналитики получают возможность проводить кросс-тематический анализ и построение сводных отчетов с нуля, имея семантических слой, описывающий все показатели и разрезы корпоративной информации. Эти же средства могут использовать программисты для быстрого создания регламентных, параметрических отчетов. Web-доступ к BI (как к статическому, так и к динамическому контенту) позволит обеспечить реальное корпоративное информационное пространство и коллективную работу сотрудников.

Основным риском является слишком быстрые изменения в технологии BI, использование непроверенных решений и средств. Нужно отслеживать поставщиков, оценивать их устойчивость, направления развития, регулярно пробовать новые средства, проводить типизацию и унификацию BI. Другой риск связан с качеством данных - если они должным образом не преобразованы, не очищены и не консолидированы, то никакие «навороченные» возможности BI-инструментов или приложений не смогут увеличить достоверность данных. Ряд проблем могут возникнуть из-за не согласованности метаданных. В рамках большой корпорации эти вопросы решаются на инфраструктурном уровне путем создания корпоративного хранилища данных и централизованного управления метаданными. Создание хранилища поможет навести порядок в номенклатуре собираемых показателей, сборе данных, их распространении и санкционировании доступа. Сама BI-технология не в состоянии решить комплексно эти проблемы, а пренебрежение ими возвращает к информационной анархии и «силосным ямам данных» .

Основные игроки на поле BI

В соответствии с пресловутыми магическими квадратами Gartner технологическими лидерами EBIS являются сегодня Business Objects и Cognos, на границе между лидерами и претендентами - Information Builders, а Microsoft и Oracle - в претендентах. У одной нет самостоятельного OLAP-клиента, а используется функциональность сводной таблицы Excel200x, и нет генератора отчетов, у другой - пока нет замены для Oracle Express Analyzer. В группе «провидцев» выделяются Crystal Decisions на границе с лидерами. Также следует отметить Actuate и MicroStrategy.

Для BI-платформ практически нет лидеров, что свидетельствует о незрелости технологий и рынка. На границе этой области находится пока только Microsoft за счет решений по встраиванию OLAP-сервисов в MS SQL Server и развития их до аналитического сервера. Среди других претендентов - SAS Institute, далее плотную группу образуют Oracle, PeopleSoft и SAP. Hyperion в буквальном смысле на перепутье - SAS и Hyperion потеряли лидирующие позиции 2000 года. Среди провидцев следует отметить MicroStrategy. К сожалению, Crystal Decisions пока выступает как нишевой игрок.

Тенденции

Среди BI-инструментов наибольший рост испытывают EBIS, что отражает усилившуюся конкуренцию в сегодняшней экономике. Использование инструментов для генерации запросов и отчетов, анализа данных снижается, организации обновляют их и заменяют корпоративными BI-наборами. Основные инструменты (незапланированные запросы, отчетность и основной OLAP-анализ) все еще остаются наиболее распространенными, удовлетворяя большинство потребностей. Также растет применение OLAP и других развитых BI-инструментов, подобных технологии data mining. Однако автономные инструменты data mining исчезают, эта технология поглощается и включается в другие BI-инструменты, например, в расширения СУБД.

Ожидается, что в течение 5 лет такие возможности, как XML для анализа (XML/A), BI Web-сервисы, совместная работа, беспроводные и мобильные коммуникации объединятся в виде сетей бизнес-интеллекта (BI networks), которые будут дополнены средствами мониторинга бизнес деятельности (Business activity monitoring, BAM).

XML для анализа. XML/A первоначально появился как коммуникационный протокол между разными BI-слоями (клиент, аналитический сервер, сервер БД). У XML/A имеются серьезные проблемы производительности - он создает большие накладные расходы и пока применим лишь для «облегченного» OLAP-клиента. Однако если эти проблемы будут решены, XML/A мог бы стать единым языком общения (lingua franca) между различными BI-средами, пересекая множество доменов, поставщиков и технологий, таким образом поддерживая BI networks.

BI Web-сервисы. Поставщики часто идентифицируют продукты EBIS как BI-порталы, потому что версии этих продуктов для Web обеспечивают точку входа к корпоративной информации. Фактически зачастую эти BI-порталы поддерживают также связи с неструктурированной информацией, хотя обычно для этого требуется некая система интеграции. Все более и более продукты EBIS фокусируются на внешних составляющих корпорации (extranet e-business intelligence). Новая компонентная архитектура SOA, ориентированная на сервисы (службы), является развитием серверов приложений и корпоративных порталов. Эта новация связана также с технологиями J2EE и.NET. BI Web-сервисы делают BI-инструменты открытыми компонентами с известными интерфейсами и доступными во всех видах сетей. Увеличивается число поставщиков BI-продуктов, которые реализуют их в виде Web-служб, но чаще под соусом порталов.

Совместная работа. Добавление аннотаций к отчетам и разделение результатов анализа между несколькими пользователями возможно со времен EIS, однако сейчас эта функциональность популярна и во многие BI-приложения добавлены возможности workflow. Ожидается, что пользователи смогут работать одновременно с одной моделью или будет обеспечена связь разных BI-приложений в реальном времени.

Беспроводной и мобильный бизнес-интеллект. Другая устойчивая тенденция по доставке BI-информации видна у поставщиков, дающим возможность BI-продуктам доставлять отчеты посредством мобильной технологии, включая персональных электронных помощников PDA, Internet-телефонов и пейджеров.

Мониторинг бизнес-деятельности. Новая технология BAM является по существу операционным BI и сочетает интеграцию приложений реального времени с возможностями бизнес-интеллекта. Используя транзакционные данные, извлеченные из систем обработки транзакций в реальном времени, BI-инструменты анализируют эти данные и выдают предупреждения о критических событиях и информацию операционным пользователям, принимающим непосредственные решения.

Литература
  1. Корнеев В.В., Гареев А.Ф., Васютин С.В., Райх В.В. Базы данных. Интеллектуальная обработка информации. // М.: Нолидж, 2001
  2. Том Салливан.
  3. Kimbal R. The Data Warehouse Toolkit: Practical Techniques for Building Dimensional Data Warehouses. John Willey&Sons, 1996
  4. Thomsen E. OLAP Solutions: Building Multidimensional Information Systems. Wiley Computer Publishing, 1997
  5. Спирли Э. Корпоративные хранилища данных. Планирование, разработка, реализация. Том.1: Пер. с англ. // М.: Вильямс, 2001
  6. Архипенков С., Голубев Д., Максименко О. ХРАНИЛИЩА ДАННЫХ. От концепции до внедрения/ Под общ. Ред. С.Я. Архипенкова // М.: ДИАЛОГ-МИФИ, 2002
  7. В., Самойленко А. Data mining: учебный курс. // СПб: Питер, 2001
  8. Inside Gartner Group (рус.), Дрезнер Х., Хостманн Б. и Ф. Байтендийк. Вниманию руководства: Обновленные Волшебные Квадраты Gartner для систем интеллектуальной поддержки бизнеса, 2003, февраль
  9. Liautaud B., Hammond M. e-Business Intelligence: Turning Information into Knoledge into Profit. McGraw-Hill, 2001
  10. Кристин Комафорд. .
  11. Том Салливан. .

Валерий Артемьев (avi @cbr.ru) - советник директора Главного центра информатизации Банка России (Москва).