Business Intelligence y Big Data · XII EncuentroDanysoft en Microsoft Abril 2015 | 902 123146 9...

XII Encuentro Danysoft en Microsoft Abril 2015

www.danysoft.com | 902 123146 1

Business Intelligence y Big DataXII Encuentro Danysoft en Microsoft | Directos al código

Ana María Bisbé York | Servicios [email protected] | 916 638683 | www.danysoft.com Abril 2015

Sala 1 SQL Server

Segunda SesiónPrimera Sesión

Business Intelligence y Big Data

Infraestructuraempresarial de BBDD

Sala 1 | SQL ServerAgenda



Temario Proyectos BI con SQL Server 2014 Proyectos BI con MS Office Excel 2013 Proyectos BI con MS Power BI Public Preview Introducción y consumo de BigData para BI

Proyecto de Inteligencia de Negocios

Requerimientos de Negocio

Diseño de Arquitectura e Infraestructura

Diseño de paquetes ETL y Data Warehouse

Diseño de Modelos analíticos e Informes

Monitorización y Optimización

Operación y Mantenimiento



Procesos a desarrollar en proyectos BI

Preparación de datos

Modelado de datos

Visualización de datos

SQL Server 2014Proyecto BI



BI

SQL Server

Demo


Extracción y Carga

Prospección

Transformación



Modelado de datos – SQL Server 2014

Modelado relacional transaccional

Modelado relacional dimensional – data

warehouse

Modelado tabular

Modelado multidimensional –

cubos OLAP

Visualización de datos – SQL Server 2014

ReportingServices

Generador de Informes



MS Office Excel 2013Proyecto BI



Modelado de datos




Obtener datos Externos

MS Office Excel 2013

Demo

Obtener datos externosFicha datos



Obtener datos externosPower Query - Otros

Modelado de datos – MS Office Excel

Modelado tabular



Modelado

MS Office Excel 2013

Demo

Power Query vs Power PivotAspecto / Herramienta Power Query Power Pivot

DisponibilidadNo integrada en Excel 2013, suplemento gratuito descargable. En desarrollo, evolucionando rápidamente.

Integrada en Excel 2013, con sus diferentes sabores

Orígenes de datos Muy diversos, muchos orígenes están disponibles sólo desde Power Query

Aunque también importa desde orígenes de datos muy diversos, no llega, ni de lejos a las posibilidades de Power Query

Lectura de Metadatos en servidor SQL Server

Muy efectivo. Como se trata de la consulta, desde el editor, podemos acceder a las columnas de las tablas relacionadas.

Sólo trae las tablas o vistas seleccionadas por el asistente, con las relaciones existentes, si se importan juntas.

Identificación de relaciones entre tablas en servidor SQL Server

Al reutilizar la conexión, sí importa las relaciones entre tablas existentes en la base de datos de origen

Al reutilizar la conexión, no importa las relaciones entre tablas existentes en la base de datos de origen

Extracción de datosExtrae un subconjunto para facilitar vista preliminar y realizar las transformaciones

Importa los datos, creando una instantánea entre lo que hay físicamente en Excel y lo que hay en el servidor en el momento de la importación




Ejecución de transformaciones En el servidor que corresponde al origen de datos

En Excel, al servidor de origen sólo se accede durante la importación y el procesado o recarga de datos

Uso de memoriaDurante la creación de la consulta al no tener cargados todos los datos, no es un problema

Al tener todos los datos almacenados en memoria, puede provocar problemas de rendimiento

Consumo del resultado desde tabla dinámica (TD) No hay paso directo de PQ a TD Sí, nativo

Consumo del resultado desde Power View (PV) No Sí, es origen de datos para PV

Consumo del resultado desde Power Map (PM) No Sí, es origen de datos para PM

Lenguaje para transformaciones Lenguaje M para extracción y transformación

Lenguaje de expresiones DAX para crear columnas calculadas y medidas

Opciones de menú para transformaciones Cubren todas las transformaciones básicas necesarias

No existen opciones de menú para transformaciones que en PP es crear columnas calculadas y/o medidas


Opciones de menú para propiedades Si, existen Si, existen

Curva de aprendizajeNo hay que aprender M, si se conoce se pde trabajar desde el editor avanzado de código

No se puede evitar, hay que entender DAX, que aunque puede recordar a Excel y/o al mundo relacional, es diferente y puede costar entender su comportamiento

Reusabilidad

La consulta en M, puede ser copiada y pegada en otro libro Excel, ejecuta, modificada a mano, por ejemplo, es muy sencillo actualizar la ruta de un origen de datos

No es posible “copiar” y “pegar” un modelo tabular creado en PowerPivot, lo que sí se puede hacer es consultar, con DAX, uno existente

Resultado Consulta Modelo tabular

FuncionalidadDefinir la consulta para extraer datos y cargarlos en hojas Excel y/o Modelos de datos

Su funcionalidad es crear el Modelo tabular que será consumido, entre otros, por tablas y gráficos dinámicos, PV y PM



Visualización de datos – MS Office Excel

Tablas

Gráficos dinámicos

Power View

Power Map

Power BIProyecto BI



Proyecto de Inteligencia de Negocios

Requerimientos de Negocio

Diseño de Arquitectura e Infraestructura

Diseño de paquetes ETL y Data Warehouse

Diseño de Modelos analíticos e Informes

Monitorización y Optimización

Operación y Mantenimiento



Modelado de datos




MS Power BI Public Preview

Power BI Designer



Visualizar MS PowerBI

Big DataProyecto BI





Modelado de datos


Big Data Existe Se sabe que existe Se habla y escribe sobre BigData



¿De dónde vienen los datos? Internet Chats de noticias y comentarios de blogs Compras Buscadores

Redes sociales

¿De dónde vienen los datos? Cadena de suministros o

entregas Información almacenada por las

torres de telefonía móvil Lectores de código de barras Desde 1970



¿Qué facilita el crecimiento de los datos?

Tecnología

Reducción de costes de almacenamiento

Ecosistema OpenSource

La economía en la web

Escenarios Análisis de secuencias de clics e identificación de

patrones de comportamientos y compras



Escenarios

Análisis de sentimientos basado en redes sociales

Detección de fraudes y prevención de actividad criminal

Análisis financieros y estrategia de ventas e inversiones

Atención médica

Procesos productivos y/o de fabricación

Definiciones de Big DataTamaño

Uso de Hadoop

Tres V• Volumen• Velocidad• Variabilidad

Demasiado grande para almacenamiento OLTP

Existencia de procesamiento y distribución en paralelo



Introducción a MapReduce

Hadoop Proyecto Apache Implementación open source del MapReduce de

Google y Googleʼs File System Combina MapReduce y HDFS Hadoop Distributed File System Los archivos se replican en varios nodos para

prevenir pérdidas de datos ante rotura Original y dos copias, tres instancias



Proyectos Apache Hadoop Hortonworks Sandbox Implementación de nodo

único de HDP Hortonworks Data Platform Hortonworks User Environment Empaquetado, máquina virtual

HDFS – Examinador de archivos

HCatalog

Hive - Consultas

Pig - Scripts

Big Data

Hortonworks Sandbox

Demo



Más Información

Información ampliada sobre licencias, qué incluye cada edición, y utilida-des software en:

shop.danysoft.com

Información ampliada sobre formación, consultoría y cesión profesionales en:

www.danysoft.com/servicios

Valor añadido a la comunidad en forma de eventos como este, artículos técnicos o revistas… en:

www.danysoft.com/comunidad

+50 vídeos en castellano sobre Visual Studio, SQL Server, TFS y soluciones Microsoft en:

www.youtube/danysoftech

GraciasPara más informacióncontactacon Danysoft [email protected] | www.danysoft.com | 916 638683

Business Intelligence y Big Data · XII EncuentroDanysoft en Microsoft Abril 2015 | 902 123146 9...

Documents

Transcript of Business Intelligence y Big Data · XII EncuentroDanysoft en Microsoft Abril 2015 | 902 123146 9...