Las herramientas de análisis estadístico se utilizan en diversas aplicaciones empresariales: incrementar la participación en el mercado y las utilidades, detectando las mejores oportunidades, aumentar la satisfacción del usuario por medio del mejoramiento de la calidad en productos y servicios, e impulsar los márgenes a través de la modernización de la manufactura de productos y de la logística.
Estas herramientas deben evolucionar hasta el punto en donde puedan ser adoptadas con éxito y utilizadas por los analistas empresariales. Ellos necesitan seleccionar los datos correctos del datawarehouse, extraerlos y luego analizarlos. Las habilidades claves que se esperan de los analistas empresariales son: (1) experiencia en su campo y (2) capacidad para resolver problemas.
Los usuarios empresariales deben invocar las funciones de visualización y analítica, disponibles en la herramienta de análisis estadístico, para descubrir relaciones entre los datos y construir modelos estadísticos y matemáticos a fin de interpretar los datos. Se usa un proceso interactivo e iterativo para refinar el modelo; la meta consiste en desarrollar el modelo de mejor ajuste para convertir los datos en información.
Una de las aplicaciones del análisis de datos, es la “garantía del producto”, la cual se concentra en vigilar la calidad del producto y analizar los datos de reparaciones con garantía.
Las decisiones efectivas se basan en el análisis de datos y en la información. Beneficios que reporta:
- decisiones basadas en la información necesaria - mejora de la efectividad de las decisiones - mejora de la efectividad de revisar, cuestionar y cambiar opiniones y decisiones
Acciones que permite impulsar:
- garantizar que los datos y la información son suficientemente precisos y fiables - aumentar la accesibilidad de dichos datos e informaciones - análisis mejorado de los datos y la información - decisiones y actuaciones posteriores basadas en un equilibrio entre el análisis de los hechos y la experiencia e intuición.
Algunas de las técnicas clásicas de análisis de datos son: (1) Matriz de datos, (2) Medidas centrales (media, moda, mediana), (3) Medidas de dispersión (rango, varianza, desviación estándar), (4) Medidas de forma (histograma), (5) Distribución Normal, (6) Intervalos de Confianza y (7) Control Estadístico de Procesos.
Los resultados de aplicar estas técnicas se almacenan, por lo general, en una base de datos analítica llamada datawarehousing, la cual hace de soporte en el proceso de toma de decisiones.
Las consultas empresariales son el punto de partida para definir el esquema del datawarehouse.
Datawarehousing
Es un conjunto de datos integrados orientados a una materia, que varían en el tiempo y que son transitorios, los cuales soportan el proceso de toma de decisiones de una administración. También se lo denomina “almacén de datos”.
La calidad y la confiabilidad de los datos es la base de la confianza en el datawarehouse. Entre más alta sea la calidad de los datos, se usará más el datawarehouse para tomar decisiones en una empresa, y se aprovechará mejor la inversión en el datawarehouse. El datawarehouse debe contener información sobre la calidad de los datos, de tal forma que las decisiones se tomen con un absoluto conocimiento de causa y se manejen en forma adecuada.
El datamart es un datawarehousing específico, es decir, respecto de un determinado tema.
Los Objetivos del Datawarehousing son: (1) Integración logística, (2) Administración de relaciones, (3) Administración de riesgos, (4) Administración estratégica y (5) Nuevos mercados.
Bases de Datos Operacionales Vs Datawarehouse
Aspecto BD Operacionales Datawarehousing
Modelado de datos Elimina la redundancia, coordina las actualizaciones y soporta transacciones iguales durante varias veces en el día. Maneja un amplio rango de consultas y recupera información en forma periódica.
Normas Muchas normas para las actualizaciones consistentes y mantener la integridad referencial. Pocas normas para el acceso inmediato sin tener que realizar gran cantidad de uniones.
Datos - Operacionales - Operacionales e históricos
Almacenamiento - Muy pocos datos derivados - Muchos datos derivados
Contenido de la BD - Todos los datos - Solo datos que tienen valor a través del tiempo.
Detalle de los datos - Datos ligeramente resumidos - Datos muy resumidos Visión de la consulta empresarial
La visión de la consulta empresarial es la perspectiva de los datos del datawarehouse desde el punto de vista del usuario. La consulta empresarial es una solicitud de hechos, a veces llamados mediciones, a través de varias dimensiones. Las dimensiones son el tiempo, el producto y la ubicación. Mediante la organización del datawarehouse en estas dimensiones, se formula y satisface con facilidad la consulta empresarial.
DATAMINING
Data Mining, la extracción de información oculta y predecible de grandes bases de datos, es una poderosa tecnología nueva con gran potencial para ayudar a las compañías a concentrarse en la información más importante de sus Bases de Información (Data Warehouse). Las herramientas de Data Mining predicen futuras tendencias y comportamientos, permitiendo en los negocios tomar decisiones proactivas y conducidas por un conocimiento acabado de la información (knowledge-driven). Los análisis prospectivos automatizados ofrecidos por un producto así van más allá de los eventos pasados provistos por herramientas retrospectivas típicas de sistemas de soporte de decisión. Las herramientas de Data Mining pueden responder a preguntas de negocios que tradicionalmente consumen demasiado tiempo para poder ser resueltas y a los cuales los usuarios de esta información casi no están dispuestos a aceptar. Estas herramientas exploran las bases de datos en busca de patrones ocultos, encontrando información predecible que un experto no puede llegar a encontrar porque se encuentra fuera de sus expectativas. Muchas compañías ya colectan y refinan cantidades masivas de datos.
Las técnicas de Data Mining pueden ser implementadas rápidamente en plataformas ya existentes de software y hardware para acrecentar el valor de las fuentes de información existentes y pueden ser integradas con nuevos productos y sistemas pues son traídas en línea (on-line). Una vez que las herramientas de Data Mining fueron implementadas en computadoras cliente servidor de alta performance o de procesamiento paralelo, pueden analizar bases de datos masivas para brindar respuesta a preguntas tales como, "¿Cuáles clientes tienen más probabilidad de responder al próximo mailing promocional, y por qué? y presentar los resultados en formas de tablas, con gráficos, reportes, texto, hipertexto, etc.
Las técnicas de Data Mining son el resultado de un largo proceso de investigación y desarrollo de productos. Esta evolución comenzó cuando los datos de negocios fueron almacenados por primera vez en computadoras, y continuó con mejoras en el acceso a los datos, y más recientemente con tecnologías generadas para permitir a los usuarios navegar a través de los datos en tiempo real. Data Mining toma este proceso de evolución más allá del acceso y navegación retrospectiva de los datos, hacia la entrega de información prospectiva y proactiva. Data Mining está listo para su aplicación en la comunidad de negocios porque está soportado por tres tecnologías que ya están suficientemente maduras: (1) Recolección masiva de datos, (2) Potentes computadoras con multiprocesadores y (3) Algoritmos de Data Mining.
El nombre de Data Mining deriva de las similitudes entre buscar valiosa información de negocios en grandes bases de datos - por ej.: encontrar información de la venta de un producto entre grandes montos de Gigabytes almacenados - y minar una montaña para encontrar una veta de metales valiosos. Ambos procesos requieren examinar una inmensa cantidad de material, o investigar inteligentemente hasta encontrar exactamente donde residen los valores. Dadas bases de datos de suficiente tamaño y calidad, la tecnología de Data Mining puede generar nuevas oportunidades de negocios al proveer estas capacidades:
o Predicción automatizada de tendencias y comportamientos. Data Mining automatiza el proceso de encontrar información predecible en grandes bases de datos. Preguntas que tradicionalmente requerían un intenso análisis manual, ahora pueden ser contestadas directa y rápidamente desde los datos. Un típico ejemplo de problema predecible es el marketing apuntado a objetivos (targeted marketing). Data Mining usa datos en mailing promocionales anteriores para identificar posibles objetivos para maximizar los resultados de la inversión en futuros mailing. Otros problemas predecibles incluyen pronósticos de problemas financieros futuros y otras formas de incumplimiento, e identificar segmentos de población que probablemente respondan similarmente a eventos dados.
o Descubrimiento automatizado de modelos previamente desconocidos. Las herramientas de Data Mining barren las bases de datos e identifican modelos previamente escondidos en un sólo paso. Otros problemas de descubrimiento de modelos incluye detectar transacciones fraudulentas de tarjetas de créditos e identificar datos anormales que pueden representar errores de tipeado en la carga de datos.
Las técnicas de Data Mining pueden redituar los beneficios de automatización en las plataformas de hardware y software existentes y puede ser implementadas en sistemas nuevos a medida que las plataformas existentes se actualicen y nuevos productos sean desarrollados. Cuando las herramientas de Data Mining son implementadas en sistemas de procesamiento paralelo de alta performance, pueden analizar bases de datos masivas en minutos. Procesamiento más rápido significa que los usuarios pueden automáticamente experimentar con más modelos para entender datos complejos. Alta velocidad hace que sea práctico para los usuarios analizar inmensas cantidades de datos. Grandes bases de datos, a su vez, producen mejores predicciones.
Las bases de datos pueden ser grandes tanto en profundidad como en ancho: o Más columnas. Los analistas muchas veces deben limitar el número de variables a examinar cuando realizan análisis manuales debido a limitaciones de tiempo. Sin embargo, variables que son descartadas porque parecen sin importancia pueden proveer información acerca de modelos desconocidos. Un Data Mining de alto rendimiento permite a los usuarios explorar toda la base de datos, sin preseleccionar un subconjunto de variables.
o Más filas. Muestras mayores producen menos errores de estimación y desvíos, y permite a los usuarios hacer inferencias acerca de pequeños pero importantes segmentos de población.
Las técnicas más comúnmente usadas en Data Mining son:
o Redes neuronales artificiales: modelos predecible no-lineales que aprenden a través del entrenamiento y semejan la estructura de una red neuronal biológica. o Arboles de decisión: estructuras de forma de árbol que representan conjuntos de decisiones. Estas decisiones generan reglas para la clasificación de un conjunto de datos. Métodos específicos de árboles de decisión incluyen Arboles de Clasificación y Regresión (CART: Classification And Regression Tree) y Detección de Interacción Automática de Chi Cuadrado (CHAI: Chi Square Automatic Interaction Detection) o Algoritmos genéticos: técnicas de optimización que usan procesos tales como combinaciones genéticas, mutaciones y selección natural en un diseño basado en los conceptos de evolución. o Regla de inducción: la extracción de reglas if-then de datos basados en significado estadístico.
Muchas de estas tecnologías han estado en uso por más de una década en herramientas de análisis especializadas que trabajan con volúmenes de datos relativamente pequeños. Estas capacidades están ahora evolucionando para integrarse directamente con herramientas OLAP y de Data Warehousing.