miércoles, 8 de mayo de 2013

Conceptualizacion - Archivo Log



Archivos Log 

Los archivos log de un sitio web contienen la información de acceso y operaciones de todos los usuarios en orden cronológico. En cada registro del log se encuentran: Dirección IP y agente, tiempo (timestamp), identificador de sesión, método de acceso, estados varios, agentes de software, byte transmitidos, objetos requeridos (páginas, imágenes, etc.). Basándose en esta información, se puede determinar la secuencia de páginas visitadas por el usuario durante su sesión.

De acuerdo a Oxford Dictionary la definición de log es:

”Registro oficial de eventos durante un periodo de tiempo en particular.  Para los profesionales en seguridad informática un log es usado para registrar datos o información sobre quién, qué, cuándo, dónde y por qué? (who, what, when, where y why) un evento ocurre para un  dispositivo en particular o aplicación”.

La mayoría de log son almacenados o desplegados en el formato estándar ASCII, el cual es un conjunto de caracteres para dispositivos comunes y aplicaciones.  De esta forma los log generados por un dispositivo en particular pueden ser leídos y desplegados en otro diferente.

Los campos del Formato Común de Log (CLF, Common Log Format) son:
                                      

  • IP-Cliente es la dirección IP del usuario que realiza la petición o, el nombre de la computadora del mismo si el servidor web está configurado para resolver las direcciones IP al nombre.
  • Identd es el nombre del usuario remoto, siguiendo la RFC 1413.
  • Usuario es el nombre de usuario que se autenticó mediante http, en las páginas que utilicen esta autenticación.
  • Fecha/Hora es la fecha y la hora en que fue realizada la petición al servidor web.
  • Pedido es el pedido que el cliente realizó al servidor, que generalmente incluye el método http utilizado, el URL solicitado y el protocolo empleado.
  •  Estado es el código de estado http devuelto al cliente, indicando si el pedido pudo realizarse correctamente o no, y en este último caso, el error ocurrido; y
  • Bytes es la cantidad de bytes devueltos al cliente a causa de la petición del mismo. Si algunos de los campos no pueden ser determinados, un guión (-) es colocado en su lugar.


             Pre-procesamiento de Logs

Esta fase está integrada por las tareas de remover los datos que no necesitamos, identificar los visitantes, identificar las acciones de los visitantes y la extracción de características. Este proceso puede ser dividido en cuatro pasos:
  • Eliminación de robots de acceso web
  • Filtrado de imágenes y datos ruidosos
  • Extraer transacciones
  • Extracción y formato de las características
 Después de haber aplicado todo este proceso, podemos decir que tenemos unos datos limpios para ser preparados con técnicas de data mining y es así como empezaremos la preparación de los datos.

             Identificación de usuarios
En este paso se lleva a cabo dos niveles de identificación, en el primer nivel se identifican las peticiones de páginas realizadas por el mismo usuario durante una visita. El segundo nivel radica en reconocer a un usuario dentro de sus múltiples visitas a un determinado sitio web, con la finalidad de poder analizar el comportamiento del usuario a lo largo de días, meses o años.

Existen distintos métodos para identificar a los usuarios; mediante las cookies, la utilización de Identd,[1] su dirección IP[2] y la registración explícita de ellos, cada uno de los cuales posee sus ventajas y desventajas.

·        Mediante la utilización de cookies. La W3C define a una cookie como “datos enviados por el servidor web al cliente, el cual los almacena localmente y los envía nuevamente al servidor en los sucesivos pedidos”.

·      Mediante la utilización de Identd. Identd es un protocolo de identificación especificado en el RFC 1413 que permite identificar a los usuarios de una conexión TCP particular. Dado un par de números de puertos TCP, devuelve una cadena de texto, que identifica al dueño de esa conexión (el cliente) en el sistema del servidor web. El problema del uso de Identd para la identificación de los usuarios reside en que el cliente debe estar configurado para el soporte de Identd.

·     Mediante su dirección IP, en cada línea del archivo de log se almacena la dirección IP del cliente que realizó el pedido.

·        Mediante la registración explícita de ellos, necesitando que cada usuario inicie una sesión en el sitio web con un usuario previamente registrado por él. Este método tiene el claro problema que se necesita la intervención del usuario y para algunos tipos de sitios web es impracticable.

1.         Identificación de sesiones de usuario

Luego de la identificación de los usuarios se deben identificar las sesiones de los mismos que son una serie de servicios solicitados por un mismo usuario a una única visita al sitio o portal web. Las sesiones son un factor importante ya que través de ellas se puede conocer la percepción del usuario con respecto a su visita al portal.

Para ello se necesita dividir las distintas peticiones realizadas por un mismo usuario en una o más sesiones. Debido a que las peticiones a los recursos de otros servidores web no están disponibles, es difícil saber cuándo un usuario abandona el sitio web.

Para la formación de sesiones se utiliza generalmente un tiempo máximo entre sucesivas peticiones, de modo que, si dos peticiones consecutivas de un usuario se realizan con un intervalo de tiempo menor al máximo, las dos peticiones son consideradas como parte de la misma sesión. Si dos peticiones consecutivas se realizan con un intervalo de tiempo mayor al máximo, las dos peticiones corresponden a sesiones distintas; la primera es la última petición de una sesión y la otra es la primera de una nueva sesión.

Se debe seleccionar un tiempo máximo entre peticiones para lo cual se han realizado investigaciones que buscan encontrar el valor que mejor divida las sesiones de los usuarios.

El trabajo de identificación de sesiones es especialmente difícil, debido a algunos inconvenientes como:

·         El orden en que los registros se encuentran almacenados: Es incierta la secuencia en que los registros son consignados en el log, debido a múltiples factores, entre los que se incluyen la concurrencia del tráfico en la red y la reciente popularización de herramientas de navegación que permiten hacer múltiples peticiones web al servidor originadas por el mismo usuario.

·         La finalización de la sesión: Normalmente, se asumiría que una sesión podría tomarse como la permanencia de un IP o usuario autenticado en el sistema, sin embargo, esta consideración dista de estar acertada, debido a situaciones en las que, por ejemplo, varios usuarios accedan al servicio web utilizando el mismo nombre de identificación de sesión en el sistema, o en las que algún programa envíe peticiones a la red automáticamente, la decisión de cómo poner fin a una sesión es algo de mucho cuidado.

Dentro de las estrategias utilizadas para identificación de sesiones de usuario se tienen:
  • Basadas en un umbral de tiempo: Con esta aproximación, se fija un valor que determina que tanto tiempo dura una sesión. Superado este límite, se asume que la sesión ha expirado y se crea una nueva. Esta alternativa sufre del problema de terminar con sesiones de usuarios que probablemente tengan hábitos de navegación muchos mayores a ese valor. Sin embargo, tiene la ventaja de que tiene un alto desempeño.

  • Basadas en la estructura del sitio web: Esta estrategia abstrae un sitio web específico como un grafo dirigido, donde los nodos son las páginas web y los arcos los vínculos que existen entre ellos; luego, se extrae del log del servidor web las entradas de un cliente y se van comparando con las de la estructura de la página web, para ver si coinciden, con lo cual se va asignando ese registro a la sesión. Las desventajas de esta aproximación radican en el comportamiento que el usuario tenga en la web: si presiona los botones del navegador (atrás, adelante, recargar), o si navega con múltiples pestañas, la estructura del sitio se modifica y el algoritmo asumiría una nueva sesión.

·         Basadas en cookies: esta estrategia es idéntica a la máquina con cookies. [3]


[1]Eirinaki&Vazirgiannis, Pre-procesamiento de Logs, 2003, fecha consulta: 26-12-09
[2]Huysmans et al.,  Métodos  para  identificar  usuarios, 2003, fecha consulta: 26-12-09
[3] P. Batista and M. J. Silva, Mining on-line newspaper  web access logs. 12th International  Meeting of the Euro Working Group on Decision Support  Sys tems (EWG-DSS 2001),  2001,  fecha consulta: 14-04-09

Software y Metodologia para el desarrollo de una App de Analisis Log



·          Software
      Sistema Operativo: Microsoft Windows XP/Linux

·         Lenguaje de programación: java/jsp

·         Entorno de programación: Netbeans 6.5

·         Servidor de Base de datos: MySQL Server 5.0

·         Administrador de base de datos: MySQL-Front  5.1

·         Herramienta de Mapeo objeto-relacional (ORM): hibernate3.jar

·         Servidor web: Apache 6.0.18

·         Herramienta de modelado lógico y dinámico: StarUml 5.0

·         Herramienta de modelado físico de datos: Enterprise 3.60

·         Librería para construir la Red Neuronal Artificial SOM: joone-engine.jar

·         Librería para construir gráficos: ChartDirector.jar


Metodologia
 
La metodología de desarrollo de software que utilice para la construcción de esta herramienta es ICONIX debido a que está basada en un proceso que se utiliza para analizar, modelar y diseñar los casos de uso que son manejados dentro del contexto del problema.

En la fase de recolección de requerimientos se utilizó la investigación de campo para obtener toda la información relacionada con los archivos log almacenados en el servidor web.Luego se establecieron los requerimientos funcionales, no funcionales, el glosario de términos y el modelo del dominio de la aplicación.

Seguidamente y en base a los requerimientos se diseñaron los diagramas de caso de uso para el usuario y el administrador en base a los cuales se redactaron los mismos indicando el flujo normal y alterno de los eventos entre el sistema y los actores.

Además se realizaron los prototipos de pantallas, diagramas de clases y diagramas de secuencia; todos estos elementos sirvieron para comprobar los requerimientos de los casos de uso.


Para la codificación del diseño de la aplicación se utilizó NetBeans 6.5 con el Framework JSF el cual está basado en el patrón MVC (Modelo-Vista-Controlador) que sirve para crear aplicaciones basadas en la web.

Para realizar la integración de los objetos con la base de datos se utilizó Hibernate ya que permite la persistencia de los objetos y el mapeo de las clases en una forma rápida y sencilla. Además facilitó el manejo de consultas Java a la base de datos.

Para la construcción Red Neuronal Artificial SOM se añadió la librería joone-engine.jar la cual ofreció toda la documentación necesaria para ingresar los patrones, procesarlos y obtener las salidas de la red.

Para representar los resultados obtenidos a través de la Red Neuronal Artificial SOM se añadió la librería ChartDirector.jar.

Posteriormente se realizaron las pruebas de la herramienta para comprobar su correcto funcionamiento.