Archivos Log
Los archivos log de un sitio web
contienen la información de acceso y operaciones de todos los usuarios en orden
cronológico. En cada registro del log se encuentran: Dirección IP y agente,
tiempo (timestamp), identificador de sesión, método de acceso, estados varios,
agentes de software, byte transmitidos, objetos requeridos (páginas, imágenes,
etc.). Basándose en esta información, se puede determinar la secuencia de
páginas visitadas por el usuario durante su sesión.
De acuerdo a Oxford Dictionary
la definición de log es:
”Registro oficial de eventos durante
un periodo de tiempo en particular. Para los profesionales en seguridad
informática un log es usado para registrar datos o información sobre quién,
qué, cuándo, dónde y por qué? (who, what, when, where y why) un evento ocurre
para un dispositivo en particular o aplicación”.
La mayoría de log son almacenados o
desplegados en el formato estándar ASCII, el cual es un conjunto de caracteres
para dispositivos comunes y aplicaciones. De esta forma los log generados
por un dispositivo en particular pueden ser leídos y desplegados en otro
diferente.
Los campos del Formato Común de Log
(CLF, Common Log Format) son:
- IP-Cliente es la dirección IP del usuario que realiza la petición o, el nombre de la computadora del mismo si el servidor web está configurado para resolver las direcciones IP al nombre.
- Identd es el nombre del usuario remoto, siguiendo la RFC 1413.
- Usuario es el nombre de usuario que se autenticó mediante http, en las páginas que utilicen esta autenticación.
- Fecha/Hora es la fecha y la hora en que fue realizada la petición al servidor web.
- Pedido es el pedido que el cliente realizó al servidor, que generalmente incluye el método http utilizado, el URL solicitado y el protocolo empleado.
- Estado es el código de estado http devuelto al cliente, indicando si el pedido pudo realizarse correctamente o no, y en este último caso, el error ocurrido; y
- Bytes es la cantidad de bytes devueltos al cliente a causa de la petición del mismo. Si algunos de los campos no pueden ser determinados, un guión (-) es colocado en su lugar.
Pre-procesamiento de Logs
Esta fase está integrada por las
tareas de remover los datos que no necesitamos, identificar los visitantes,
identificar las acciones de los visitantes y la extracción de características.
Este proceso puede ser dividido en cuatro pasos:
- Eliminación
de robots de acceso web
- Filtrado de imágenes y datos ruidosos
- Extraer transacciones
- Extracción y formato de las características
Después de haber aplicado todo este
proceso, podemos decir que tenemos unos datos limpios para ser preparados con
técnicas de data mining y es así como empezaremos la preparación de los datos.
Identificación de usuarios
En este paso se
lleva a cabo dos niveles de identificación, en el primer nivel se identifican
las peticiones de páginas realizadas por el mismo usuario durante una visita.
El segundo nivel radica en reconocer a un usuario dentro de sus múltiples
visitas a un determinado sitio web, con la finalidad de poder analizar el
comportamiento del usuario a lo largo de días, meses o años.
Existen
distintos métodos para identificar a los usuarios; mediante las cookies, la
utilización de Identd,[1] su
dirección IP[2] y la
registración explícita de ellos, cada uno de los cuales posee sus ventajas y
desventajas.
·
Mediante la utilización de cookies. La
W3C define a una cookie como “datos enviados por el servidor web al cliente, el
cual los almacena localmente y los envía nuevamente al servidor en los
sucesivos pedidos”.
· Mediante la utilización de Identd.
Identd es un protocolo de identificación especificado en el RFC 1413 que
permite identificar a los usuarios de una conexión TCP particular. Dado un par
de números de puertos TCP, devuelve una cadena de texto, que identifica al
dueño de esa conexión (el cliente) en el sistema del servidor web. El problema
del uso de Identd para la identificación de los usuarios reside en que el
cliente debe estar configurado para el soporte de Identd.
· Mediante su dirección IP, en cada
línea del archivo de log se almacena la dirección IP del cliente que realizó el
pedido.
· Mediante la registración explícita
de ellos, necesitando que cada usuario inicie una sesión en el sitio web con un
usuario previamente registrado por él. Este método tiene el claro problema que
se necesita la intervención del usuario y para algunos tipos de sitios web es
impracticable.
1. Identificación de sesiones de usuario
Luego de
la identificación de los usuarios se deben identificar las sesiones de los
mismos que son una serie de servicios solicitados por un mismo
usuario a una única visita al sitio o portal web. Las sesiones son un factor
importante ya que través de ellas se puede conocer la percepción del usuario
con respecto a su visita al portal.
Para ello
se necesita dividir las distintas peticiones realizadas por un mismo usuario en
una o más sesiones. Debido a que las peticiones a los recursos de otros
servidores web no están disponibles, es difícil saber cuándo un usuario
abandona el sitio web.
Para la
formación de sesiones se utiliza generalmente un tiempo máximo entre sucesivas
peticiones, de modo que, si dos peticiones consecutivas de un usuario se
realizan con un intervalo de tiempo menor al máximo, las dos peticiones son
consideradas como parte de la misma sesión. Si dos peticiones consecutivas se
realizan con un intervalo de tiempo mayor al máximo, las dos peticiones
corresponden a sesiones distintas; la primera es la última petición de una
sesión y la otra es la primera de una nueva sesión.
Se debe
seleccionar un tiempo máximo entre peticiones para lo cual se han realizado
investigaciones que buscan encontrar el valor que mejor divida las sesiones de
los usuarios.
El trabajo
de identificación de sesiones es especialmente difícil, debido a algunos
inconvenientes como:
·
El orden en que los registros se
encuentran almacenados: Es
incierta la secuencia en que los registros son consignados en el log, debido a
múltiples factores, entre los que se incluyen la concurrencia del tráfico en la
red y la reciente popularización de herramientas de navegación que permiten
hacer múltiples peticiones web al servidor originadas por el mismo usuario.
·
La
finalización de la sesión: Normalmente, se asumiría que una
sesión podría tomarse como la permanencia de un IP o usuario autenticado en el
sistema, sin embargo, esta consideración dista de estar acertada, debido a
situaciones en las que, por ejemplo, varios usuarios accedan al servicio web
utilizando el mismo nombre de identificación de sesión en el sistema, o en las
que algún programa envíe peticiones a la red automáticamente, la decisión de
cómo poner fin a una sesión es algo de mucho cuidado.
Dentro de
las estrategias utilizadas para identificación de sesiones de usuario se
tienen:
- Basadas en un umbral de tiempo: Con esta aproximación, se fija un valor que determina que tanto tiempo dura una sesión. Superado este límite, se asume que la sesión ha expirado y se crea una nueva. Esta alternativa sufre del problema de terminar con sesiones de usuarios que probablemente tengan hábitos de navegación muchos mayores a ese valor. Sin embargo, tiene la ventaja de que tiene un alto desempeño.
- Basadas en la estructura del sitio web: Esta estrategia abstrae un sitio web específico como un grafo dirigido, donde los nodos son las páginas web y los arcos los vínculos que existen entre ellos; luego, se extrae del log del servidor web las entradas de un cliente y se van comparando con las de la estructura de la página web, para ver si coinciden, con lo cual se va asignando ese registro a la sesión. Las desventajas de esta aproximación radican en el comportamiento que el usuario tenga en la web: si presiona los botones del navegador (atrás, adelante, recargar), o si navega con múltiples pestañas, la estructura del sitio se modifica y el algoritmo asumiría una nueva sesión.
[1]Eirinaki&Vazirgiannis, Pre-procesamiento de Logs, 2003, fecha
consulta: 26-12-09
[2]Huysmans et al., Métodos para identificar
usuarios, 2003, fecha consulta: 26-12-09
[3] P. Batista and M. J. Silva, Mining
on-line newspaper web access logs. 12th
International Meeting of the Euro Working
Group on Decision Support Sys tems
(EWG-DSS 2001), 2001, fecha consulta: 14-04-09
