Cantabria Net 2011
Sistemas de redDavid Cristóbal López “Osito”
10 al 13 de Noviembre de 2011
Índice
• Introducción• Montaje• Esquemas de red• Funcionamiento de una red• Funcionamiento de un switch• Seguridad y control• Portal cautivo• Problema CantabriaNet 2010• Preguntas - Dudas
INTRODUCCIÓN
Introducción
- Juventud Cantabria Net se celebra desde 2001
- Esta es su 11ª edición
- Empezó en el Astillero, trasladándose en 2008 al Palacio de Congresos de Santander
Introducción
Participantes• 600 participantes• Aprox. 50 personas de organización (logística)• Aprox. 20 técnicos (Servidores, redes, juegos)• Stands• Future Modding Tournament• Cámaras vigilancia
Introducción
Infraestructura eléctrica• 35.000m de cable de red UTP Cat. 6• 3.000m de cable eléctrico• 7 Armarios de cableado• 350 Magnetotérmicos y diferenciales• 245.000 W de potencia eléctrica• 50 m de fibra óptica• 1000Mbps de conectividad
Introducción
• 2 Switches Cisco 6509
- 1 Supervisora
- 8 Controladoras 48 bocas Gigabit Ethernet
384 bocas Gigabit cada switch
2 Conexiones 10Gb
Introducción
• 2 Switches Cisco 3560
Conexión de Telefónica de fibra 1Gb a internet
Introducción
• 1 Allot NetEnforcer 1440
Monitorización y filtrado en tiempo real 2Gbps
Introducción
1 Balanceador Ascenlink
Balanceador de líneas ADSL, como backup a la salida de internet, con 8 líneas
Introducción
• 2 Racks de Servidores
Utilizados para toda la infraestructura:
- Portal Cautivo, DHCP, Bases de datos
Introducción
• 2 Cámaras de vigilancia
Transmisión en tiempo real al público de imágenes de la party
Introducción
• Mainframe IBM 7040-681 "Regatta"- 64 GB RAM- 32 Procesadores POWER4 1,3 GHz, 5,6 MB shared L2
Cache, 128 MB L3 ECC cache.- 12 tarjetas de Red Gigabit Ethernet.
• Armario de discos EMC Clariion CX700- 8 canales de fiber-channel a 2 Gbps SW multimodo- 4 cajones con 15 discos de 146 GB Fiber-channel - 7 cajones con 15 discos de 300 GB Fiber-channel
Urtzi Larrieta
www.yggdrasil.tv
MONTAJE
Montaje
Cableado eléctrico estructurado
• Cada media fila lleva su propio magnetotérmico
• Cada fila lleva un térmico diferencial
Objetivo: Evitar un apagón general de la party en caso de cortocircuito o sobrecarga
Montaje
SAI de 6KVA
• Alimenta núcleo de comunicaciones
(Switches, NetEnforcer, balanceador)
• Autonomía de 1 hora aproximadamente
Objetivo: En caso de apagón, eliminar demoras en el arranque de los switches y comunicaciones (unos 20 min.)
Montaje
Redundancia de hardware de salida a internet
• Doble switch de salida a internet de Telefónica
• Configuración clonada de uno a otro
Objetivo: Si hay avería en el switch de salida, se cambian los cables y no hay interrupción de servicio
Montaje
Balanceador de líneas ADSL
• Balancea 8 líneas ADSL
• Encendido pero en espera, para no demorar
arranque
Objetivo: Si cae la salida por fibra, se utilizan las líneas ADSL para no estar sin internet
Montaje
Monitorización – filtrado de salida a internet
• Allot NetEnforcer, 2Gbps de velocidad
• Continuamente monitorizando, pero sin filtrar
Objetivo: En caso de saturación de la salida a internet por programas P2P o cualquier otra incidencia, filtrar por políticas para garantizar servicio
ESQUEMAS DE RED
Esquemas de red
Topología
Esquemas de red
Red General
Esquemas de red
Flujo de tráfico
Esquemas de red
Centro de comunicaciones
FUNCIONAMIENTO
DE UNA RED
Funcionamiento de una red
MODELO OSI
Funcionamiento de una red
Capa 2
- Funciona en base a la dirección MAC
- Utilizado por los switches
- Tráfico ARP
Funcionamiento de una red
Capa 3
- Funciona en base a la dirección IP
- Utilizado por los routers
- En LAN, se asocia a una MAC mediante la tabla ARP
Funcionamiento de una red
Segmentación y VLAN
- Para evitar exceso de tráfico ARP, se crean VLANs
- Cada VLAN precisa de su propio direccionamiento IP
FUNCIONAMIENTO
DE UN SWITCH
Funcionamiento de un switch
Tablas ARP
- Funcionan en capa 2- Asignan MACs a bocas del switch- Se van rellenando dinámicamente- Las entradas tienen timeout- Las tablas son limitadas, en caso de llenarse,
elimina las entradas más antiguas
Funcionamiento de un switch
Funcionamiento
Origen 0000.0000.AAAA
Destino 0000.0000.BBBB
MAC Pto.
1.- El equipo con la MAC 0000.0000.AAAA manda un paquete para comunicarse con el equipo con la MAC 0000.0000.BBBB
Funcionamiento de un switch
Funcionamiento
MAC Pto.
0000.0000.AAAA G0/1
2.- El switch anota en qué puerto está la MAC origen dentro de la tabla ARP
Funcionamiento de un switch
Funcionamiento
MAC Pto.
0000.0000.AAAA G0/1
3.- El switch, al no saber en qué puerto está la MAC destino, manda el paquete por todos los puertos excepto por el que lo ha recibido
Funcionamiento de un switch
Funcionamiento
MAC Pto.
0000.0000.AAAA G0/1
Origen 0000.0000.BBBB
Destino 0000.0000.AAAA
4.- El equipo con la MAC 0000.0000.BBBB responde a la petición mandando un paquete con su MAC de origen y la del equipo 0000.0000.AAAA de destino
Funcionamiento de un switch
Funcionamiento
MAC Pto.
0000.0000.AAAA G0/1
0000.0000.BBBB G0/2
5.- El switch apunta la MAC 0000.0000.BBBB y la añade a la tabla ARP, en el puerto G0/2 que es donde ha recibido el paquete
Funcionamiento de un switch
Funcionamiento
MAC Pto.
0000.0000.AAAA G0/1
0000.0000.BBBB G0/2
6.- El switch manda el paquete únicamente por el puerto G0/1 que es donde tiene registrado que está la MAC 0000.0000.AAAA
Funcionamiento de un switch
Funcionamiento
MAC Pto.
0000.0000.AAAA G0/1
0000.0000.BBBB G0/2
7.- A partir de este momento, la comunicación se realiza directamente, sin mandar paquetes a otros puertos, ya que el switch conoce la ubicación de ambas MACs
SEGURIDAD Y CONTROL
Seguridad y control
Spanning-tree Protocol - Definición
- Protocolo utilizado para evitar bucles en la red- Se basa en un switch root que es el que centraliza toda
la comunicación- Utiliza BPDUs para obtener la topología de la red y
notificar cambios
Seguridad y control
Spanning-tree Protocol - Ataques
- Un atacante puede monitorizar el tráfico de red y ver que le llegan BPDUs a su equipo
- Después, transmitir BPDUs modificadas, indicando que él es el switch root para redirigir el tráfico a su equipo para hacer un Man in the Middle
Seguridad y control
Spanning-tree Protocol - Defensa
spanning-tree guard root
Evita que en esa boca del switch lleguen peticiones para ser root, aunque permite BPDUs
spanning-tree bpdu filter enable
Filtra las BPDUs, evitando que se publiquen por el interfaz donde se ha aplicado el comando
spanning-tree bpduguard enable
En caso de llegar una BPDU por ese puerto, lo desactiva para evitar problemas
Seguridad y control
Cisco Discovery Protocol - Definición
- Protocolo utilizado para descubrimiento de equipos Cisco, versiones de IOS y demás información
- Utilizado para configuración de teléfonos VoIP
Seguridad y control
Cisco Discovery Protocol - Ataques
- Obteniendo uno de los paquetes de datos, se obtiene información precisa del hardware de red y topología
- Conociendo estos datos, pueden buscarse bugs conocidos en ese hardware y realizar un ataque
Seguridad y control
Cisco Discovery Protocol - Defensa
no cdp enable
Desactiva la publicación de CDP en esa boca del switch, para evitar obtención de los datos
Seguridad y control
Broadcast - Definición
- Sistema utilizado para enviar un mismo paquete de red a todos los equipos de la red
- Usado para resoluciones ARP, juegos en red, descubrimiento de equipos…
- Utiliza la IP de broadcast de la red o la MAC de broadcast FF:FF:FF:FF:FF:FF
Seguridad y control
Broadcast - Ataques
- Si un equipo manda demasiados paquetes de broadcast, puede saturar a los demás, ralentizando la red
- Los equipos utilizan continuamente este sistema, por lo que no puede eliminarse
Seguridad y control
Broadcast - Defensa
Segmentación con VLANs
Al segmentar la red con VLANs, se crean diferentes dominios de broadcast
Así, se evita que el broadcast de una VLAN llegue a los equipos de otra VLAN
Seguridad y control
DHCP - Definición
- El protocolo DHCP se utiliza para asignar automáticamente una IP a un equipo cuando se conecta a una red
- Se basa en un intercambio de paquetes: Discover, Offer, Request, ACK
Seguridad y control
DHCP - Ataques
- Un atacante puede dar IP a un equipo antes que el servidor oficial, creando un ataque Man in the Middle
- De esa manera, puede filtrar el tráfico y robar datos
Seguridad y control
DHCP - Defensa
DHCP snooping
El DHCP snooping impide que una boca configurada como no confiable mande paquetes Offer, evitando respuestas no autorizadas
Las bocas de los switches donde están conectados los servidores DHCP deben estar configuradas como confiables
Seguridad y control
DTP - Definición
- Dinamyc Trunking Protocol es un protocolo que gestiona de manera dinámica la creación de puertos troncales
- Intercambia paquetes DTP para comprobar si al otro lado del cable hay un hardware que necesita un modo trunk
Seguridad y control
DTP - Ataques
- Mediante la creación de un puerto en modo troncal, un atacante puede obtener información sobre VLANs, mensajes de control de la red, etc.
Seguridad y control
DTP - Defensa
Switchport mode access
Configurando todos los puertos no troncales como de acceso, se desactiva el DTP
Cualquier paquete recibido en esas bocas referente a DTP, será descartado
Seguridad y control
ARP - Definición
- ARP es un protocolo utilizado para funcionar en la capa 2 del modelo OSI
- Mediante la tabla ARP, el equipo asigna una IP a una MAC, para no tener que preguntar cada vez que se quiera conectar a un equipo remoto con el que ya ha establecido conexiones anteriores
Seguridad y control
ARP - Ataques
- MAC Floding: Saturando la tabla ARP de un switch con MAC falsas, conseguimos que mande tráfico a todas las bocas, al eliminar la MAC de su tabla
- ARP Spoofing: También podemos mandar paquetes falseando identidad, para que los equipos asignen una IP concreta a una MAC de nuestra elección
Seguridad y control
ARP - Defensa
Switchport port-security maximum address <número>
Marcando un límite de MACs aprendidas por cada boca, elilminamos riesgos de bombardeo de MAC flooding
Binding de IP-MAC
Estableciendo una relación IP-MAC de confianza para los servidores críticos, evitamos que, en caso de que alguien lance un paquete para cambiar la relación, afecte al funcionamiento de la red
Seguridad y control
Monitorización - Definición
- Monitorizar es la mejor manera de controlar la red y detectar fallos y problemas
- También nos permite obtener estadísticas de tráfico de cara a mejorar para futuras ediciones
- Para poder hacerlo, utilizamos Cacti, un programa open-source que se puede manejar vía web
Seguridad y control
Monitorización - Cacti
Seguridad y control
Mapeo - Definición
- Es importante tener cada puerto del switch relacionado con el puesto que conecta
- Así, en caso de tener un problema con un equipo en una boca, al momento sabemos el sitio físico donde está
- De esta manera, se reduce el tiempo de respuesta en caso de una incidencia
Seguridad y control
Mapeo – Mapa de bocas
PORTAL CAUTIVO
Portal cautivo
- Para poder controlar el acceso y facilitar el mapeo de usuarios, se decidió usar un portal cautivo, llamado Packet Fence
- El control se realiza por MAC mediante los sistemas de seguridad del hardware de red
- Utiliza el protocolo SNMP para las notificaciones
www.packetfence.org
Portal cautivo
Configuración general del switch
- Comunidad SNMP
- Recuperación de errores automática
Portal cautivo
Configuración de los puertos
- VLAN de acceso preparty- Seguridad en el puerto- MAC falsa fijada por configuración- Envío de traps SNMP cuando se añada una dirección
Portal cautivo
Configuración de Packet Fence
- URL de redirección- RADIUS- DHCP- DNS- Configuración de los switches
- VLANs- SNMP- IPs- Fabricante – Modelo- Puertos no gestionados (Trunks)
Portal cautivo
Portal cautivo
Portal cautivo
VLAN PARTYVLAN 20
Portal cautivo
Funcionamiento
1.- El equipo se conecta a la red, en una VLAN de acceso, y se notifica al switch automáticamente
G1/1
Puerto MAC VLAN
G1/1 001d.0001.0001
20
VLAN PARTYVLAN 20
Portal cautivo
Funcionamiento
1.- El equipo se conecta a la red, en una VLAN de acceso, y se notifica al switch automáticamente
2.- El switch detecta una MAC diferente a la configurada y lanza un aviso al servidor,
indicando la nueva MAC
G1/1
Puerto MAC VLAN
G1/1 001d.0001.0001
20
VLAN PARTYVLAN 20
Portal cautivo
Funcionamiento
1.- El equipo se conecta a la red, en una VLAN de acceso, y se notifica al switch automáticamente
2.- El switch detecta una MAC diferente a la configurada y lanza un aviso al servidor,
indicando la nueva MAC
3.- El switch sustituye la MAC previa por la actual del equipo conectado
G1/1
Puerto MAC VLAN
G1/1 0022.c4fa.bada 20
VLAN PARTYVLAN 20
Portal cautivo
Funcionamiento
G1/1
Puerto MAC VLAN
G1/1 0022.c4fa.bada 20
1.- El equipo se conecta a la red, en una VLAN de acceso, y se notifica al switch automáticamente
2.- El switch detecta una MAC diferente a la configurada y lanza un aviso al servidor,
indicando la nueva MAC
3.- El switch sustituye la MAC previa por la actual del equipo conectado
4.- El servidor registra esa MAC en ese puesto y le da una IP de rango privado
VLAN PARTYVLAN 20
Portal cautivo
Funcionamiento
G1/1
Puerto MAC VLAN
G1/1 0022.c4fa.bada 20
1.- El equipo se conecta a la red, en una VLAN de acceso, y se notifica al switch automáticamente
2.- El switch detecta una MAC diferente a la configurada y lanza un aviso al servidor,
indicando la nueva MAC
3.- El switch sustituye la MAC previa por la actual del equipo conectado
4.- El servidor registra esa MAC en ese puesto y le da una IP de rango privado
5.- El usuario abre un navegador y le pide usuario y password
VLAN PARTY
Portal cautivo
Funcionamiento
G1/1
Puerto MAC VLAN
G1/1 0022.c4fa.bada 12
1.- El equipo se conecta a la red, en una VLAN de acceso, y se notifica al switch automáticamente
2.- El switch detecta una MAC diferente a la configurada y lanza un aviso al servidor,
indicando la nueva MAC
3.- El switch sustituye la MAC previa por la actual del equipo conectado
4.- El servidor registra esa MAC en ese puesto y le da una IP de rango privado
5.- El usuario abre un navegador y le pide usuario y password
6.- El servidor valida en base de datos el usuario, cambia en el switch la VLAN
VLAN PARTY
Portal cautivo
Funcionamiento
G1/1
Puerto MAC VLAN
G1/1 0022.c4fa.bada 12
1.- El equipo se conecta a la red, en una VLAN de acceso, y se notifica al switch automáticamente
2.- El switch detecta una MAC diferente a la configurada y lanza un aviso al servidor,
indicando la nueva MAC
3.- El switch sustituye la MAC previa por la actual del equipo conectado
4.- El servidor registra esa MAC en ese puesto y le da una IP de rango privado
5.- El usuario abre un navegador y le pide usuario y password
6.- El servidor valida en base de datos el usuario, cambia en el switch la VLAN
7.- El servidor otorga una IP pública al equipo
Portal cautivo
Problemas detectados / solucionados
- Equipos que no finalizan el registro correctamente porque no cambia la VLAN el switch
- Consolas (Se registran manualmente)- Switches (Configuración a mano en el switch)- Equipos con IP fija (Pasar a DHCP)- Bloqueos en el servidor Packet Fence (Reinicio del servicio)
- Equipos que aleatoriamente utilizan otra MAC (Sobre todo MAC OS X Lion)
- Y los que lleguen….
PROBLEMA CANTABRIANET 2010
Problema CantabriaNet 2010
Síntomas detectados
- Demasiados paquetes rechazados- Interfaces rechazando hasta 3.000.000 de paquetes por hora- Interfaces sin tráfico propio rechazando paquetes
- Salida a internet saturada pero sin tráfico- La salida a internet (1Gbps) iba gradualmente bajando el ancho
de banda- No había tráfico útil (http, ftp, P2P)
- Aumento considerable de CPU en los switches- Subida hasta un 20% (Normalmente usan un 5%)
- Ralentización de la comunicación- Pings con 800ms de retardo o más
Problema CantabriaNet 2010
Síntomas detectados
- Sesiones finalizadas- Las sesiones del navegador se cortaban sin motivo aparente
- Reinicio sin efecto- Reiniciar los switches no solucionaba el problema
- Colas de tráfico sin problemas- Las colas de paquetes de los switches no daban problemas de
configuración
- Sin tráfico malicioso- No había indicios de ataque- No había avisos de virus de red- Todas las bocas estaban afectadas por igual
Problema CantabriaNet 2010
Intentos de solución
- Modificación de las colas de tráfico- Cambio en las colas de tráfico, filtrando tráfico crítico y
etiquetándolo
- Listas de acceso- Intento de filtrar mediante ACLs el tráfico “prescindible” y
potencialmente problemático
- Verificación de puertos del switch- Algunos puertos estaban a 10Mbps y podían estar ralentizando la
red
- Cambios en las VLANs de algunos puertos de prueba- Cambio a otra VLAN diferente hace que funcione bien, por lo que
el problema está en la propia VLAN de la party
Problema CantabriaNet 2010
Intentos de solución
- Captura con Wireshark- Se observa mucho tráfico TCP/IP (algo lógico en una party)
- Análisis paquete a paquete de la captura- Sesiones TCP/IP enteras de un equipo que no es el que ha
capturado
Problema CantabriaNet 2010
Solución
- Un equipo está saliendo con una MAC de multicast- Las MACs de multicast no se registran en tablas ARP- El tráfico multicast lo reciben todos los equipos de la red
- Localizar el equipo- Al no registrarse en la tabla ARP, no se puede localizar desde el
switch- La captura muestra MAC e IP- Se lanza un ataque de descubrimiento de equipo a esa IP, el
nombre de equipo no dice nada- Mediante el portal cautivo, tenemos relacionados IP, MAC y
usuario- ¡¡LOCALIZADO!! Fila X Puesto X
Problema CantabriaNet 2010
Solución - Actuación
- Se acude al puesto y se desconecta ese equipo- Deja de haber paquetes rechazados, se restablecen todos los
puertos, internet vuelve a ir correctamente y los pings vuelven a ser normales
- Se analiza el equipo- La dirección MAC es correcta en el adaptador de red pero
Windows la invierte al salir a la red- Ej: 1234.5678.9111 => 1191.7856.3412- Se revisa el equipo en busca de virus, no se detectan- Es un Windows descargado de internet ya “tuneado”- Se fuerza la MAC a salir correctamente y el equipo se reintegra
en la red sin dar problemas
Problema CantabriaNet 2010
Funcionamiento
Origen 0100.0000.AAAA
Destino 0000.0000.BBBB
MAC Pto.
1.- El equipo manda un paquete a otro equipo, con MAC destino 0000.0000.BBBB 0000.0000.BBBB G0/2
Problema CantabriaNet 2010
Funcionamiento
MAC Pto.
2.- El switch recibe el paquete. La MAC de origen, al ser una MAC de broadcast (8º bit a uno), no se guarda en la tabla ARP
0000.0000.BBBB G0/2
Problema CantabriaNet 2010
Funcionamiento
MAC Pto.
3.- El switch manda el paquete por la boca en la que tiene la MAC de destino 0000.0000.BBBB G0/2
Problema CantabriaNet 2010
Funcionamiento
MAC Pto.
Origen 0000.0000.BBBB
Destino 0001.0000.AAAA
0000.0000.BBBB G0/2
4.- El equipo 0000.0000.BBBB contesta al paquete con la MAC 0100.0000.AAAA
Problema CantabriaNet 2010
Funcionamiento
MAC Pto.
0000.0000.BBBB G0/2
5.- El switch recibe el paquete. Al ser una MAC de broadcast, automáticamente lo envía a todos los puertos excepto en el que lo ha recibido
Problema CantabriaNet 2010
Funcionamiento
MAC Pto.
0000.0000.BBBB G0/2
6.- De esta manera, todos los equipos reciben, aparte de los paquetes de red destinados a ellos, los destinados al equipo 0100.0000.AAAA, provocando saturación en los interfaces y pérdida de paquetes, ya que el switch, al no poder enviar tantos, descarta los últimos recibidos
Problema CantabriaNet 2010
Solución - Medidas
- El portal cautivo, a la hora de hacer el login del usuario, verifica que la MAC sea correcta (ni broadcast ni multicast)
- En caso de haber un problema, mueve ese equipo a una VLAN aislada y avisa al usuario que pase por control
- El equipo de la persona que generó el problema ha sido revisado nada más llegar a la party
¿Preguntas?¿Dudas?
"Quien pregunta lo que ignora puede pasar por tonto cinco minutos; pero quien jamás se atreve a formular pregunta alguna, será tonto
toda su vida". Proverbio chino
Glosario de términos utilizados en la presentación
Información obtenida de la Wikipedia
Formato PDF Formato ODT