Lyon:Network

From Grid5000
Jump to navigation Jump to search
Network: Global | Grenoble | Lille | Luxembourg | Lyon | Nancy | Nantes | Rennes | Sophia | Strasbourg | Toulouse
See also: Network Admins | Network survival guide


IP networks in use

You have to use a public network range to run an experiment between several Grid5000 sites.

Public Networks

  • computing : 10.69.0.0/21
  • virtual : 10.140.0.0/14

Local Networks

  • routing : 192.168.69.0/24
  • admin : 10.69.128.0/21
  • admin cards : 10.69.136.0/21

Network

Topologie physique du réseau de calcul

Note: capricorne cluster is now retired.

Addressage

Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:

192.168.69.0/24
Réseau d'interconnection avec l'exterieur. Il sert à simplifier les tables de routages en déportant la passerelle coutoo derrière le switch/routeur little-ego.
Adresse: 192.168.69.0   11000000.10101000.01000101.00000000
Netmask: 255.255.255.0  11111111.11111111.11111111.00000000 (=24)
Wilcard: 0.0.0.255      00000000.00000000.00000111.11111111
=>
Network: 192.168.69.0/24
HostMin: 192.168.69.1
HostMax: 192.168.69.254
BroadCast: 192.168.69.255


10.69.0.0/16
Réseau Grid5000 de Lyon. Seule la moitié de ce réseau (ie: 10.69.0.0/17) est routée dans les sites Grid5000, permettant de se réserver des plages pour l'administration (aucun intérêt à être accessible en dehors de Lyon) et permettre différents type d'expérimentations réseaux.

Les réseaux actuellement en exploitation sont:

  • 10.69.0.0/21  : Réseau de calcul sur interface native
Adresse: 10.69.0.0      00001010.01000101.00000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.0.0/21
HostMin: 10.69.0.1
HostMax: 10.69.7.254
BroadCast: 10.69.7.255
=>
Ces plages d'adresse sont découpées ainsi:
10.69.0 à 10.69.5 : les clusters
10.69.6 : le réseau expérimental
          ce sont des ip spécifiques, par exemple pour des machines
          situées dans le réseau grid5000, mais dédiées à certaines tâches
          ou expériences (machines de l'équipe RESO par exemple)
          dans ce réseau expérimental, le sous-réseau suivant est dédié au testbed SAIL
          10.69.6.192/26
10.69.7 : les machines d'administration
  • 10.69.128.0/21: Réseau d'administration
Adresse: 10.69.128.0    00001010.01000101.10000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.128.0/21
HostMin: 10.69.128.1
HostMax: 10.69.135.254
BroadCast: 10.69.135.255
  • 10.69.136.0/21: Accès a la carte d'administration ou processeur de service
Adresse: 10.69.136.0    00001010.01000101.10001000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.136.0/21
HostMin: 10.69.136.1
HostMax: 10.69.143.254
BroadCast: 10.69.143.255

VLAN

En plus des VLAN attribué par renater (voir Network interlink), Lyon utilise pour ces besoins une série de VLAN:

  • 550: Vlan Renater 4
  • 599: routage vers la passerelle (coutoo)
  • 690: réseau de calcul
  • 699: réseau d'administration

little-ego

  • lyon: ports 1:1-48,2:1-47,3:1-48,4:1-42
  • Renater 4: ports 5:2-8, 6:1-8, 9:4
  • lyon_adm: ports 2:48, 4:43-47
  • coutoo: port 4:48

venus (obsolete)

  • port 49: trunk vlan
  • ports 1-48: lyon
  • port 50: vlan 1 (Default, not configured)

salome

Connected by 1 gbit/s links to:

  • little-ego
  • the second interface (eth0) of a part of sagittaire's nodes (This interface is normally not activated but can be activated if you deploy)
  • a gtrcnet1

The aim is both to have contention on the 1 gbit/s link to little-ego and to be able to either:

  • capture traffic with the gtrcnet1
  • insert the gtrcnet1 as a pass-through device to do various experiments (latency simulation, traffic shaping, metrology)

There are two network configurations:

  • in mirror mode:
    • port 48 vlan lyon 690, connected to little-ego
    • port 47 vlan mirror1-gnet1 100, connected to metroflux
    • port 46 vlan mirror1-gnet1 100, connected to gnet1 channel 3
    • port 45 vlan lyon, mirror of output traffic on port 48, connected to gnet1 channel 0
    • port 44 disabled (vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1)
    • port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan lyon 690
  • in pass-through mode:
    • port 48 vlan lyon 690, connected to little-ego
    • port 47 vlan mirror1-gnet1 100, connected to metroflux
    • port 46 vlan lyon 690, connected to gnet1 channel 3
    • port 45 vlan passthru-gnet1 101, connected to gnet1 channel 0
    • port 44 vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1
    • port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan passthru-gnet1 101
Note.png Note

To move inside the Lyon:Gaston page

Cablage

UTP

La convention de couleur suivante a été choisie pour le cablage des différents éléments:

  • ## jaune: lien d'aggrégation entre switchs
  • ## bleu : réseau d'administration
  • ## rouge: réseau de calcul / exploitation
  • ## vert: réseaux de tests et temporaires
  • ## rose: réseaux d'expérimentation

Fibre

De façon générale les fibres monomodes et multimodes se distinguent par:

  • ## jaune: fibre monomode
  • ## orange: fibre multimode

Attention: La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble.

Elle est utilisée principalement pour relier:

  • les équipements Myrinet entre eux (ie: cartes et switch) (multimode)
  • les switchs Venus et Salome en 10Gb avec le chassis Little-Ego (monomode)
  • Renater via le Xenpak LR/SC (monomode)

Topologie

Pat
  • 5 -> 16: noeuds (adm) 45 -> 56 (capricorne)
Chris
  • 1 -> 44: noeuds (adm) 1 -> 44 (capricorne)
Ziblyne
  • 1 -> 35: noeuds (adm) 57 -> 91 (sagittaire)
Bettie
  • 1 -> 35: noeuds (adm) 92 -> 126 (sagittaire)
Little-Ego
  • 1:1 -> 1:48: noeuds 1 -> 48 (sagittaire)
  • 2:1 -> 2:31: noeuds 49 -> 79 (sagittaire)
  • 3:1 -> 3:48: noeuds 1 -> 48 (capricorne)
  • 4:1 -> 4:8: noeuds 49 -> 56 (capricorne)
  • 9:4: Liaison renater
  • 4:47: Interconnexion avec le réseau d'admin
  • 4:48: Interconnexion avec le firewall coutoo

Autre configuration : Lyon:Gaston


Matériel

Switch & Chassis

Venus et Salome

Il s'agit de deux switchs Foundry FES-X 448, chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (⇒ monomode) Type de connecteur fibre : LC.

Attention: pour se connecter à la console via le port série, il faut utiliser un cable special réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38).

Ziblyne et Bettie

Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.

Pat et Chris

Switchs Foundry dédiées au réseau d'administration, ils disposent de ports à 100Mb ainsi que 2 port 1Gb ethernet. Pat est un 24 ports et Chris est un 48 ports.

Little-Ego

Il s'agit d'un BlackDiamon 8810 de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:

Connecteur fibre LC
Connecteur fibre SC
  • 4 module 10Gb ethernet LR (⇒ monomode), Type de connecteur fibre: SC
  • 1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb)
  • 3 slots diponibles pour d'éventuelles extensions


Services fournis
  • Firewall
  • Routage
Documentation
http://www.extremenetworks.com/services/documentation

Yumi

Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode. (On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet). Type de connecteur fibre: LC.

Serveurs

Coutoo

C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.

Cyrrus

Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.

Services fournis
  • Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre à se titre les composants: OAR, Munin (voir Internal web server)
  • NFS: Serveur de fichier pour la grappe.
  • DNS: Serveur de nom primaire pour le domaine lyon.grid5000.fr, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à Coutoo. (voir configuration DNS)
  • Nagios: Serveur surveillant les différents noeuds de la grappe.
  • Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
  • NTP: Serveur de temps pour la grappe, utilisant la source ntp-ext
Terminologie Grid5000
dns, ganglia, ldap, mysql, nagios, nfs, ns, ntp, www
Autres noms
ns1


Nexus

Services fournis
  • Serveur de sauvegarde
  • Proxy
  • MySQL: Base de données utilisée en interne par OAR et Kadeploy.
  • OAR-Server
  • DHCP
Terminologie Grid5000
oar-server, proxy

Capricorne

Initialement une partie des services OAR et Kadeploy auraient du être installés sur Cyrrus (ie: serveur) et l'autre sur Rork (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.

Services fournis
  • OAR: Soumission de jobs
  • Kadeploy: Déployement d'environements
Terminologie Grid5000
frontend, kadeploy


Sagittaire

Frontale Xen de test.

Services fournis
  • Xen dom0
Terminologie Grid5000
sagittaire

Rork

C'est une machine dédiée à la compilation. Elle est à disposition des utilisateurs et peut soumettre des jobs au même titre que la machine frontend

Services fournis
  • Compilation (now unused)
  • Soumission OAR
Terminologie Grid5000
compil (now unused)
Autres noms
cvs

Noeuds

Ils sont constités de Sun Fire V20z (baies 'Tuniques bleues' et 'Ric Hochet')

Problèmes

  • Climatisation insuffisante
  • IPMI pas franchement fonctionnel sur les noeuds IBM
  • administration via ethernet du Yumi non configure
Retrieved from "https://www.grid5000.fr/mediawiki/index.php?title=Lyon:Network&oldid=43824"