Revision as of 08:49, 21 June 2012

IP networks in use

You have to use a public network range to run an experiment between several Grid5000 sites.

Public Networks

computing : 10.69.0.0/21
virtual : 10.140.0.0/14

Local Networks

routing : 192.168.69.0/24
admin : 10.69.128.0/21
admin cards : 10.69.136.0/21

Network

Topologie physique du réseau de calcul

Note: capricorne cluster is now retired.

Addressage

Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:

192.168.69.0/24: Réseau d'interconnection avec l'exterieur. Il sert à simplifier les tables de routages en déportant la passerelle coutoo derrière le switch/routeur little-ego.

Adresse: 192.168.69.0   11000000.10101000.01000101.00000000
Netmask: 255.255.255.0  11111111.11111111.11111111.00000000 (=24)
Wilcard: 0.0.0.255      00000000.00000000.00000111.11111111
=>
Network: 192.168.69.0/24
HostMin: 192.168.69.1
HostMax: 192.168.69.254
BroadCast: 192.168.69.255

10.69.0.0/16: Réseau Grid5000 de Lyon. Seule la moitié de ce réseau (ie: 10.69.0.0/17) est routée dans les sites Grid5000, permettant de se réserver des plages pour l'administration (aucun intérêt à être accessible en dehors de Lyon) et permettre différents type d'expérimentations réseaux.

Les réseaux actuellement en exploitation sont:

10.69.0.0/21 : Réseau de calcul sur interface native

Adresse: 10.69.0.0      00001010.01000101.00000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.0.0/21
HostMin: 10.69.0.1
HostMax: 10.69.7.254
BroadCast: 10.69.7.255
=>
Ces plages d'adresse sont découpées ainsi:
10.69.0 à 10.69.5 : les clusters
10.69.6 : le réseau expérimental
          ce sont des ip spécifiques, par exemple pour des machines
          situées dans le réseau grid5000, mais dédiées à certaines tâches
          ou expériences (machines de l'équipe RESO par exemple)
          dans ce réseau expérimental, le sous-réseau suivant est dédié au testbed SAIL
          10.69.6.192/26
10.69.7 : les machines d'administration

10.69.128.0/21: Réseau d'administration

Adresse: 10.69.128.0    00001010.01000101.10000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.128.0/21
HostMin: 10.69.128.1
HostMax: 10.69.135.254
BroadCast: 10.69.135.255

10.69.136.0/21: Accès a la carte d'administration ou processeur de service

Adresse: 10.69.136.0    00001010.01000101.10001000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.136.0/21
HostMin: 10.69.136.1
HostMax: 10.69.143.254
BroadCast: 10.69.143.255

VLAN

En plus des VLAN attribué par renater (voir Network interlink), Lyon utilise pour ces besoins une série de VLAN:

550: Vlan Renater 4
599: routage vers la passerelle (coutoo)
690: réseau de calcul
699: réseau d'administration

`little-ego`

lyon: ports 1:1-48,2:1-47,3:1-48,4:1-42
Renater 4: ports 5:2-8, 6:1-8, 9:4
lyon_adm: ports 2:48, 4:43-47
coutoo: port 4:48

`venus` (obsolete)

port 49: trunk vlan
ports 1-48: lyon
port 50: vlan 1 (Default, not configured)

`salome`

Connected by 1 gbit/s links to:

little-ego
the second interface (eth0) of a part of sagittaire's nodes (This interface is normally not activated but can be activated if you deploy)
a gtrcnet1

The aim is both to have contention on the 1 gbit/s link to little-ego and to be able to either:

capture traffic with the gtrcnet1
insert the gtrcnet1 as a pass-through device to do various experiments (latency simulation, traffic shaping, metrology)

There are two network configurations:

in mirror mode:
- port 48 vlan lyon 690, connected to little-ego
- port 47 vlan mirror1-gnet1 100, connected to metroflux
- port 46 vlan mirror1-gnet1 100, connected to gnet1 channel 3
- port 45 vlan lyon, mirror of output traffic on port 48, connected to gnet1 channel 0
- port 44 disabled (vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1)
- port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan lyon 690
in pass-through mode:
- port 48 vlan lyon 690, connected to little-ego
- port 47 vlan mirror1-gnet1 100, connected to metroflux
- port 46 vlan lyon 690, connected to gnet1 channel 3
- port 45 vlan passthru-gnet1 101, connected to gnet1 channel 0
- port 44 vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1
- port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan passthru-gnet1 101

	Note
	To move inside the Lyon:Gaston page

Cablage

UTP

La convention de couleur suivante a été choisie pour le cablage des différents éléments:

## jaune: lien d'aggrégation entre switchs
## bleu : réseau d'administration
## rouge: réseau de calcul / exploitation
## vert: réseaux de tests et temporaires
## rose: réseaux d'expérimentation

Fibre

De façon générale les fibres monomodes et multimodes se distinguent par:

## jaune: fibre monomode
## orange: fibre multimode

Attention: La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble.

Elle est utilisée principalement pour relier:

les équipements Myrinet entre eux (ie: cartes et switch) (multimode)
les switchs Venus et Salome en 10Gb avec le chassis Little-Ego (monomode)
Renater via le Xenpak LR/SC (monomode)

Topologie

Pat

5 -> 16: noeuds (adm) 45 -> 56 (capricorne)

Chris

1 -> 44: noeuds (adm) 1 -> 44 (capricorne)

Ziblyne

1 -> 35: noeuds (adm) 57 -> 91 (sagittaire)

Bettie

1 -> 35: noeuds (adm) 92 -> 126 (sagittaire)

Little-Ego

1:1 -> 1:48: noeuds 1 -> 48 (sagittaire)
2:1 -> 2:31: noeuds 49 -> 79 (sagittaire)
3:1 -> 3:48: noeuds 1 -> 48 (capricorne)
4:1 -> 4:8: noeuds 49 -> 56 (capricorne)

9:4: Liaison renater
4:47: Interconnexion avec le réseau d'admin
4:48: Interconnexion avec le firewall coutoo

Autre configuration : Lyon:Gaston

Matériel

Switch & Chassis

Venus et Salome

Il s'agit de deux switchs Foundry FES-X 448, chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (⇒ monomode) Type de connecteur fibre : LC.

Attention: pour se connecter à la console via le port série, il faut utiliser un cable special réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38).

Ziblyne et Bettie

Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.

Pat et Chris

Switchs Foundry dédiées au réseau d'administration, ils disposent de ports à 100Mb ainsi que 2 port 1Gb ethernet. Pat est un 24 ports et Chris est un 48 ports.

Little-Ego

Il s'agit d'un BlackDiamon 8810 de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:

Connecteur fibre LC

Connecteur fibre SC

4 module 10Gb ethernet LR (⇒ monomode), Type de connecteur fibre: SC
1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb)
3 slots diponibles pour d'éventuelles extensions

Services fournis

Firewall
Routage

Documentation: http://www.extremenetworks.com/services/documentation

Yumi

Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode. (On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet). Type de connecteur fibre: LC.

Serveurs

Coutoo

C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.

Cyrrus

Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.

Services fournis

Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre à se titre les composants: OAR, Munin (voir Internal web server)
NFS: Serveur de fichier pour la grappe.
DNS: Serveur de nom primaire pour le domaine lyon.grid5000.fr, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à Coutoo. (voir configuration DNS)
Nagios: Serveur surveillant les différents noeuds de la grappe.
Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
NTP: Serveur de temps pour la grappe, utilisant la source ntp-ext

Terminologie Grid5000: dns, ganglia, ldap, mysql, nagios, nfs, ns, ntp, www

Autres noms: ns1

Nexus

Services fournis

Serveur de sauvegarde
Proxy
MySQL: Base de données utilisée en interne par OAR et Kadeploy.
OAR-Server
DHCP

Terminologie Grid5000: oar-server, proxy

Capricorne

Initialement une partie des services OAR et Kadeploy auraient du être installés sur Cyrrus (ie: serveur) et l'autre sur Rork (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.

Services fournis

OAR: Soumission de jobs
Kadeploy: Déployement d'environements

Terminologie Grid5000: frontend, kadeploy

Sagittaire

Frontale Xen de test.

Services fournis

Xen dom0

Terminologie Grid5000: sagittaire

Rork

C'est une machine dédiée à la compilation. Elle est à disposition des utilisateurs et peut soumettre des jobs au même titre que la machine frontend

Services fournis

Compilation (now unused)
Soumission OAR

Terminologie Grid5000: compil (now unused)

Autres noms: cvs

Noeuds

Ils sont constités de Sun Fire V20z (baies 'Tuniques bleues' et 'Ric Hochet')

Problèmes

Climatisation insuffisante
IPMI pas franchement fonctionnel sur les noeuds IBM
administration via ethernet du Yumi non configure

@@ Line 17: / Line 17: @@
 * routing : '''192.168.69.0/24'''
-* myrinet : '''10.69.8.0/21'''
+<!-- * myrinet : '''10.69.8.0/21''' -->
 * admin : '''10.69.128.0/21'''
 * admin cards : '''10.69.136.0/21'''
@@ Line 24: / Line 24: @@
 [[Image:Lyon.png|center|thumb|Topologie physique du réseau de calcul|503px]]
+Note: capricorne cluster is now retired.
 = Addressage =
@@ Line 60: / Line 62: @@
 .69.6.192/26
 .69.7 : les machines d'administration
+<!--
 * <code>10.69.8.0/21&nbsp;&nbsp;</code>: Réseau Myrinet avec émulation ethernet
   Adresse: 10.69.8.0      00001010.01000101.00001000.00000000
@@ Line 70: / Line 72: @@
   HostMax: 10.69.15.254
   BroadCast: 10.69.15.255
+-->
 * <code>10.69.128.0/21</code>: Réseau d'administration
@@ Line 240: / Line 243: @@
 === Coutoo ===
 C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.
-;Services fournis:
-* NAT: Translation d'adresses
-* NTP: Proxy avec le serveur de temps de l'ENS: <code class="host">ntp.ens-lyon.fr</code>
-* DNS: Serveur de noms dédié à la résolution des zones externes
-* VTun: Mise en place de tunnels avec l'extérieur en cas de démos
-;Autres noms: <code class="host">ntp-ext</code>
 === Cyrrus ===
@@ Line 302: / Line 298: @@
 == Noeuds ==
-Ils sont constités d'[[Computer#IBM eServer 325|IBM eServer 325]] (baies 'Asterix' et 'Lucky Luke') et de [[Computer#Sun Fire V20z|Sun Fire V20z]] (baies 'Tuniques bleues' et 'Ric Hochet')
+Ils sont constités de [[Computer#Sun Fire V20z|Sun Fire V20z]] (baies 'Tuniques bleues' et 'Ric Hochet')
 = Problèmes =
@@ Line 308: / Line 304: @@
 * IPMI pas franchement fonctionnel sur les noeuds IBM
 * administration via ethernet du Yumi non configure
-* sur IBM e325, reboot (aleatoire?), sur le BIOS, sans acces au clavier, le seul moyen de revenir a un etat normal et de debrancher le cable d'alimentation (Ref IBM: 01L0HH9 et 01L0HX6), Contrat SN 22039

Lyon:Network: Difference between revisions

Revision as of 08:49, 21 June 2012

Contents

IP networks in use

Public Networks

Local Networks

Network

Addressage

VLAN

`little-ego`

`venus` (obsolete)

`salome`

Cablage

UTP

Fibre

Topologie

Matériel

Switch & Chassis

Venus et Salome

Ziblyne et Bettie

Pat et Chris

Little-Ego

Yumi

Serveurs

Coutoo

Cyrrus

Nexus

Capricorne

Sagittaire

Rork

Noeuds

Problèmes

Navigation menu

Lyon:Network: Difference between revisions

Revision as of 08:49, 21 June 2012

IP networks in use

Public Networks

Local Networks

Network

Addressage

VLAN

little-ego

venus (obsolete)

salome

Cablage

UTP

Fibre

Topologie

Matériel

Switch & Chassis

Venus et Salome

Ziblyne et Bettie

Pat et Chris

Little-Ego

Yumi

Serveurs

Coutoo

Cyrrus

Nexus

Capricorne

Sagittaire

Rork

Noeuds

Problèmes

Navigation menu

Search

`little-ego`

`venus` (obsolete)

`salome`