Revision as of 13:18, 13 July 2006

Addressage

Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:

192.168.69.0/24: Réseau d'interconnection avec l'exterieur. Il sert à simplifier les tables de routages en déportant la passerelle coutoo derrière le switch/routeur little-ego.

Adresse: 192.168.69.0   11000000.10101000.01000101.00000000
Netmask: 255.255.255.0  11111111.11111111.11111111.00000000 (=24)
Wilcard: 0.0.0.255      00000000.00000000.00000111.11111111
=>
Network: 192.168.69.0/24
HostMin: 192.168.69.1
HostMax: 192.168.69.254
BroadCast: 192.168.69.255

10.69.0.0/16: Réseau Grid5000 de Lyon. Seul la moitier de ce réseaux (ie: 10.69.0.0/17) est routée dans les sites Grid5000, permettant de se réserver des plages pour l'administration (aucun intérêt à être accessible en dehors de Lyon) et permettre différents type d'expérimentation réseaux.

Le découpage est effectué comme suit:

0 0xxx yyyyyyyyyyy   host    y  \
0 0xxx 111110yyyyy   switch  y  | réseau x  
0 0xxx 111111yyyyy   serveur y  /
0 0111 xxxyyyyyyyy   host y tunnel x
0 1xxx yyyyyyyyyyy   host y réseau de test x
1 .... ...........   meme découpage mais non routé

Les réseaux actuellement en exploitation sont:

10.69.0.0/21 : Réseau de calcul sur interface native

Adresse: 10.69.0.0      00001010.01000101.00000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.0.0/21
HostMin: 10.69.0.1
HostMax: 10.69.7.254
BroadCast: 10.69.7.255

10.69.8.0/21 : Réseau Myrinet avec émulation ethernet

Adresse: 10.69.8.0      00001010.01000101.00001000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.8.0/21
HostMin: 10.69.8.1
HostMax: 10.69.15.254
BroadCast: 10.69.15.255

10.69.128.0/21: Réseau d'administration

Adresse: 10.69.128.0    00001010.01000101.10000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.128.0/21
HostMin: 10.69.128.1
HostMax: 10.69.135.254
BroadCast: 10.69.135.255

10.69.136.0/21: Accès a la carte d'administration ou processeur de service

Adresse: 10.69.136.0    00001010.01000101.10001000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.136.0/21
HostMin: 10.69.136.1
HostMax: 10.69.143.254
BroadCast: 10.69.143.255

VLAN

En plus des VLAN attribué par renater (voir Network interlink), Lyon utilise pour ces besoins une série de VLAN:

599: routage vers la passerelle (coutoo)
690: réseau de calcul
691 → 698: réseaux de tests
699: réseau d'administration

`little-ego`

ports 4:41-4:48: lyon_adm
ports 4:1-4:7,4:17,6:1 lyon_test1
ports 4:18-4:32,6:2 lyon_test2
ports 4:9-4:16,4:19,6:3 lyon_test3
ports 4:33-4:40,4:20,6:4 lyon_test4
ports 9:3,9:4 trunk vlan
ports 1:1-1:48,2:1-2:48 lyon

`venus`

`salome`

port 49: trunk vlan
ports 1,5: lyon_test1
ports 2,6: lyon_test2
ports 3,7: lyon_test3
ports 4,8: lyon_test4
ports 9-48,50: lyon

Cablage

UTP

La convention de couleur suivante a été choisie pour le cablage des différents éléments:

## jaune: lien d'aggrégation entre switchs
## bleu : réseau d'administration
## rouge: réseau de calcul / exploitation
## vert: réseaux de tests et expérimentaux

Fibre

De façon générale les fibres monomodes et multimodes se distinguent par:

## jaune: fibre monomode
## orange: fibre multimode

Attention: La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble.

Elle est utilisée principalement pour relier:

les équipements Myrinet entre eux (ie: cartes et switch) (multimode)
les switchs Venus et Salome en 10Gb avec le chassis Little-Ego (monomode)
Renater via le GBIC 1610nm (monomode)

Topologie

Venus

24→44: noeuds 1→24

Salome

15→46: noeuds 25→56

Pat

?→?: noeuds (adm) ?→?

Chris

?→?: noeuds (adm) ?→?

Ziblyne

1→35: noeuds (adm) 57→91

Bettie

1→35: noeuds (adm) 92→126

Little-Ego

1:1→1:35: noeuds 57→91
2:1→2:35: noeuds 92→126

5:1: Liaison renater

9:3: Salome
9:4: Venus

Réseau d'administration

Réseau de calcul

Topologie du réseau de calcul primaire

Matériel

Switch & Chassis

Venus et Salome

Il s'agit de deux switchs Foundry FES-X 448, chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (⇒ monomode)

Attention: pour se connecter à la console via le port série, il faut utiliser un cable special réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38).

Ziblyne et Bettie

Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.

Pat et Chris

Switchs Foundry dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb. Pat est un 24 ports et Chris est un 48 ports.

Little-Ego

Il s'agit d'un BlackDiamon 8810 de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:

4 module 10Gb ethernet LR (⇒ monomode)
1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb)

Services fournis

Firewall
Routage

Yumi

Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode. (On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet).

Serveurs

Coutoo

C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.

Services fournis

NAT: Translation d'adresses
NTP: Proxy avec le serveur de temps de l'ENS: ntp.ens-lyon.fr
DNS: Serveur de noms dédié à la résolution des zones externes
VTun: Mise en place de tunnels avec l'extérieur en cas de démos

Autres noms: ntp-ext, gw

Cyrrus

Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.

Services fournis

Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre à se titre les composants: OAR, MediaWiki, Bugzilla, ... (voir Internal web server)
NFS: Serveur de fichier pour la grappe.
DNS: Serveur de nom primaire pour le domaine lyon.grid5000.fr, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à Coutoo. (voir configuration DNS)
MySQL: Base de données utilisée en interne par MediaWiki et Bugzilla, sur la grappe par OAR et Kadeploy, et sur Grid5000 par OAR-Grid.
Nagios: Serveur surveillant les différents noeuds de la grappe.
Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
NTP: Serveur de temps pour la grappe, utilisant la source ntp-ext
MediaWiki: Système de documention collaborative pour Grid5000.
Bugzilla: Gestionnaire de bugs pour Grid5000.

Terminologie Grid5000: dns, ganglia, ldap, mysql, nagios, nfs, ns, ntp, www

Autres noms: ns1

Mil

Il s'agit de la réplique de Cyrrus. Cette machine n'est pas installée et a pour vocation (initiale) de servire de machine de secours en cas de problemes.

Capricorne

Initialement une partie des services OAR et Kadeploy auraient du être installés sur Cyrrus (ie: serveur) et l'autre sur Rork (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.

Services fournis

OAR: Soumission de jobs
Kadeploy: Déployement d'environements

Terminologie Grid5000: oar, oar-server, kadeploy

Autres noms: nightmare

Rork

C'est la seule machine sur laquelle peuvent se connecter les utilisateurs lorsqu'ils arrivent de l'extérieur.

Services fournis

Compilation: Le compilateur PathScale n'est utilisable que sur une seule machine du au méchnisme de licenses.
CVS:

Terminologie Grid5000: frontale, sync

Autres noms: cvs, frontal

Noeuds

Ils sont constités d'IBM eServer 325 (baies 'Asterix' et 'Lucky Luke') et de Sun Fire V20z (baies 'Tuniques bleues' et 'Ric Hochet')

Problèmes

Compilation sur frontale du a license, implique desynchro noeuds frontale
Climatisation insuffisante
IPMI pas franchement fonctionnel sur les noeuds IBM
administration via ethernet du Yumi non configure
Probleme de broadcast ethernet non identifie avec Pat et Chris
sur IBM e325, reboot (aleatoire?), sur le BIOS, sans acces au clavier, le seul moyen de revenir a un etat normal et de debrancher le cable d'alimentation (Ref IBM: 01L0HH9 et 01L0HX6), Contrat SN 22039

@@ Line 88: / Line 88: @@
 * ports 4,8: lyon_test4
 * ports 9-48,50: lyon
+= Cablage =
+== UTP ==
+La convention de couleur suivante a été choisie pour le cablage des différents éléments:
+* <span style="color: yellow;">##</span> jaune: lien d'aggrégation entre switchs
+* <span style="color: blue;">##</span> bleu : réseau d'administration
+* <span style="color: red;">##</span> rouge: réseau de calcul / exploitation
+* <span style="color: green;">##</span> vert: réseaux de tests et expérimentaux
+== Fibre ==
+De façon générale les fibres monomodes et multimodes se distinguent par:
+* <span style="color: yellow;">##</span> jaune: fibre monomode
+* <span style="color: orange;">##</span> orange: fibre multimode
+'''Attention''': La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble.
+Elle est utilisée principalement pour relier:
+* les équipements Myrinet entre eux (ie: cartes et switch) (multimode)
+* les switchs <code class="host">Venus</code> et <code class="host">Salome</code> en 10Gb avec le chassis <code class="host">Little-Ego</code> (monomode)
+* Renater via le GBIC 1610nm (monomode)
+= Topologie =
+;Venus:
+* 24&rarr;44: noeuds 1&rarr;24
+;Salome:
+* 15&rarr;46: noeuds 25&rarr;56
+;Pat:
+* ?&rarr;?: noeuds (adm) ?&rarr;?
+;Chris:
+* ?&rarr;?: noeuds (adm) ?&rarr;?
+;Ziblyne:
+* 1&rarr;35: noeuds (adm) 57&rarr;91
+;Bettie:
+* 1&rarr;35: noeuds (adm) 92&rarr;126
+;Little-Ego:
+{| width="100%"
+|-
+| valign="top" width="33%"|
+* 1:1&rarr;1:35: noeuds 57&rarr;91
+* 2:1&rarr;2:35: noeuds 92&rarr;126
+| valign="top" width="33%"|
+* 5:1: Liaison renater
+| valign="top" width="33%"|
+* 9:3: <code class="host">Salome</code>
+* 9:4: <code class="host">Venus</code>
+|}
+== Réseau d'administration ==
+== Réseau de calcul ==
+[[Image:Topologie Calcul Lyon.png|left|thumb|Topologie du réseau de calcul primaire|600px]]
+<div style="clear: both;"></div>
+= Matériel =
+== Switch & Chassis ==
+=== Venus et Salome ===
+Il s'agit de deux switchs [http://www.foundrynet.com/products/l23wiringcloset/fastiron/FESX424_X448.html Foundry FES-X 448], chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (&rArr; monomode)
+'''Attention''': pour se connecter à la console via le port série, il faut utiliser un cable ''special'' réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. ''Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38)''.
+=== Ziblyne et Bettie ===
+Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.
+=== Pat et Chris ===
+Switchs Foundry dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb. <code class="host">Pat</code> est un 24 ports et <code class="host">Chris</code> est un 48 ports.
+=== Little-Ego ===
+Il s'agit d'un [http://www.extremenetworks.com/libraries/prodpdfs/products/BD8800.asp BlackDiamon 8810] de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:
+* 4 module 10Gb ethernet LR (&rArr; monomode)
+* 1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb)
+;Services fournis:
+* Firewall
+* Routage
+=== Yumi ===
+Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode.
+(On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet).
+== Serveurs ==
+=== Coutoo ===
+C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.
+;Services fournis:
+* NAT: Translation d'adresses
+* NTP: Proxy avec le serveur de temps de l'ENS: <code class="host">ntp.ens-lyon.fr</code>
+* DNS: Serveur de noms dédié à la résolution des zones externes
+* VTun: Mise en place de tunnels avec l'extérieur en cas de démos
+;Autres noms: <code class="host">ntp-ext</code>, <code class="host">gw</code>
+=== Cyrrus ===
+Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.
+;Services fournis:
+* Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre  à se titre les composants: OAR, MediaWiki, Bugzilla, ... (voir [[Internal web server]])
+* NFS: Serveur de fichier pour la grappe.
+* DNS: Serveur de nom primaire pour le domaine <code class="host">lyon.grid5000.fr</code>, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à <code class="host">Coutoo</code>. (voir [[DNS|configuration DNS]])
+* MySQL: Base de données utilisée en interne par MediaWiki et Bugzilla, sur la grappe par  OAR et Kadeploy, et sur Grid5000 par OAR-Grid.
+* Nagios: Serveur surveillant les différents noeuds de la grappe.
+* Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
+* NTP: Serveur de temps pour la grappe, utilisant la source <code class="host">ntp-ext</code>
+* MediaWiki: Système de documention collaborative pour Grid5000.
+* Bugzilla: Gestionnaire de bugs pour Grid5000.
+;Terminologie Grid5000: <code class="host">dns</code>, <code class="host">ganglia</code>, <code class="host">ldap</code>, <code class="host">mysql</code>, <code class="host">nagios</code>, <code class="host">nfs</code>, <code class="host">ns</code>, <code class="host">ntp</code>, <code class="host">www</code>
+;Autres noms: <code class="host">ns1</code>
+=== Mil ===
+Il s'agit de la réplique de <code class="host">Cyrrus</code>. Cette machine n'est pas installée et a pour vocation (initiale) de servire de machine de secours en cas de problemes.
+=== Capricorne ===
+Initialement une partie des services [[OAR]] et [[Kadeploy]] auraient du être installés sur <code class="host">Cyrrus</code> (ie: serveur) et l'autre sur <code class="host">Rork</code> (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.
+;Services fournis:
+* OAR: Soumission de jobs
+* Kadeploy: Déployement d'environements
+;Terminologie Grid5000: <code class="host">oar</code>, <code class="host">oar-server</code>, <code class="host">kadeploy</code>
+;Autres noms: <code class="host">nightmare</code>
+=== Rork ===
+C'est la seule machine sur laquelle peuvent se connecter les utilisateurs lorsqu'ils arrivent de l'extérieur.
+;Services fournis:
+* Compilation: Le compilateur [http://www.pathscale.com/ PathScale] n'est utilisable que sur une seule machine du au méchnisme de licenses.
+* CVS:
+;Terminologie Grid5000: <code class="host">frontale</code>, <code class="host">sync</code>
+;Autres noms: <code class="host">cvs</code>, <code class="host">frontal</code>
+== Noeuds ==
+Ils sont constités d'[[Computer#IBM eServer 325|IBM eServer 325]] (baies 'Asterix' et 'Lucky Luke') et de [[Computer#Sun Fire V20z|Sun Fire V20z]] (baies 'Tuniques bleues' et 'Ric Hochet')
+= Problèmes =
+* Compilation sur frontale du a license, implique desynchro noeuds frontale
+* Climatisation insuffisante
+* IPMI pas franchement fonctionnel sur les noeuds IBM
+* administration via ethernet du Yumi non configure
+* Probleme de broadcast ethernet non identifie avec Pat et Chris
+* sur IBM e325, reboot (aleatoire?), sur le BIOS, sans acces au clavier, le seul moyen de revenir a un etat normal et de debrancher le cable d'alimentation (Ref IBM: 01L0HH9 et 01L0HX6), Contrat SN 22039

Lyon:Network: Difference between revisions

Revision as of 13:18, 13 July 2006

Contents

Addressage

VLAN

`little-ego`

`venus`

`salome`

Cablage

UTP

Fibre

Topologie

Réseau d'administration

Réseau de calcul

Matériel

Switch & Chassis

Venus et Salome

Ziblyne et Bettie

Pat et Chris

Little-Ego

Yumi

Serveurs

Coutoo

Cyrrus

Mil

Capricorne

Rork

Noeuds

Problèmes

Navigation menu

Lyon:Network: Difference between revisions

Revision as of 13:18, 13 July 2006

Addressage

VLAN

little-ego

venus

salome

Cablage

UTP

Fibre

Topologie

Réseau d'administration

Réseau de calcul

Matériel

Switch & Chassis

Venus et Salome

Ziblyne et Bettie

Pat et Chris

Little-Ego

Yumi

Serveurs

Coutoo

Cyrrus

Mil

Capricorne

Rork

Noeuds

Problèmes

Navigation menu

Search

`little-ego`

`venus`

`salome`