|
|
| Line 2: |
Line 2: |
| {{See also|[[Network Admins]] | [[Network survival guide]]}} | | {{See also|[[Network Admins]] | [[Network survival guide]]}} |
| {{Portal|Network}} | | {{Portal|Network}} |
| {{Maintainer|Aurélien Cedeyn}} | | {{Maintainer|Simon Delamare}} |
|
| |
|
|
| |
|
| Line 16: |
Line 16: |
| === Local Networks === | | === Local Networks === |
|
| |
|
| * routing : '''192.168.69.0/24''' | | * admin : '''10.69.136.0/21''' |
| <!-- * myrinet : '''10.69.8.0/21''' -->
| | * routing : '''192.168.69.0/30''' |
| * admin : '''10.69.128.0/21''' | |
| * admin cards : '''10.69.136.0/21'''
| |
|
| |
|
| = Network = | | = Network = |
|
| |
|
| [[Image:Lyon.png|center|thumb|Topologie physique du réseau de calcul|503px]] | | [[Image:Lyon_net.png|Lyon Network Topology]] |
| | |
| Note: capricorne cluster is now retired.
| |
| | |
| = Addressage =
| |
| Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:
| |
| ; 192.168.69.0/24: Réseau d'interconnection avec l'exterieur. Il sert à simplifier les tables de routages en déportant la passerelle <code class="host">coutoo</code> derrière le switch/routeur <code class="host">little-ego</code>.
| |
| Adresse: 192.168.69.0 11000000.10101000.01000101.00000000
| |
| Netmask: 255.255.255.0 11111111.11111111.11111111.00000000 (=24)
| |
| Wilcard: 0.0.0.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 192.168.69.0/24
| |
| HostMin: 192.168.69.1
| |
| HostMax: 192.168.69.254
| |
| BroadCast: 192.168.69.255
| |
| | |
| | |
| ; 10.69.0.0/16: Réseau Grid5000 de Lyon. Seule la moitié de ce réseau (ie: 10.69.0.0/17) est routée dans les sites Grid5000, permettant de se réserver des plages pour l'administration (aucun intérêt à être accessible en dehors de Lyon) et permettre différents type d'expérimentations réseaux.
| |
| | |
| Les réseaux actuellement en exploitation sont:
| |
| * <code>10.69.0.0/21 </code>: Réseau de calcul sur interface native
| |
| Adresse: 10.69.0.0 00001010.01000101.00000000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.0.0/21
| |
| HostMin: 10.69.0.1
| |
| HostMax: 10.69.7.254
| |
| BroadCast: 10.69.7.255
| |
| =>
| |
| Ces plages d'adresse sont découpées ainsi:
| |
| 10.69.0 à 10.69.5 : les clusters
| |
| 10.69.6 : le réseau expérimental
| |
| ce sont des ip spécifiques, par exemple pour des machines
| |
| situées dans le réseau grid5000, mais dédiées à certaines tâches
| |
| ou expériences (machines de l'équipe RESO par exemple)
| |
| dans ce réseau expérimental, le sous-réseau suivant est dédié au testbed SAIL
| |
| 10.69.6.192/26
| |
| 10.69.7 : les machines d'administration
| |
| <!--
| |
| * <code>10.69.8.0/21 </code>: Réseau Myrinet avec émulation ethernet
| |
| Adresse: 10.69.8.0 00001010.01000101.00001000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.8.0/21
| |
| HostMin: 10.69.8.1
| |
| HostMax: 10.69.15.254
| |
| BroadCast: 10.69.15.255
| |
| -->
| |
| | |
| * <code>10.69.128.0/21</code>: Réseau d'administration
| |
| Adresse: 10.69.128.0 00001010.01000101.10000000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.128.0/21
| |
| HostMin: 10.69.128.1
| |
| HostMax: 10.69.135.254
| |
| BroadCast: 10.69.135.255
| |
| | |
| * <code>10.69.136.0/21</code>: Accès a la carte d'administration ou processeur de service
| |
| Adresse: 10.69.136.0 00001010.01000101.10001000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.136.0/21
| |
| HostMin: 10.69.136.1
| |
| HostMax: 10.69.143.254
| |
| BroadCast: 10.69.143.255
| |
| | |
| = VLAN =
| |
| En plus des VLAN attribué par renater (voir [[Network interlink]]), Lyon utilise pour ces besoins une série de VLAN:
| |
| * 550: Vlan Renater 4
| |
| * 599: routage vers la passerelle (<code class="host">coutoo</code>)
| |
| * 690: réseau de calcul
| |
| * 699: réseau d'administration
| |
| | |
| == <code class="host">little-ego</code> ==
| |
| * '''lyon''': ports 1:1-48,2:1-47,3:1-48,4:1-42
| |
| * '''Renater 4''': ports 5:2-8, 6:1-8, 9:4
| |
| * '''lyon_adm''': ports 2:48, 4:43-47
| |
| * '''coutoo''': port 4:48
| |
| | |
| == <code class="host">venus</code> (obsolete) ==
| |
| * port 49: trunk vlan
| |
| * ports 1-48: lyon
| |
| * port 50: vlan 1 (Default, not configured)
| |
| | |
| == <code class="host">salome</code> ==
| |
| Connected by 1 gbit/s links to:
| |
| * little-ego
| |
| * the second interface (eth0) of a part of sagittaire's nodes (This interface is normally not activated but can be activated if you deploy)
| |
| * a gtrcnet1
| |
| The aim is both to have contention on the 1 gbit/s link to little-ego and to be able to either:
| |
| * capture traffic with the gtrcnet1
| |
| * insert the gtrcnet1 as a pass-through device to do various experiments (latency simulation, traffic shaping, metrology)
| |
| There are two network configurations:
| |
| * in mirror mode:
| |
| ** port 48 vlan lyon 690, connected to little-ego
| |
| ** port 47 vlan mirror1-gnet1 100, connected to metroflux
| |
| ** port 46 vlan mirror1-gnet1 100, connected to gnet1 channel 3
| |
| ** port 45 vlan lyon, mirror of output traffic on port 48, connected to gnet1 channel 0
| |
| ** port 44 disabled (vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1)
| |
| ** port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan lyon 690
| |
| * in pass-through mode:
| |
| ** port 48 vlan lyon 690, connected to little-ego
| |
| ** port 47 vlan mirror1-gnet1 100, connected to metroflux
| |
| ** port 46 vlan lyon 690, connected to gnet1 channel 3
| |
| ** port 45 vlan passthru-gnet1 101, connected to gnet1 channel 0
| |
| ** port 44 vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1
| |
| ** port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan passthru-gnet1 101
| |
| {{Note|text=To move inside the [[Lyon:Gaston]] page}}
| |
| | |
| = Cablage =
| |
| == UTP ==
| |
| La convention de couleur suivante a été choisie pour le cablage des différents éléments:
| |
| * <span style="color: yellow;">##</span> jaune: lien d'aggrégation entre switchs
| |
| * <span style="color: blue;">##</span> bleu : réseau d'administration
| |
| * <span style="color: red;">##</span> rouge: réseau de calcul / exploitation
| |
| * <span style="color: green;">##</span> vert: réseaux de tests et temporaires
| |
| * <span style="color: pink;">##</span> rose: réseaux d'expérimentation
| |
| | |
| == Fibre ==
| |
| De façon générale les fibres monomodes et multimodes se distinguent par:
| |
| * <span style="color: yellow;">##</span> jaune: fibre monomode
| |
| * <span style="color: orange;">##</span> orange: fibre multimode
| |
| '''Attention''': La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble.
| |
| | |
| Elle est utilisée principalement pour relier:
| |
| * les équipements Myrinet entre eux (ie: cartes et switch) (multimode)
| |
| * les switchs <code class="host">Venus</code> et <code class="host">Salome</code> en 10Gb avec le chassis <code class="host">Little-Ego</code> (monomode)
| |
| * Renater via le Xenpak LR/SC (monomode)
| |
| | |
| = Topologie =
| |
| ;Pat:
| |
| * 5 -> 16: noeuds (adm) 45 -> 56 (capricorne)
| |
| ;Chris:
| |
| * 1 -> 44: noeuds (adm) 1 -> 44 (capricorne)
| |
| ;Ziblyne:
| |
| * 1 -> 35: noeuds (adm) 57 -> 91 (sagittaire)
| |
| ;Bettie:
| |
| * 1 -> 35: noeuds (adm) 92 -> 126 (sagittaire)
| |
| ;Little-Ego:
| |
| {| width="100%"
| |
| |-
| |
| | valign="top" width="33%"|
| |
| * 1:1 -> 1:48: noeuds 1 -> 48 (sagittaire)
| |
| * 2:1 -> 2:31: noeuds 49 -> 79 (sagittaire)
| |
| * 3:1 -> 3:48: noeuds 1 -> 48 (capricorne)
| |
| * 4:1 -> 4:8: noeuds 49 -> 56 (capricorne)
| |
| | valign="top" width="33%"|
| |
| * 9:4: Liaison renater
| |
| * 4:47: Interconnexion avec le réseau d'admin
| |
| * 4:48: Interconnexion avec le firewall coutoo
| |
| | valign="top" width="33%"|
| |
| Autre configuration : [[Lyon:Gaston]]
| |
| |}
| |
| | |
| <!--
| |
| <table width=100%>
| |
| <tr><td>
| |
| == Réseau de calcul ==
| |
| </td>
| |
| <td>
| |
| == Réseau d'administration ==
| |
| </td>
| |
| </tr>
| |
| <tr><td>
| |
| [[Image:Lyon-Reseau_calcul.jpg|left|thumb|Topologie du réseau de calcul primaire|500px]]
| |
| </td>
| |
| <td>
| |
| [[Image:Reseau_interne_-_Administration.jpg|left|thumb|Topologie du réseau d'administration|425px]]
| |
| </td>
| |
| </tr>
| |
| </table>
| |
| -->
| |
| <!--[[Image:Topologie Calcul Lyon.png|left|thumb|Topologie du réseau de calcul primaire|600px]]
| |
| <div style="clear: both;"></div>
| |
| [[Image:Lyon-Reseau calcul.jpg|left|Topologie du réseau de calcul primaire|500px]]
| |
| <div style="clear: both;"></div>
| |
| -->
| |
| | |
| = Matériel =
| |
| == Switch & Chassis ==
| |
| === Venus et Salome ===
| |
| Il s'agit de deux switchs [http://www.foundrynet.com/products/l23wiringcloset/fastiron/FESX424_X448.html Foundry FES-X 448], chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (⇒ monomode) Type de connecteur fibre : LC.
| |
| | |
| '''Attention''': pour se connecter à la console via le port série, il faut utiliser un cable ''special'' réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. ''Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38)''.
| |
| | |
| === Ziblyne et Bettie ===
| |
| Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.
| |
| | |
| === Pat et Chris ===
| |
| Switchs Foundry dédiées au réseau d'administration, ils disposent de ports à 100Mb ainsi que 2 port 1Gb ethernet. <code class="host">Pat</code> est un 24 ports et <code class="host">Chris</code> est un 48 ports.
| |
| | |
| === Little-Ego ===
| |
| Il s'agit d'un [http://www.extremenetworks.com/libraries/prodpdfs/products/BD8800.asp BlackDiamon 8810] de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:
| |
| [[Image:Connecteur-lc.jpg|right|thumb|Connecteur fibre LC|100px]]
| |
| [[Image:Connecteur-sc.jpg|right|thumb|Connecteur fibre SC|100px]]
| |
| | |
| * 4 module 10Gb ethernet LR (⇒ monomode), Type de connecteur fibre: SC
| |
| * 1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb)
| |
| * 3 slots diponibles pour d'éventuelles extensions
| |
| | |
| | |
| ;Services fournis:
| |
| * Firewall
| |
| * Routage
| |
| | |
| ;Documentation : http://www.extremenetworks.com/services/documentation
| |
| | |
| === Yumi ===
| |
| Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode.
| |
| (On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet).
| |
| Type de connecteur fibre: LC.
| |
| | |
| == Serveurs ==
| |
| === Coutoo ===
| |
| C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.
| |
| | |
| === Cyrrus ===
| |
| Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.
| |
| ;Services fournis:
| |
| * Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre à se titre les composants: OAR, Munin (voir [[Internal web server]])
| |
| * NFS: Serveur de fichier pour la grappe.
| |
| * DNS: Serveur de nom primaire pour le domaine <code class="host">lyon.grid5000.fr</code>, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à <code class="host">Coutoo</code>. (voir [[DNS server|configuration DNS]])
| |
| * Nagios: Serveur surveillant les différents noeuds de la grappe.
| |
| * Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
| |
| * NTP: Serveur de temps pour la grappe, utilisant la source <code class="host">ntp-ext</code>
| |
| | |
| ;Terminologie Grid5000: <code class="host">dns</code>, <code class="host">ganglia</code>, <code class="host">ldap</code>, <code class="host">mysql</code>, <code class="host">nagios</code>, <code class="host">nfs</code>, <code class="host">ns</code>, <code class="host">ntp</code>, <code class="host">www</code>
| |
| | |
| ;Autres noms: <code class="host">ns1</code>
| |
| | |
| | |
| === Nexus ===
| |
| ;Services fournis
| |
| * Serveur de sauvegarde
| |
| * Proxy
| |
| * MySQL: Base de données utilisée en interne par OAR et Kadeploy.
| |
| * OAR-Server
| |
| * DHCP
| |
| ;Terminologie Grid5000: <code class="host">oar-server</code>, <code class="host">proxy</code>
| |
| | |
| === Capricorne ===
| |
| Initialement une partie des services [[OAR]] et [[Kadeploy]] auraient du être installés sur <code class="host">Cyrrus</code> (ie: serveur) et l'autre sur <code class="host">Rork</code> (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.
| |
| | |
| ;Services fournis:
| |
| * OAR: Soumission de jobs
| |
| * Kadeploy: Déployement d'environements
| |
| | |
| ;Terminologie Grid5000: <code class="host">frontend</code>, <code class="host">kadeploy</code>
| |
| | |
| | |
| === Sagittaire ===
| |
| Frontale Xen de test.
| |
| | |
| ;Services fournis:
| |
| * Xen dom0
| |
| | |
| ;Terminologie Grid5000: <code class="host">sagittaire</code>
| |
| | |
| === Rork ===
| |
| C'est une machine dédiée à la compilation. Elle est à disposition des utilisateurs et peut soumettre des jobs au même titre que la machine <code class="host">frontend</code>
| |
| | |
| ;Services fournis:
| |
| * Compilation (now unused)
| |
| * Soumission OAR
| |
| | |
| ;Terminologie Grid5000: <code class="host">compil</code> (now unused)
| |
| | |
| ;Autres noms: <code class="host">cvs</code>
| |
| | |
| == Noeuds ==
| |
| Ils sont constités de [[Computer#Sun Fire V20z|Sun Fire V20z]] (baies 'Tuniques bleues' et 'Ric Hochet')
| |
| | |
| = Problèmes =
| |
| * Climatisation insuffisante
| |
| * IPMI pas franchement fonctionnel sur les noeuds IBM
| |
| * administration via ethernet du Yumi non configure
| |
