|
|
| (36 intermediate revisions by 11 users not shown) |
| Line 1: |
Line 1: |
| {{Template:Site link|Network}} | | {{Template:Site link|Network}} |
| | {{Portal|Network}} |
| | {{Portal|User}} |
| | {{Maintainer|Simon Delamare}} |
|
| |
|
| {{Maintainer|Aurélien Cedeyn}}
| | '''See also:''' [[Lyon:Hardware|Hardware description for Lyon]] |
|
| |
|
| [[Image:Lyon.png|right|thumb|Topologie physique du réseau de calcul|502px]]
| | = Overview of Ethernet network topology = |
| = Addressage = | |
| Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:
| |
| ; 192.168.69.0/24: Réseau d'interconnection avec l'exterieur. Il sert à simplifier les tables de routages en déportant la passerelle <code class="host">coutoo</code> derrière le switch/routeur <code class="host">little-ego</code>.
| |
| Adresse: 192.168.69.0 11000000.10101000.01000101.00000000
| |
| Netmask: 255.255.255.0 11111111.11111111.11111111.00000000 (=24)
| |
| Wilcard: 0.0.0.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 192.168.69.0/24
| |
| HostMin: 192.168.69.1
| |
| HostMax: 192.168.69.254
| |
| BroadCast: 192.168.69.255
| |
|
| |
|
| | [[File:LyonNetwork.svg|800px]] |
|
| |
|
| ; 10.69.0.0/16: Réseau Grid5000 de Lyon. Seule la moitié de ce réseau (ie: 10.69.0.0/17) est routée dans les sites Grid5000, permettant de se réserver des plages pour l'administration (aucun intérêt à être accessible en dehors de Lyon) et permettre différents type d'expérimentations réseaux.
| | {{:Lyon:GeneratedNetwork}} |
|
| |
|
| Les réseaux actuellement en exploitation sont:
| | = IP networks in use = |
| * <code>10.69.0.0/21 </code>: Réseau de calcul sur interface native
| |
| Adresse: 10.69.0.0 00001010.01000101.00000000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.0.0/21
| |
| HostMin: 10.69.0.1
| |
| HostMax: 10.69.7.254
| |
| BroadCast: 10.69.7.255
| |
|
| |
|
| * <code>10.69.8.0/21 </code>: Réseau Myrinet avec émulation ethernet
| | You have to use a public network range to run an experiment between several Grid5000 sites. |
| Adresse: 10.69.8.0 00001010.01000101.00001000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.8.0/21
| |
| HostMin: 10.69.8.1
| |
| HostMax: 10.69.15.254
| |
| BroadCast: 10.69.15.255
| |
|
| |
|
| * <code>10.69.128.0/21</code>: Réseau d'administration
| | === Public Networks === |
| Adresse: 10.69.128.0 00001010.01000101.10000000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.128.0/21
| |
| HostMin: 10.69.128.1
| |
| HostMax: 10.69.135.254
| |
| BroadCast: 10.69.135.255
| |
|
| |
|
| * <code>10.69.136.0/21</code>: Accès a la carte d'administration ou processeur de service | | * computing : '''172.16.48.0/20''' |
| Adresse: 10.69.136.0 00001010.01000101.10001000.00000000
| | * virtual : '''10.140.0.0/14''' |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.136.0/21
| |
| HostMin: 10.69.136.1
| |
| HostMax: 10.69.143.254
| |
| BroadCast: 10.69.143.255
| |
|
| |
|
| = VLAN = | | === Local Networks === |
| En plus des VLAN attribué par renater (voir [[Network interlink]]), Lyon utilise pour ces besoins une série de VLAN:
| |
| * 550: Vlan Renater 4
| |
| * 599: routage vers la passerelle (<code class="host">coutoo</code>)
| |
| * 690: réseau de calcul
| |
| * 699: réseau d'administration
| |
|
| |
|
| == <code class="host">little-ego</code> ==
| | * admin : '''172.17.48.0/20''' |
| * ports 4:41-48: lyon_adm | | * nat : '''192.168.69.0/30''' |
| * ports 9:1: Renater 4 | |
| * port 3:48: coutoo
| |
| * ports 1:1-48,2:1-48,3:1-47,4:1-40 lyon
| |
|
| |
|
| == <code class="host">venus</code> (obsolete) == | | == HPC Network - Infiniband == |
| * port 49: trunk vlan | | * [https://www.nvidia.com/en-us/networking/infiniband/sb7800/ switch "''swib''"] : SB7800 (4xEDR, 100Gb/s) |
| * ports 1-48: lyon
| | * gemini : 3 interfaces connected to ''swib'' (4xEDR 100Gb/s) |
| * port 50: vlan 1 (Default, not configured)
| | ** Card model: ''Mellanox Technologies MT27800 Family (MT4119)'' |
| | | ** driver: ''mlx5_core'' |
| == <code class="host">salome</code> ==
| | * pyxis : 1 interface connected to ''swib'' (4xEDR, 100Gb/s) |
| Connected by 1 gbit/s links to:
| | ** Card model: ''Mellanox Technologies MT28908 Family [ConnectX-6] (MT4123)'' |
| * little-ego
| | ** driver: ''mlx5_core'' |
| * the second interface (eth0) of a part of sagittaire's nodes (This interface is normally not activated but can be activated if you deploy)
| | * alcor (''group storage''): 1 interface connected to ''swib'' (4xFDR, 56Gb/s) |
| * a gtrcnet1
| | ** Card model: ''Mellanox Technologies MT27800 Family [ConnectX-5] (MT4119)'' |
| The aim is both to have contention on the 1 gbit/s link to little-ego and to be able to either:
| | ** driver: ''mlx5_core'' |
| * capture traffic with the gtrcnet1
| | [[File:LyonHPCNetwork.png|1500px]]<br/> |
| * insert the gtrcnet1 as a pass-through device to do various experiments (latency simulation, traffic shaping, metrology)
| | ''(image generated from ibnetdiscover and [https://github.com/cyberang3l/InfiniBand-Graphviz-ualization InfiniBand-Graphviz-ualization])'' |
| There are two network configurations:
| |
| * in mirror mode: | |
| ** port 48 vlan lyon 690, connected to little-ego
| |
| ** port 47 vlan mirror1-gnet1 100, connected to metroflux
| |
| ** port 46 vlan mirror1-gnet1 100, connected to gnet1 channel 3
| |
| ** port 45 vlan lyon, mirror of output traffic on port 48, connected to gnet1 channel 0
| |
| ** port 44 disabled (vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1)
| |
| ** port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan lyon 690 | |
| * in pass-through mode:
| |
| ** port 48 vlan lyon 690, connected to little-ego
| |
| ** port 47 vlan mirror1-gnet1 100, connected to metroflux | |
| ** port 46 vlan lyon 690, connected to gnet1 channel 3
| |
| ** port 45 vlan passthru-gnet1 101, connected to gnet1 channel 0
| |
| ** port 44 vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1
| |
| ** port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan passthru-gnet1 101
| |
| | |
| = Cablage =
| |
| == UTP ==
| |
| La convention de couleur suivante a été choisie pour le cablage des différents éléments:
| |
| * <span style="color: yellow;">##</span> jaune: lien d'aggrégation entre switchs
| |
| * <span style="color: blue;">##</span> bleu : réseau d'administration
| |
| * <span style="color: red;">##</span> rouge: réseau de calcul / exploitation
| |
| * <span style="color: green;">##</span> vert: réseaux de tests et expérimentaux | |
| | |
| == Fibre ==
| |
| De façon générale les fibres monomodes et multimodes se distinguent par:
| |
| * <span style="color: yellow;">##</span> jaune: fibre monomode
| |
| * <span style="color: orange;">##</span> orange: fibre multimode
| |
| '''Attention''': La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble. | |
| | |
| Elle est utilisée principalement pour relier:
| |
| * les équipements Myrinet entre eux (ie: cartes et switch) (multimode)
| |
| * les switchs <code class="host">Venus</code> et <code class="host">Salome</code> en 10Gb avec le chassis <code class="host">Little-Ego</code> (monomode)
| |
| * Renater via le GBIC 1610nm (monomode)
| |
| | |
| = Topologie =
| |
| ;Venus:
| |
| * 1→32: noeuds 25→56 (capricorne)
| |
| ;Salome:
| |
| * 1→24: noeuds 1→24 (capricorne)
| |
| ;Pat:
| |
| * 5→16: noeuds (adm) 45→56 (capricorne)
| |
| ;Chris:
| |
| * 1→44: noeuds (adm) 1→44 (capricorne)
| |
| ;Ziblyne:
| |
| * 1→35: noeuds (adm) 57→91 (sagittaire) | |
| ;Bettie:
| |
| * 1→35: noeuds (adm) 92→126 (sagittaire) | |
| ;Little-Ego:
| |
| {| width="100%"
| |
| |-
| |
| | valign="top" width="33%"|
| |
| * 1:2→1:35: noeuds 1→35 (sagittaire)
| |
| * 2:1→2:35: noeuds 36→69 (sagittaire)
| |
| | valign="top" width="33%"|
| |
| * 5:1: Liaison renater
| |
| | valign="top" width="33%"|
| |
| * 9:3: <code class="host">Salome</code> (capricorne)
| |
| * 9:4: <code class="host">Venus</code> (capricorne)
| |
| |}
| |
| | |
| <!--
| |
| <table width=100%>
| |
| <tr><td>
| |
| == Réseau de calcul ==
| |
| </td>
| |
| <td>
| |
| == Réseau d'administration ==
| |
| </td>
| |
| </tr>
| |
| <tr><td>
| |
| [[Image:Lyon-Reseau_calcul.jpg|left|thumb|Topologie du réseau de calcul primaire|500px]]
| |
| </td>
| |
| <td>
| |
| [[Image:Reseau_interne_-_Administration.jpg|left|thumb|Topologie du réseau d'administration|425px]]
| |
| </td>
| |
| </tr>
| |
| </table>
| |
| -->
| |
| <!--[[Image:Topologie Calcul Lyon.png|left|thumb|Topologie du réseau de calcul primaire|600px]]
| |
| <div style="clear: both;"></div>
| |
| [[Image:Lyon-Reseau calcul.jpg|left|Topologie du réseau de calcul primaire|500px]]
| |
| <div style="clear: both;"></div>
| |
| -->
| |
| | |
| = Matériel =
| |
| == Switch & Chassis ==
| |
| === Venus et Salome ===
| |
| Il s'agit de deux switchs [http://www.foundrynet.com/products/l23wiringcloset/fastiron/FESX424_X448.html Foundry FES-X 448], chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (⇒ monomode) Type de connecteur fibre : LC.
| |
| | |
| '''Attention''': pour se connecter à la console via le port série, il faut utiliser un cable ''special'' réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. ''Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38)''. | |
| | |
| === Ziblyne et Bettie ===
| |
| Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.
| |
| | |
| === Pat et Chris ===
| |
| Switchs Foundry dédiées au réseau d'administration, ils disposent de ports à 100Mb ainsi que 2 port 1Gb ethernet. <code class="host">Pat</code> est un 24 ports et <code class="host">Chris</code> est un 48 ports.
| |
| | |
| === Little-Ego ===
| |
| Il s'agit d'un [http://www.extremenetworks.com/libraries/prodpdfs/products/BD8800.asp BlackDiamon 8810] de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:
| |
| [[Image:Connecteur-lc.jpg|right|thumb|Connecteur fibre LC|100px]]
| |
| [[Image:Connecteur-sc.jpg|right|thumb|Connecteur fibre SC|100px]]
| |
| | |
| * 4 module 10Gb ethernet LR (⇒ monomode), Type de connecteur fibre: SC
| |
| * 1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb) | |
| * 3 slots diponibles pour d'éventuelles extensions | |
| | |
| | |
| ;Services fournis:
| |
| * Firewall
| |
| * Routage
| |
| | |
| ;Documentation : http://www.extremenetworks.com/services/documentation
| |
| | |
| === Yumi ===
| |
| Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode.
| |
| (On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet). | |
| Type de connecteur fibre: LC.
| |
| | |
| == Serveurs ==
| |
| === Coutoo ===
| |
| C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.
| |
| ;Services fournis:
| |
| * NAT: Translation d'adresses | |
| * NTP: Proxy avec le serveur de temps de l'ENS: <code class="host">ntp.ens-lyon.fr</code> | |
| * DNS: Serveur de noms dédié à la résolution des zones externes
| |
| * VTun: Mise en place de tunnels avec l'extérieur en cas de démos
| |
| ;Autres noms: <code class="host">ntp-ext</code>
| |
| | |
| | |
| === Cyrrus ===
| |
| Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.
| |
| ;Services fournis:
| |
| * Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre à se titre les composants: OAR, Munin (voir [[Internal web server]])
| |
| * NFS: Serveur de fichier pour la grappe.
| |
| * DNS: Serveur de nom primaire pour le domaine <code class="host">lyon.grid5000.fr</code>, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à <code class="host">Coutoo</code>. (voir [[DNS server|configuration DNS]])
| |
| * Nagios: Serveur surveillant les différents noeuds de la grappe.
| |
| * Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
| |
| * NTP: Serveur de temps pour la grappe, utilisant la source <code class="host">ntp-ext</code>
| |
| | |
| ;Terminologie Grid5000: <code class="host">dns</code>, <code class="host">ganglia</code>, <code class="host">ldap</code>, <code class="host">mysql</code>, <code class="host">nagios</code>, <code class="host">nfs</code>, <code class="host">ns</code>, <code class="host">ntp</code>, <code class="host">www</code>
| |
| | |
| ;Autres noms: <code class="host">ns1</code>
| |
| | |
| | |
| === Nexus ===
| |
| ;Services fournis
| |
| * Serveur de sauvegarde
| |
| * Proxy
| |
| * MySQL: Base de données utilisée en interne par OAR et Kadeploy.
| |
| * OAR-Server
| |
| * DHCP
| |
| ;Terminologie Grid5000: <code class="host">oar-server</code>, <code class="host">proxy</code>
| |
| | |
| === Capricorne ===
| |
| Initialement une partie des services [[OAR]] et [[Kadeploy]] auraient du être installés sur <code class="host">Cyrrus</code> (ie: serveur) et l'autre sur <code class="host">Rork</code> (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.
| |
| | |
| ;Services fournis:
| |
| * OAR: Soumission de jobs
| |
| * Kadeploy: Déployement d'environements
| |
| | |
| ;Terminologie Grid5000: <code class="host">frontend</code>, <code class="host">kadeploy</code>
| |
| | |
| | |
| === Sagittaire (Not used anymore) ===
| |
| Frontale [[OAR]] pour le cluster sagittaire.
| |
| | |
| ;Services fournis:
| |
| * OAR: Soumission de jobs
| |
| * Kadeploy: Déployement d'environements
| |
| | |
| ;Terminologie Grid5000: <code class="host">sagittaire</code>, <code class="host">oar.sagittaire</code>
| |
| | |
| | |
| === Rork ===
| |
| C'est une machine dédiée à la compilation. Elle est à disposition des utilisateurs et peut soumettre des jobs au même titre que la machine <code class="host">frontend</code>
| |
| | |
| ;Services fournis:
| |
| * Compilation
| |
| * Soumission OAR
| |
| | |
| ;Terminologie Grid5000: <code class="host">compil</code>
| |
| | |
| ;Autres noms: <code class="host">cvs</code>
| |
| | |
| == Noeuds ==
| |
| Ils sont constités d'[[Computer#IBM eServer 325|IBM eServer 325]] (baies 'Asterix' et 'Lucky Luke') et de [[Computer#Sun Fire V20z|Sun Fire V20z]] (baies 'Tuniques bleues' et 'Ric Hochet')
| |
| | |
| = Problèmes =
| |
| * Climatisation insuffisante
| |
| * IPMI pas franchement fonctionnel sur les noeuds IBM
| |
| * administration via ethernet du Yumi non configure
| |
| * sur IBM e325, reboot (aleatoire?), sur le BIOS, sans acces au clavier, le seul moyen de revenir a un etat normal et de debrancher le cable d'alimentation (Ref IBM: 01L0HH9 et 01L0HX6), Contrat SN 22039
| |
