Lyon:Network: Difference between revisions

From Grid5000
Jump to navigation Jump to search
No edit summary
No edit summary
 
(16 intermediate revisions by 6 users not shown)
Line 1: Line 1:
{{Template:Site link|Network}}
{{Template:Site link|Network}}
{{See also|[[Network Admins]] | [[Network survival guide]]}}
{{Portal|Network}}
{{Portal|Network}}
{{Maintainer|Aurélien Cedeyn}}
{{Portal|User}}
{{Maintainer|Simon Delamare}}


'''See also:''' [[Lyon:Hardware|Hardware description for Lyon]]
= Overview of Ethernet network topology =
[[File:LyonNetwork.svg|800px]]
{{:Lyon:GeneratedNetwork}}


= IP networks in use =
= IP networks in use =
Line 11: Line 18:
=== Public Networks ===
=== Public Networks ===


* computing : '''10.69.0.0/21'''
* computing : '''172.16.48.0/20'''
* virtual : '''10.140.0.0/14'''
* virtual : '''10.140.0.0/14'''


=== Local Networks ===
=== Local Networks ===


* routing : '''192.168.69.0/24'''
* admin : '''172.17.48.0/20'''
<!-- * myrinet : '''10.69.8.0/21''' -->
* nat : '''192.168.69.0/30'''
* admin : '''10.69.128.0/21'''
* admin cards : '''10.69.136.0/21'''
 
= Network =
 
[[Image:Lyon.png|center|thumb|Topologie physique du réseau de calcul|503px]]
 
Note: capricorne cluster is now retired.
 
= Addressage =
Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:
; 192.168.69.0/24: Réseau d'interconnection avec l'exterieur. Il sert à simplifier les tables de routages en déportant la passerelle <code class="host">coutoo</code> derrière le switch/routeur <code class="host">little-ego</code>.
Adresse: 192.168.69.0  11000000.10101000.01000101.00000000
Netmask: 255.255.255.0  11111111.11111111.11111111.00000000 (=24)
Wilcard: 0.0.0.255      00000000.00000000.00000111.11111111
=>
Network: 192.168.69.0/24
HostMin: 192.168.69.1
HostMax: 192.168.69.254
BroadCast: 192.168.69.255
 
 
; 10.69.0.0/16: Réseau Grid5000 de Lyon. Seule la moitié de ce réseau (ie: 10.69.0.0/17) est routée dans les sites Grid5000, permettant de se réserver des plages pour l'administration (aucun intérêt à être accessible en dehors de Lyon) et permettre différents type d'expérimentations réseaux.
 
Les réseaux actuellement en exploitation sont:
* <code>10.69.0.0/21&nbsp;&nbsp;</code>: Réseau de calcul sur interface native
Adresse: 10.69.0.0      00001010.01000101.00000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.0.0/21
HostMin: 10.69.0.1
HostMax: 10.69.7.254
BroadCast: 10.69.7.255
=>
Ces plages d'adresse sont découpées ainsi:
10.69.0 à 10.69.5 : les clusters
10.69.6 : le réseau expérimental
          ce sont des ip spécifiques, par exemple pour des machines
          situées dans le réseau grid5000, mais dédiées à certaines tâches
          ou expériences (machines de l'équipe RESO par exemple)
          dans ce réseau expérimental, le sous-réseau suivant est dédié au testbed SAIL
          10.69.6.192/26
10.69.7 : les machines d'administration
<!--
* <code>10.69.8.0/21&nbsp;&nbsp;</code>: Réseau Myrinet avec émulation ethernet
Adresse: 10.69.8.0      00001010.01000101.00001000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.8.0/21
HostMin: 10.69.8.1
HostMax: 10.69.15.254
BroadCast: 10.69.15.255
-->
 
* <code>10.69.128.0/21</code>: Réseau d'administration
Adresse: 10.69.128.0    00001010.01000101.10000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.128.0/21
HostMin: 10.69.128.1
HostMax: 10.69.135.254
BroadCast: 10.69.135.255
 
* <code>10.69.136.0/21</code>: Accès a la carte d'administration ou processeur de service
Adresse: 10.69.136.0    00001010.01000101.10001000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.136.0/21
HostMin: 10.69.136.1
HostMax: 10.69.143.254
BroadCast: 10.69.143.255
 
= VLAN =
En plus des VLAN attribué par renater (voir [[Network interlink]]), Lyon utilise pour ces besoins une série de VLAN:
* 550: Vlan Renater 4
* 599: routage vers la passerelle (<code class="host">coutoo</code>)
* 690: réseau de calcul
* 699: réseau d'administration
 
== <code class="host">little-ego</code> ==
* '''lyon''': ports 1:1-48,2:1-47,3:1-48,4:1-42
* '''Renater 4''': ports  5:2-8, 6:1-8, 9:4
* '''lyon_adm''': ports 2:48, 4:43-47
* '''coutoo''': port  4:48
 
== <code class="host">venus</code> (obsolete) ==
* port 49: trunk vlan
* ports 1-48: lyon
* port 50: vlan 1 (Default, not configured)
 
== <code class="host">salome</code> ==
Connected by 1 gbit/s links to:
* little-ego
* the second interface (eth0) of a part of sagittaire's nodes (This interface is normally not activated but can be activated if you deploy)
* a gtrcnet1
The aim is both to have contention on the 1 gbit/s link to little-ego and to be able to either:
* capture traffic with the gtrcnet1
* insert the gtrcnet1 as a pass-through device to do various experiments (latency simulation, traffic shaping, metrology)
There are two network configurations:
* in mirror mode:
** port 48 vlan lyon 690, connected to little-ego
** port 47 vlan mirror1-gnet1 100, connected to metroflux
** port 46 vlan mirror1-gnet1 100, connected to gnet1 channel 3
** port 45 vlan lyon, mirror of output traffic on port 48, connected to gnet1 channel 0
** port 44 disabled (vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1)
** port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan lyon 690
* in pass-through mode:
** port 48 vlan lyon 690, connected to little-ego
** port 47 vlan mirror1-gnet1 100, connected to metroflux
** port 46 vlan lyon 690, connected to gnet1 channel 3
** port 45 vlan passthru-gnet1 101, connected to gnet1 channel 0
** port 44 vlan lyon, mirror of input traffic on port 48, connected to gnet1 channel 1
** port 1 to 43: connected to sagittaire's node (currently only 1 to 26), vlan passthru-gnet1 101
{{Note|text=To move inside the [[Lyon:Gaston]] page}}
 
= Cablage =
== UTP ==
La convention de couleur suivante a été choisie pour le cablage des différents éléments:
* <span style="color: yellow;">##</span> jaune: lien d'aggrégation entre switchs
* <span style="color: blue;">##</span> bleu : réseau d'administration
* <span style="color: red;">##</span> rouge: réseau de calcul / exploitation
* <span style="color: green;">##</span> vert: réseaux de tests et temporaires
* <span style="color: pink;">##</span> rose: réseaux d'expérimentation
 
== Fibre ==
De façon générale les fibres monomodes et multimodes se distinguent par:
* <span style="color: yellow;">##</span> jaune: fibre monomode
* <span style="color: orange;">##</span> orange: fibre multimode
'''Attention''': La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble.
 
Elle est utilisée principalement pour relier:
* les équipements Myrinet entre eux (ie: cartes et switch) (multimode)
* les switchs <code class="host">Venus</code> et <code class="host">Salome</code> en 10Gb avec le chassis <code class="host">Little-Ego</code> (monomode)
* Renater via le Xenpak LR/SC (monomode)
 
= Topologie =
;Pat:
* 5 -> 16: noeuds (adm) 45 -> 56 (capricorne)
;Chris:
* 1 -> 44: noeuds (adm) 1 -> 44 (capricorne)
;Ziblyne:
* 1 -> 35: noeuds (adm) 57 -> 91 (sagittaire)
;Bettie:
* 1 -> 35: noeuds (adm) 92 -> 126 (sagittaire)
;Little-Ego:
{| width="100%"
|-
| valign="top" width="33%"|
* 1:1 -> 1:48: noeuds 1 -> 48 (sagittaire)
* 2:1 -> 2:31: noeuds 49 -> 79 (sagittaire)
* 3:1 -> 3:48: noeuds 1 -> 48 (capricorne)
* 4:1 -> 4:8:  noeuds 49 -> 56 (capricorne)
| valign="top" width="33%"|
* 9:4: Liaison renater
* 4:47: Interconnexion avec le réseau d'admin
* 4:48: Interconnexion avec le firewall coutoo
| valign="top" width="33%"|
Autre configuration : [[Lyon:Gaston]]
|}
 
<!--
<table width=100%>
<tr><td>
== Réseau de calcul ==
</td>
<td>
== Réseau d'administration ==
</td>
</tr>
<tr><td>
[[Image:Lyon-Reseau_calcul.jpg|left|thumb|Topologie du réseau de calcul primaire|500px]]
</td>
<td>
[[Image:Reseau_interne_-_Administration.jpg|left|thumb|Topologie du réseau d'administration|425px]]
</td>
</tr>
</table>
-->
<!--[[Image:Topologie Calcul Lyon.png|left|thumb|Topologie du réseau de calcul primaire|600px]]
<div style="clear: both;"></div>
[[Image:Lyon-Reseau calcul.jpg|left|Topologie du réseau de calcul primaire|500px]]
<div style="clear: both;"></div>
-->
 
= Matériel =
== Switch & Chassis ==
=== Venus et Salome ===
Il s'agit de deux switchs [http://www.foundrynet.com/products/l23wiringcloset/fastiron/FESX424_X448.html Foundry FES-X 448], chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (&rArr; monomode) Type de connecteur fibre : LC.
 
'''Attention''': pour se connecter à la console via le port série, il faut utiliser un cable ''special'' réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. ''Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38)''.
 
=== Ziblyne et Bettie ===
Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.
 
=== Pat et Chris ===
Switchs Foundry dédiées au réseau d'administration, ils disposent de ports à 100Mb ainsi que 2 port 1Gb ethernet. <code class="host">Pat</code> est un 24 ports et <code class="host">Chris</code> est un 48 ports.
 
=== Little-Ego ===
Il s'agit d'un [http://www.extremenetworks.com/libraries/prodpdfs/products/BD8800.asp BlackDiamon 8810] de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:
[[Image:Connecteur-lc.jpg|right|thumb|Connecteur fibre LC|100px]]
[[Image:Connecteur-sc.jpg|right|thumb|Connecteur fibre SC|100px]]
 
* 4 module 10Gb ethernet LR (&rArr; monomode), Type de connecteur fibre: SC
* 1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb)
* 3 slots diponibles pour d'éventuelles extensions
 
 
;Services fournis:
* Firewall
* Routage
 
;Documentation : http://www.extremenetworks.com/services/documentation
 
=== Yumi ===
Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode.
(On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet).
Type de connecteur fibre: LC.
 
== Serveurs ==
=== Coutoo ===
C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.
 
=== Cyrrus ===
Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.
;Services fournis:
* Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre  à se titre les composants: OAR, Munin (voir [[Internal web server]])
* NFS: Serveur de fichier pour la grappe.
* DNS: Serveur de nom primaire pour le domaine <code class="host">lyon.grid5000.fr</code>, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à <code class="host">Coutoo</code>. (voir [[DNS server|configuration DNS]])
* Nagios: Serveur surveillant les différents noeuds de la grappe.
* Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
* NTP: Serveur de temps pour la grappe, utilisant la source <code class="host">ntp-ext</code>
 
;Terminologie Grid5000: <code class="host">dns</code>, <code class="host">ganglia</code>, <code class="host">ldap</code>, <code class="host">mysql</code>, <code class="host">nagios</code>, <code class="host">nfs</code>, <code class="host">ns</code>, <code class="host">ntp</code>, <code class="host">www</code>
 
;Autres noms: <code class="host">ns1</code>
 
 
=== Nexus ===
;Services fournis
* Serveur de sauvegarde
* Proxy
* MySQL: Base de données utilisée en interne par OAR et Kadeploy.
* OAR-Server
* DHCP
;Terminologie Grid5000: <code class="host">oar-server</code>, <code class="host">proxy</code>
 
=== Capricorne ===
Initialement une partie des services [[OAR]] et [[Kadeploy]] auraient du être installés sur <code class="host">Cyrrus</code> (ie: serveur) et l'autre sur <code class="host">Rork</code> (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.
 
;Services fournis:
* OAR: Soumission de jobs
* Kadeploy: Déployement d'environements
 
;Terminologie Grid5000: <code class="host">frontend</code>, <code class="host">kadeploy</code>
 
 
=== Sagittaire ===
Frontale [[Xen]] de test.
 
;Services fournis:
* Xen dom0
 
;Terminologie Grid5000: <code class="host">sagittaire</code>
 
=== Rork ===
C'est une machine dédiée à la compilation. Elle est à disposition des utilisateurs et peut soumettre des jobs au même titre que la machine <code class="host">frontend</code>
 
;Services fournis:
* Compilation (now unused)
* Soumission OAR
 
;Terminologie Grid5000: <code class="host">compil</code> (now unused)
 
;Autres noms: <code class="host">cvs</code>
 
== Noeuds ==
Ils sont constités de [[Computer#Sun Fire V20z|Sun Fire V20z]] (baies 'Tuniques bleues' et 'Ric Hochet')


= Problèmes =
== HPC Network - Infiniband ==
* Climatisation insuffisante
* [https://www.nvidia.com/en-us/networking/infiniband/sb7800/ switch "''swib''"] : SB7800 (4xEDR, 100Gb/s)
* IPMI pas franchement fonctionnel sur les noeuds IBM
* gemini : 3 interfaces connected to ''swib'' (4xEDR 100Gb/s)
* administration via ethernet du Yumi non configure
** Card model: ''Mellanox Technologies MT27800 Family (MT4119)''
** driver: ''mlx5_core''
* pyxis : 1 interface connected to ''swib'' (4xEDR, 100Gb/s)
** Card model: ''Mellanox Technologies MT28908 Family [ConnectX-6] (MT4123)''
** driver: ''mlx5_core''
* alcor (''group storage''): 1 interface connected to ''swib'' (4xFDR, 56Gb/s)
** Card model: ''Mellanox Technologies MT27800 Family [ConnectX-5] (MT4119)''
** driver: ''mlx5_core''
[[File:LyonHPCNetwork.png|1500px]]<br/>
''(image generated from ibnetdiscover and [https://github.com/cyberang3l/InfiniBand-Graphviz-ualization InfiniBand-Graphviz-ualization])''

Latest revision as of 13:48, 12 March 2024

Network: Global | Grenoble | Lille | Luxembourg | Lyon | Nancy | Nantes | Rennes | Sophia | Strasbourg | Toulouse

See also: Hardware description for Lyon

Overview of Ethernet network topology

LyonNetwork.svg


Network devices models

  • force10: Force10 S4810
  • gw: Dell EMC S4128F-ON
  • salome: FESX448+2XG-PREM
  • sneowise: Arctica 4808xs
  • sneowiseib1: Mellanox QM8700
  • sneowiseib2: Mellanox QM8700

More details (including address ranges) are available from the Grid5000:Network page.

IP networks in use

You have to use a public network range to run an experiment between several Grid5000 sites.

Public Networks

  • computing : 172.16.48.0/20
  • virtual : 10.140.0.0/14

Local Networks

  • admin : 172.17.48.0/20
  • nat : 192.168.69.0/30

HPC Network - Infiniband

  • switch "swib" : SB7800 (4xEDR, 100Gb/s)
  • gemini : 3 interfaces connected to swib (4xEDR 100Gb/s)
    • Card model: Mellanox Technologies MT27800 Family (MT4119)
    • driver: mlx5_core
  • pyxis : 1 interface connected to swib (4xEDR, 100Gb/s)
    • Card model: Mellanox Technologies MT28908 Family [ConnectX-6] (MT4123)
    • driver: mlx5_core
  • alcor (group storage): 1 interface connected to swib (4xFDR, 56Gb/s)
    • Card model: Mellanox Technologies MT27800 Family [ConnectX-5] (MT4119)
    • driver: mlx5_core

LyonHPCNetwork.png
(image generated from ibnetdiscover and InfiniBand-Graphviz-ualization)

Retrieved from "https://www.grid5000.fr/mediawiki/index.php?title=Lyon:Network&oldid=102306"