Grenoble:Network: Difference between revisions

From Grid5000
Jump to navigation Jump to search
No edit summary
No edit summary
 
(20 intermediate revisions by 5 users not shown)
Line 2: Line 2:
{{Portal|Network}}
{{Portal|Network}}
{{Portal|User}}
{{Portal|User}}
'''See also:''' [[Grenoble:Hardware|Hardware description for Grenoble]]


= Overview of Ethernet network topology =
= Overview of Ethernet network topology =


[[File:GrenobleNetwork.png|200px]]
[[File:GrenobleNetwork.svg|400px]]


{{:Grenoble:GeneratedNetwork}}
{{:Grenoble:GeneratedNetwork}}


= Omni-Path Topology =
= HPC Networks =
 
== Infiniband 100G network ==
 
An Infiniband 100G network interconnects nodes from the drac cluster, beside the Ethernet network. That Infiniband network is composed of a single switch.
 
The ''subnet manager'' of this Infiniband network is provided by the switch.
 
* Switch: Mellanox SB7700 IB EDR / 100G
* Host adapter: Mellanox MT27700 [ConnectX-4] dual-port
* Each of the 12 drac nodes has two 100G connections to the switch
 
== Omni-Path 100G network ==
 
The dahu, yeti and troll nodes are connected to a single Omni-Path switch (Intel Omni-Path 100Gbps), beside the Ethernet network.
 
The fabric manager of this Omni-Path network is provided by one of the Grid'5000 service machines (digwatt).
 
* Switch: Intel® Omni-Path Edge Switch 100 Series/H1048-OPF
* Host adapter: Intel® Omni-Path Host Fabric Interface Adapter 100 Series 1 Port PCIe x16
* Each of the 44 dahu/yeti/troll nodes has one 100G connection to the switch
 
(since 2021-03-01, this Omni-Path network interconnect is not any more shared between both the Grid'5000 Grenoble nodes and the nodes of the HPC Center of Université Grenoble Alpes (Gricad mésocentre), see the history of this page for information about the previous configuration).


Each node of the dahu, yeti and lama clusters are connected to 100Gbps Dell Omni-Path switches (some of these switch are shared with GriCad, the Grenoble mesocenter).
Topology, generated from <code>opareports -o topology</code>:


One switch has 48 ports, 32 are reserved for the nodes. The 16 others ports are used to connect to two top switch. This is a fat tree blocking 2:1 topologoy (we have 16 uplinks for 32 nodes).
[[File:topology-grenoble-omnipath-20211110.png|400px]]


If we take 2 switch and the 2 top switch :
'''NB: OPA (Omni-Path Architecture) is currently not supported on Debian 12 environment.'''
                                                        +-----------------------------------------------------+              +-----------------------------------------------------+
                                                        |    OPA Top switch 1  (48 ports)                    |              |    OPA Top switch 2  (48 ports)                    |
                                                        +-----------------------------------------------------+              +-----------------------------------------------------+
                                                        |8 ports |8 p    |8 p    |8 p    |8 p    |8 p    |              |8 ports |8 p    |8 p    |8 p    |8 p    |8 p    |
                                                        +---+X+-------X---------------------------------------+              +---+X+-------X---------------------------------------+
                                                              X        X                                                            X        X
                                                              X        X                                                            X        X
                                                              X        X                                                            X        X
                                                    8 links  X        XXXXXXXXXXXXXXX                                              X        X
                                                              X                      X                                              X        XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
                                                              X                      X                                              X                                                                                X
                                                              XXXXXXXXXXX            X                                              X                                                                                X
                                                                        X            X                                              X                                                                                X
                                                                        X            X 8 links                              8 links X                                                                                X
                                                                        X            X                                              X                                                                        8 links  X
            +-----------------------------------------------------+    X            X                                              X                                                                                X
            |    OPA switch 1  (48 ports)                        |    X            X                                              X                                                                                X
            +-----------------------------------+--------+--------+    X            X                                              X                                                                                X
            | 32 ports                          |        |        |    X            X                                              X                                                                                X
            ++--+---------------+------------+--+---+X+--+--+X+---+    X            X                                              X                                                                                X
              |  |              |            |      X      X        X            X                                              X                                                                                X
              |  |              |            |      X      X        X            X                                              X                                                                                X
              |  |              |            |      XXXXXXXXXXXXXXXXXXX            X                                              X                                                                                X
      +------+  |              |            |              X                      X                                              X                                                                                X
      |        |              |            |              X                      X                                              X                                                                                X
      |        |              |            |              XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX                                                                                X
      |        |            +--+---+        |                                      X                                                                                                                                X
      |        | +------+  |dahu N|  +-----+-+                                    X                                                                                                                                X
    +--+---+    +-+dahu 2|  +------+  |dahu 32|                                    X                                                                    +-----------------------------------------------------+    X
    |dahu 1|      +------+            +-------+                                    X                                                                    |    OPA switch 2  (48 ports)                         |    X
    +------+                                                                        X                                                                    +-----------------------------------+--------+--------+    X
                                                                                    X                                                                    | 32 ports                          |        |        |    X
                                                                                    X                                                                    ++--+---------------+------------+--+---+X+--+--+X+---+    X
                                                                                    X                                                                    |  |              |            |      X      X          X
                                                                                    X                                                                    |  |              |            |      X      X          X
                                                                                    X                                                                    |  |              |            |      X      X          X
                                                                                    X                                                              +------+  |              |            |      X      XXXXXXXXXXXXX
                                                                                    X                                                              |        |              |            |      X
                                                                                    X                                                              |        |              |            |      X
                                                                                    X                                                              |        |            +--+---+        |      X
                                                                                    X                                                              |        | +------+  |yeti 3|  +-----+-+    X
                                                                                    X                                                          +--+---+    +-+yeti 2|  +------+  |yeti 4 |    X
                                                                                    X                                                          |yeti 1|      +------+            +-------+    X
                                                                                    X                                                          +------+                                          X
                                                                                    X                                                                                                            X
                                                                                    X                                                                                                            X
                                                                                    XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX


= IP Range =
= IP Range =


* Computing : '''172.16.16.0/20'''
* Ethernet: '''172.16.16.0/20'''
* Omni-Path : '''172.18.16.0/20'''
* HPC (Infiniband/Omni-Path): '''172.18.16.0/20''' (but Infiniband and Omni-path IPs are not reachable directly from one another)
* Virtual : '''10.132.0.0/14'''
* Virtual: '''10.132.0.0/14'''

Latest revision as of 09:28, 22 April 2024

Network: Global | Grenoble | Lille | Luxembourg | Lyon | Nancy | Nantes | Rennes | Sophia | Strasbourg | Toulouse

See also: Hardware description for Grenoble

Overview of Ethernet network topology

GrenobleNetwork.svg


Network devices models

  • gw: Dell S5296F-ON

More details (including address ranges) are available from the Grid5000:Network page.

HPC Networks

Infiniband 100G network

An Infiniband 100G network interconnects nodes from the drac cluster, beside the Ethernet network. That Infiniband network is composed of a single switch.

The subnet manager of this Infiniband network is provided by the switch.

  • Switch: Mellanox SB7700 IB EDR / 100G
  • Host adapter: Mellanox MT27700 [ConnectX-4] dual-port
  • Each of the 12 drac nodes has two 100G connections to the switch

Omni-Path 100G network

The dahu, yeti and troll nodes are connected to a single Omni-Path switch (Intel Omni-Path 100Gbps), beside the Ethernet network.

The fabric manager of this Omni-Path network is provided by one of the Grid'5000 service machines (digwatt).

  • Switch: Intel® Omni-Path Edge Switch 100 Series/H1048-OPF
  • Host adapter: Intel® Omni-Path Host Fabric Interface Adapter 100 Series 1 Port PCIe x16
  • Each of the 44 dahu/yeti/troll nodes has one 100G connection to the switch

(since 2021-03-01, this Omni-Path network interconnect is not any more shared between both the Grid'5000 Grenoble nodes and the nodes of the HPC Center of Université Grenoble Alpes (Gricad mésocentre), see the history of this page for information about the previous configuration).

Topology, generated from opareports -o topology:

Topology-grenoble-omnipath-20211110.png

NB: OPA (Omni-Path Architecture) is currently not supported on Debian 12 environment.

IP Range

  • Ethernet: 172.16.16.0/20
  • HPC (Infiniband/Omni-Path): 172.18.16.0/20 (but Infiniband and Omni-path IPs are not reachable directly from one another)
  • Virtual: 10.132.0.0/14
Retrieved from "https://www.grid5000.fr/mediawiki/index.php?title=Grenoble:Network&oldid=102655"