Grenoble:Network: Difference between revisions

From Grid5000
Jump to navigation Jump to search
No edit summary
No edit summary
Line 11: Line 11:
= Omnipath Topology =
= Omnipath Topology =


Each node of the dahu, yeti and lama clusters are connected to 100Gbps Dell Omni-Path switches (some of these switches are shared with GriCad, the Grenoble mesocenter).  
Each node of the dahu, yeti and lama clusters are connected to 100Gbps Dell Omni-Path switches (some of these switch are shared with GriCad, the Grenoble mesocenter).  


One switch has 48 ports, 32 are reserved for the nodes. The 16 others ports are used to connect to two top switches. This is a fat tree blocking 2:1 topologoy (we have 16 uplinks for 32 nodes).
One switch has 48 ports, 32 are reserved for the nodes. The 16 others ports are used to connect to two top switch. This is a fat tree blocking 2:1 topologoy (we have 16 uplinks for 32 nodes).


If we take 1 switch and the 2 top switches :
If we take 2 switch and the 2 top switch :


                                                         +-----------------------------------------------------+              +-----------------------------------------------------+
                                                         +-----------------------------------------------------+              +-----------------------------------------------------+
Line 21: Line 21:
                                                         +-----------------------------------------------------+              +-----------------------------------------------------+
                                                         +-----------------------------------------------------+              +-----------------------------------------------------+
                                                         |8 ports |8 p    |8 p    |8 p    |8 p    |8 p    |              |8 ports |8 p    |8 p    |8 p    |8 p    |8 p    |
                                                         |8 ports |8 p    |8 p    |8 p    |8 p    |8 p    |              |8 ports |8 p    |8 p    |8 p    |8 p    |8 p    |
                                                         +---+X+-----------------------------------------------+              +---+X+-----------------------------------------------+
                                                         +---+X+-------X---------------------------------------+              +---+X+-------X---------------------------------------+
                                                               X                                                                     X
                                                               X       X                                                            X        X
                                                               X                                                                     X
                                                               X       X                                                            X        X
                                                               X                                                                     X
                                                               X       X                                                            X        X
                                                              X                                                                     X
                                                    8 links  X        XXXXXXXXXXXXXXX                                              X       X
                                                               X                                                                     X
                                                               X                     X                                              X       XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
                                                               X                                                                     X
                                                               X                     X                                              X                                                                                X
                                                               XXXXXXXXXXX                                                           X
                                                               XXXXXXXXXXX           X                                              X                                                                                X
                                                                         X                                                           X
                                                                         X           X                                              X                                                                                X
                                                                         X                                                           X
                                                                         X           X 8 links                              8 links X                                                                                X
                                                                         X 8 links                                                   X
                                                                         X           X                                              X                                                                        8 links X
             +-----------------------------------------------------+    X                                                           X
             +-----------------------------------------------------+    X           X                                              X                                                                                X
             |    OPA switch 1  (48 ports)                        |    X                                                           X 8 links
             |    OPA switch 1  (48 ports)                        |    X           X                                              X                                                                                X
             +-----------------------------------+--------+--------+    X                                                           X
             +-----------------------------------+--------+--------+    X           X                                              X                                                                                X
             | 32 ports                          |        |        |    X                                                           X
             | 32 ports                          |        |        |    X           X                                              X                                                                                X
             ++--+---------------+------------+--+---+X+--+--+X+---+    X                                                           X
             ++--+---------------+------------+--+---+X+--+--+X+---+    X           X                                              X                                                                                X
               |  |              |            |      X      X        X                                                           X
               |  |              |            |      X      X        X           X                                              X                                                                                X
               |  |              |            |      X      X        X                                                           X
               |  |              |            |      X      X        X           X                                              X                                                                                X
               |  |              |            |      XXXXXXXXXXXXXXXXXXX                                                           X
               |  |              |            |      XXXXXXXXXXXXXXXXXXX           X                                              X                                                                                X
       +------+  |              |            |              X                                                                     X
       +------+  |              |            |              X                     X                                              X                                                                                X
       |        |              |            |              X                                                                     X
       |        |              |            |              X                     X                                              X                                                                                X
       |        |              |            |              XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
       |        |              |            |              XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX                                                                                 X
       |        |            +--+---+        |
       |        |            +--+---+        |                                     X                                                                                                                                X
       |        | +------+  |Node N|  +-----+-+
       |        | +------+  |Node N|  +-----+-+                                   X                                                                                                                                X
     +--+---+    +-+Node 2|  +------+  |Node 32|
     +--+---+    +-+Node 2|  +------+  |Node 32|                                   X                                                                    +-----------------------------------------------------+    X
     |Node 1|      +------+            +-------+
     |Node 1|      +------+            +-------+                                   X                                                                    |    OPA switch 2  (48 ports)                        |    X
     +------+
     +------+                                                                         X                                                                    +-----------------------------------+--------+--------+    X
                                                                                    X                                                                    | 32 ports                          |        |        |    X
                                                                                    X                                                                    ++--+---------------+------------+--+---+X+--+--+X+---+    X
                                                                                    X                                                                    |  |              |            |      X      X          X
                                                                                    X                                                                    |  |              |            |      X      X          X
                                                                                    X                                                                    |  |              |            |      X      X          X
                                                                                    X                                                              +------+  |              |            |      X      XXXXXXXXXXXXX
                                                                                    X                                                              |        |              |            |      X
                                                                                    X                                                              |        |              |            |      X
                                                                                    X                                                              |        |            +--+---+        |      X
                                                                                    X                                                              |        | +------+  |Node N|  +-----+-+    X
                                                                                    X                                                          +--+---+    +-+Node 2|  +------+  |Node 32|    X
                                                                                    X                                                          |Node 1|      +------+            +-------+    X
                                                                                    X                                                          +------+                                          X
                                                                                    X                                                                                                            X
                                                                                    X                                                                                                            X
                                                                                    XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX




Revision as of 15:15, 2 December 2019

Network: Global | Grenoble | Lille | Luxembourg | Lyon | Nancy | Nantes | Rennes | Sophia | Toulouse

Overview of Ethernet network topology

GrenobleNetwork.png


Network devices models

  • gw: Dell S5296F-ON

More details (including address ranges) are available from the Grid5000:Network page.

Omnipath Topology

Each node of the dahu, yeti and lama clusters are connected to 100Gbps Dell Omni-Path switches (some of these switch are shared with GriCad, the Grenoble mesocenter).

One switch has 48 ports, 32 are reserved for the nodes. The 16 others ports are used to connect to two top switch. This is a fat tree blocking 2:1 topologoy (we have 16 uplinks for 32 nodes).

If we take 2 switch and the 2 top switch : 

                                                        +-----------------------------------------------------+               +-----------------------------------------------------+
                                                        |    OPA Top switch 1  (48 ports)                     |               |    OPA Top switch 2  (48 ports)                     |
                                                        +-----------------------------------------------------+               +-----------------------------------------------------+
                                                        |8 ports |8 p     |8 p     |8 p     |8 p     |8 p     |               |8 ports |8 p     |8 p     |8 p     |8 p     |8 p     |
                                                        +---+X+-------X---------------------------------------+               +---+X+-------X---------------------------------------+
                                                             X        X                                                            X        X
                                                             X        X                                                            X        X
                                                             X        X                                                            X        X
                                                    8 links  X        XXXXXXXXXXXXXXX                                              X        X
                                                             X                      X                                              X        XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
                                                             X                      X                                              X                                                                                 X
                                                             XXXXXXXXXXX            X                                              X                                                                                 X
                                                                       X            X                                              X                                                                                 X
                                                                       X            X 8 links                              8 links X                                                                                 X
                                                                       X            X                                              X                                                                        8 links  X
            +-----------------------------------------------------+    X            X                                              X                                                                                 X
            |    OPA switch 1  (48 ports)                         |    X            X                                              X                                                                                 X
            +-----------------------------------+--------+--------+    X            X                                              X                                                                                 X
            | 32 ports                          |        |        |    X            X                                              X                                                                                 X
            ++--+---------------+------------+--+---+X+--+--+X+---+    X            X                                              X                                                                                 X
             |  |               |            |       X       X         X            X                                              X                                                                                 X
             |  |               |            |       X       X         X            X                                              X                                                                                 X
             |  |               |            |       XXXXXXXXXXXXXXXXXXX            X                                              X                                                                                 X
      +------+  |               |            |               X                      X                                              X                                                                                 X
      |         |               |            |               X                      X                                              X                                                                                 X
      |         |               |            |               XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX                                                                                 X
      |         |            +--+---+        |                                      X                                                                                                                                X
      |         | +------+   |Node N|  +-----+-+                                    X                                                                                                                                X
   +--+---+     +-+Node 2|   +------+  |Node 32|                                    X                                                                    +-----------------------------------------------------+     X
   |Node 1|       +------+             +-------+                                    X                                                                    |    OPA switch 2  (48 ports)                         |     X
   +------+                                                                         X                                                                    +-----------------------------------+--------+--------+     X
                                                                                    X                                                                    | 32 ports                          |        |        |     X
                                                                                    X                                                                    ++--+---------------+------------+--+---+X+--+--+X+---+     X
                                                                                    X                                                                     |  |               |            |       X       X          X
                                                                                    X                                                                     |  |               |            |       X       X          X
                                                                                    X                                                                     |  |               |            |       X       X          X
                                                                                    X                                                              +------+  |               |            |       X       XXXXXXXXXXXXX
                                                                                    X                                                              |         |               |            |       X
                                                                                    X                                                              |         |               |            |       X
                                                                                    X                                                              |         |            +--+---+        |       X
                                                                                    X                                                              |         | +------+   |Node N|  +-----+-+     X
                                                                                    X                                                           +--+---+     +-+Node 2|   +------+  |Node 32|     X
                                                                                    X                                                           |Node 1|       +------+             +-------+     X
                                                                                    X                                                           +------+                                          X
                                                                                    X                                                                                                             X
                                                                                    X                                                                                                             X
                                                                                    XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX


IP Range

  • Computing : 172.16.16.0/20
  • Omni-Path : 172.18.16.0/20
  • Virtual : 10.132.0.0/14
Retrieved from "https://www.grid5000.fr/mediawiki/index.php?title=Grenoble:Network&oldid=82437"