Arista UCN Design Guide (4) - Universal Cloud Network - Campus Design

Universal Cloud Network - Campus Design
UCN for Campus Network Topologies
데이터 센터에서 UCN의 유지 보수와 모니터링을 단순화하기 위해 Arista는 모든 Leaf 스위치에서 일관된 아키텍처를 사용할 것을 권장합니다. UCN은 Leaf 스위치를 지정된 랙 내의 워크로드에 따라 서로 다른 스위치 모델 및 경합 비율과 교환할 수 있다는 점에서 유연합니다. 이를 통해 운영 팀은 토폴로지의 각 섹션 구성 방법을 다시 학습하지 않고도 네트워크의 모든 부분을 쉽게 지원할 수 있습니다.

동일한 접근방식이 Arista UCN for Campus에도 적용됩니다. 네트워크 토폴로지는 설계상 일관성이 있지만 기존 액세스 계층 네트워크를 통합하거나 표준 기반 프로토콜을 기반으로 타사 벤더 구성 요소를 채택하는 측면에서 유연성을 제공합니다.

범용 클라우드 네트워크가 현실화됨에 따라 다양한 PIN(Places In the Network)을 PIC(Places In the Cloud)로 마이그레이션 하는 작업을 시작하는 것이 중요합니다. 이는 고객이 최신 네트워크 설계에서 얻을 수 있는 이점을 가속화합니다.
Universal Spine에 도입된 PIN은 데이터 센터 PIC, Edge Routing PIC, Public Cloud PIC 및 Campus PIC로 요약됩니다.

고급 개요에서 소개한 바와 같이 Campus POD 아키텍처는 다양한 방식으로 채택될 수 있습니다. 본 설계 가이드에서는 Campus Spline에 연결하기 위한 Layer 2 및 Layer 3 옵션과 함께 MLAG를 활용하는 Campus POD에 대해 자세히 설명합니다.
최신 캠퍼스 네트워크에서 가장 일반적인 접근 방식에 대한 지침을 제공합니다. EOS와 함께 Arista 플랫폼은 유연하며, Campus POD 설계가 조직의 요구 사항에 적용될 수 있습니다.

Arista UCN Scale-Out Designs
네트워크 설계의 일반적인 원칙은 주어진 설계가 단기적 요구사항이 아니라 시간이 지남에 따라 네트워크 또는 POD가 얼마나 커질 수 있는지에 대한 장기적인 요구사항을 기반으로 해야 한다는 것입니다. 네트워크 설계는 필요한 최대 사용 가능한 포트 수와 네트워크 수명 동안 해당 포트에 연결된 장치 간의 트래픽에 대해 필요한 Oversubscription 비율을 기반으로 해야 합니다. 간단한 MLAG Campus POD 설계에는 캠퍼스 스플라인에 다시 연결되는 MLAG 액세스 스위치 쌍이 있습니다. MLAG 액세스 계층 모델은 추가 액세스 스위치를 Campus POD에 연결할 수 있게 하여 쉽게 확장되며, 추가적인 물리적 연결 없이도 포트 수를 확장할 수 있습니다.

Campus Spline Design
캠퍼스 네트워크 역시 IoT 장치가 추가되면서 단말들은 계속 증가할 것입니다. 이러한 장치에 연결된 다른 호스트와 유사한 서비스를 제공하는 것이 점점 더 중요해질 것입니다. 이러한 장치를 관리하려면 클라우드 확장, 클라우드 안정성 및 클라우드 자동화를 포함한 새로운 클라우드 패러다임을 채택해야 합니다.
Campus Cloud Scale
Campus Spline에는 Campus POD 연결 및 고객 요구에 따라 배치할 수 있는 두 가지 기본 설계가 있습니다. 모든 Arista Spine 스위치와 마찬가지로 가장 일반적인 스케일 제한은 장치의 전면 패널 포트 수입니다. 소규모 캠퍼스 네트워크의 경우 단일 Campus Spline 1RU 스위치 쌍으로 100G에 연결된 30개 이상의 Campus POD MLAG 스위치를 스케일 아웃할 수 있습니다. 고객의 요구가 클수록 섀시 기반 Campus Spline을 최대한 활용해야 할 수 있습니다.
Campus POD 내에 Campus leaf-spine 디자인을 구현하면 기존의 3계층인 access-aggregation-core 아키텍처보다 더 나은 가격 성능을 제공할 수 있습니다.
따라서 장비 수는 비용을 절감하는 동시에 신뢰도를 높입니다. 속도는 또한 큰 결정 요인이 될 것이며, 고객은 Campus POD와 Campus Spline 간의 연결을 위해 10/25/40/50/100G를 선택할 수 있습니다. 마지막으로 Campus Spline은 동일한 데이터 센터 원칙을 기반으로 구축되기 때문에 확장성이 뛰어난 L3 네트워크를 통해 L2 인접성을 제공하기 위해 VXLAN과 같이 널리 구축된 잘 알려진 최신 기술을 사용하는 것도 고려할 수 있습니다.
Cloud Reliability
대부분의 호스트 디바이스는 액세스 스위치에 단일 연결됩니다. 권장되는 설계는 각 Campus POD에서 Campus Spline까지 업링크를 여러 개 사용하는 것입니다. 최신 세대의 Active-Active 로드 공유 기술은 Spine에서 Leaf 대역폭 활용률을 향상하는 동시에 신뢰성을 보장할 수 있습니다. 마찬가지로 Active-Active Collapsed 백본 플랫폼은 취약성에 덜 의존해야 합니다.
Active-Passive 컨트롤 평면 아키텍처를 제공하고 대신 장애는커녕 네트워크 저하를 방지하는 hitless maintenance 및 업그레이드 기능을 제공합니다.
Cloud Automation
캠퍼스 네트워크를 유니버설 Spine에 연결된 또 다른 스위치 세트로 관리할 수 있다는 것은 다음과 같은 많은 이점이 있습니다.

* 표준화된 소프트웨어 릴리스
* 업계 표준 CLI
* CloudVision을 통한 Uniform Telemetry
* 기존 CloudVision 시스템을 통한 관리 및 변경 제어
* 패치 적용 및 업그레이드를 자동화

Single Pane으로 전체 데이터 센터와 캠퍼스를 관리하고자 하는 고객을 위해 Arista CloudVision은 이를 정확하게 제공할 수 있습니다. 현재 CloudVision과 EOS가 원활하게 함께 작동하므로 스위치에서 새로운 기능을 추가할 수 있습니다.
Campus Spline 및 액세스 스위치의 도입으로 인해 CloudVision은 오늘날 Campus 네트워크를 변경 제어, 조정, 원격 측정 및 무중력 소프트웨어 업그레이드와 같은 풍부한 자동화 기능셋으로 구축할 수 있게 되었습니다.


Design Considerations
아래 그림과 같이 Campus Spline 디자인에는 두 가지 고유한 유형이 있습니다. 두 모델 중 첫 번째는 전통적인 2계층 MLAG 모델을 채택한 후 캠퍼스 전체의 Campus POD에 연결합니다. 이 모델은 전체 L2 서비스에 걸쳐 간단한 서비스를 제공합니다.
모든 캠퍼스 POD와 액티브/액티브 토폴로지를 제공합니다.

두 번째 설계는 캠퍼스 스플라인으로 다시 연결되는 적절한 양의 케이블을 가지고 있는 캠퍼스 요구를 보다 강력하게 수용하는 고객을 위한 것입니다. 이 설계에서 Campus Spline에서 Campus POD로 연결되는 연결은 Layer 3입니다.
각 Campus POD는 요구 사항에 따라 2방향 ECMP 설계 시 캠퍼스 스플라인 스위치 쌍, 4방향 ECMP용 캠퍼스 스플라인 스위치 4개 이상에 연결할 수 있습니다. 계층 2 인접 서비스는 VXLAN과 같은 메커니즘을 통해 제공됩니다. 또한 Campus Spline 장치를 모두 유지 보수 모드로 전환하고 전체 로드 밸런싱에서 제거할 수 있으며, 이 경우 네트워크 구성 중단 또는 코드 업그레이드와 같은 침입적 작업이 수행될 수 있습니다.
이 두 설계 모두에서 각 Campus Spline 스위치는 데이터 센터 내의 Arista 범용 스파인에 다시 연결됩니다. 모든 Campus POD에 적합한 대역폭을 가지려면 이러한 장치를 40/50/100G로 연결하는 것이 좋습니다.

Campus POD Design
Topology Overview
Campus POD 네트워크 설계는 가장 기본적인 형태로 엔드 호스트에 대한 연결을 제공하는 단일 스위치 쌍을 포함하는 아키텍처입니다. 그런 다음 액세스 스위치를 MLAG 쌍에 연결하여 스케일 아웃할 수 있습니다. 모든 계층의 액세스 스위치는 IoT, WiFi, 전화 및 데스크톱 네트워크 요소에 대한 연결을 제공할 수 있습니다. 액세스 스위치는 고가용성을 위해 자체 또는 쌍으로 배포할 수 있습니다. 

이 Campus POD는 위에서 설명한 바와 같이 Layer 2 또는 Layer 3 링크를 사용하여 Campus Spline을 향해 업스트림으로 연결할 수 있습니다.

위에서 설명한 L2 캠퍼스의 구성 요소는 다음 섹션에서 설명합니다.

System Components
Multi-chassis Link Aggregation Groups (MLAG)
MLAG는 스패닝 트리 프로토콜(STP)의 단점을 제거하고 모든 활성 토폴로지를 제공합니다. 이 경우 액세스 스위치 1과 2의 두 스위치가 MLAG 피어(MLAG 도메인)로 구성되고 피어 간에 실행되는 MLAG 피어 링크를 통해 상태를 동기화합니다. 피어 링크는 일반적으로 resiliency을 지원하는 포트 채널입니다. 두 MLAG 피어는 동일한 LACP 디바이스 ID를 다운스트림에 연결된 디바이스에 알립니다. MLAG 쌍을 표준 호환 LACP(IEEE 802.3ad) 디바이스에 연결할 때 사용합니다.
업스트림 스위치는 MLAG 피어를 단일 장치로 보고 포트 채널을 구성합니다. 스패닝 트리 프로토콜은 이 집계된 연결을 단일 논리적 링크로 간주하며 개별 업링크를 차단 상태로 배치하지 않습니다.

스패닝 트리 프로토콜은 MLAG 구성에서 여전히 작동하지만, 그 기능은 MLAG 오류 또는 잘못된 구성의 경우 fallback/safety 메커니즘으로 감소합니다.
MLAG 쌍의 구성 요소는 아래 그림에 요약되어 있습니다.

Virtual Address Resolution Protocol (VARP)
VARP(Virtual ARP)를 사용하면 여러 스위치가 active/active 라우터 구성에서 공통 IP 패킷을 동시에 라우팅할 수 있습니다. MLAG 쌍의 각 스위치는 해당 VLAN 인터페이스에서 동일한 가상 IP 주소 집합을 사용하여 구성됩니다.
공통 가상 MAC 주소입니다. MLAG 구성에서는 VARP가 active/active 전달 기능을 제공하고 VRRP와 마찬가지로 마스터 라우터에 대한 피어 링크를 통과하는 트래픽이 필요하지 않으므로 VRRP보다 VARP가 선호됩니다.

VARP 기능은 각 스위치가 가상 MAC 주소를 사용하여 구성된 라우터 IP 주소에 대한 ARP 및 GARP 요청에 응답하도록 함으로써 작동합니다. 가상 MAC 주소는 인바운드 패킷 전용이며 아웃바운드 패킷의 원본 필드에서는 사용되지 않습니다.
아래에는 MLAG와 함께 VARP의 작동 방식이 나와 있습니다.

Connectivity Towards the Campus Spline
Campus POD 상단에 MLAG를 구축하면 Campus Spline 또는 Distribution Layer에 대한 연결이 Layer 2 또는 Layer 3 경로를 통해 이루어질 수 있습니다.
클라이언트 서브넷 기본 게이트웨이에 대한 요구 사항이 Campus Spline 또는 Distribution Layer에 있는 경우 Campus POD에서 Campus Spline으로 가는 Layer 2 MLAG 경로가 선호될 수 있습니다. 이러한 설계를 통해 기존 액세스 계층에서 유연하게 전환할 수 있습니다.
UCN-C 설계에 대한 설계를 선택합니다. 그러나 이러한 접근 방식의 단점은 모든 레거시 액세스 계층 장치와 새로운 Campus POD에 걸쳐 대규모 Layer 2 도메인이 존재한다는 점입니다.

라우팅 된 3 계층 링크를 사용하여 Campus POD를 Campus Spline에 연결하면 다른 접근 방식이 필요할 수 있습니다. 이는 2 계층 장애 도메인을 제한하는 동시에 MLAG 설계로 Campus POD 내에서 유연성을 제공합니다. 3 계층 업링크 설계도 마찬가지입니다.
3 계층 설계는 여러 Campus Spline 스위치에 대한 연결을 가능하게 하여 Campus POD로부터 향상된 대역폭 용량과 탄력성을 제공하는 N-way ECMP 설계를 가능하게 합니다.

3 계층 업링크 설계에서 클라이언트 서브넷 기본 게이트웨이는 Campus POD MLAG 쌍에 상주하며 Campus POD에서 업스트림으로 동적 라우팅 프로토콜을 활용하여 클라이언트 네트워크를 광고합니다.
이러한 설계 옵션은 솔루션의 구성 요소를 자세히 설명하는 아래 다이어그램에 나와 있습니다.

위의 설계 옵션의 주요 구성 요소는 다음과 같습니다.
Layer 2 MLAG Spline
 
* Campus POD와 Campus Spline 간의 MLAG를 통해 active/active 전달이 가능
* 기존 액세스 계층 스위치를 Campus Spline에 연결할 수 있도록 하는 표준 기반 LACP
* 모든 Campus POD에서 2 계층 VLAN을 사용
* Campus Spline의 모든 Campus VLAN에 대한 중앙 집중식 게이트웨이
 
2계층 설계는 엔터프라이즈 고객의 대부분의 요구사항을 충족하는 가장 단순한 설계를 제공합니다. 이러한 설계를 통해 레이어 2는 랙 사이에 있고 Campus POD MLAG 레이어에서 레이어 3 게이트웨이를 로컬화할 수 있습니다. 2 계층 MLAG 설계의 호스트는 다음을 사용합니다.
Active-Active 기본 게이트웨이 기능을 제공하는 Anycast Default Gateway 또는 VARP(Virtual Arp) 주소를 사용하여 각 MLAG 피어 스위치에 구성된 기본 게이트웨이입니다. VRRP는 FHRP 프로토콜로도 지원됩니다.
Campus POD 설계를 통해 얻을 수 있는 주요 이점은 워크로드 이동 용이성, 802.1Q VLAN에서 제공하는 분할 용이성이며, 경우에 따라서는 프로비저닝 및 관리가 더 간단해질 수 있습니다. MLAG 배포에서 스패닝 트리 프로토콜은 MLAG 오류 또는 잘못된 구성 시 Fall-back 보호 기능으로 유지됩니다.
2 계층 MLAG 스플라인의 주요 이점입니다.
  
* 간편한 워크로드 이동성을 제공
* Segmentation은 802.1Q VLAN에서 제공
* 프로비저닝 및 관리가 간편한 설계
* 스패닝 트리 프로토콜을 최소화하면서 모든 링크가 활성화
 
 
Layer 3 ECMP Spline
Layer 3 routed links to n Campus Spline switches
Layer 2 domain contained within the Campus POD resulting in isolation of fault domains
Campus POD VLAN gateways on MLAG pair combined with VARP for active/active gateway function
Layer 2 extension between Campus PODs or DC leveraging EVPN VXLAN for segmentation and multi-tenancy across L3 boundaries
Campus POD 설계는 이론적으로 거의 20만 개의 10/25Gb 노드로 확장할 수 있지만, 특히 설계처럼 적용될 수 있는 브로드캐스트 트래픽 양, MAC 테이블 크기 및 제어 평면 제한을 고려해야 합니다. 
따라서 계층 3 설계가 바람직할 수 있습니다.
3 계층 ECMP 스플라인의 주요 이점입니다:
 
* 캠퍼스 설계의 확장성이 향상
* VXLAN에 의한Segmentation proved
* 모든 링크는 Campus POD와 Campus Spline 사이에 있으므로 계층 2 도메인 제한을 통한 장애 차단이 가능
* 캠퍼스 스플라인에 대한 n-way 연결을 위한 resiliency이 향상됩니다.
 

 
2계층과 3 계층의 선택은 엔드 호스트 및 서브넷 요구사항에 따라 결정되지만, 일반적으로 Arista는 확장성, 탄력성 및 빠른 통합 네트워크 설계를 제공하기 위해 계층 3 설계를 권장합니다.

위의 그림은 Campus POD의 일부 샘플 트래픽 흐름을 보여줍니다. Campus POD 1은 Layer 2 MLAG 링크를 사용하여 Campus Spline에 연결됩니다. 캠퍼스 POD 2는 계층 3 링크와 연결됩니다. 
기본 게이트웨이 배치와 관련하여, 엔드 호스트 및 분할 요구사항에 따라 여러 Campus 설계를 허용하는 이 설계의 유연성에 대한 하나의 예입니다.

VXLAN in the Campus
Introduction to VXLAN
L3 Campus Spline 아키텍처는 확장성이 뛰어나며 워크로드에 대한 일관된 ECMP 설계를 제공합니다. 그러나 Campus POD 내에 계층 2 도메인이 포함되어 있다는 점에서 제한됩니다. 캠퍼스 전체에 걸쳐 계층 2 확장을 지원하는 동시에 계층 3 캠퍼스 스플라인 아키텍처의 이점을 유지하려면 네트워크 가상화 기술이 필요합니다.

네트워크 가상화 기술은 VXLAN(Virtual Extensible Local Area Network)에서 활용되었습니다.
VXLAN은 Overlay 캡슐화 프로토콜을 표준화하도록 설계된 개방형 IETF 사양으로, IP 네트워크를 통해 계층 2 트래픽을 릴레이 할 수 있습니다. VXLAN은 광범위한 산업 지원을 제공하며, 업계 내 Arista, VMware 등이 작성했습니다.

VXLAN의 기본 초기 사용 사례는 데이터 센터의 네트워크 가상화를 통해 기본 IP 네트워크 위에 논리적 2계층 도메인을 생성할 수 있었습니다. 개별 계층 2 도메인은 24비트 VNI(가상 네트워크 식별자)를 사용하여 식별되므로 최대 1,600만 개의 독립 도메인을 지정할 수 있습니다. 계층 2 프레임은 IP UDP 데이터그램에 캡슐화되어 있습니다.
모든 IP 네트워크를 통해 수정되지 않은 계층 2 트래픽을 투명하게 릴레이하는 것은 VXLAN을 데이터 센터 또는 캠퍼스 상호 연결에 이상적인 기술로 만듭니다.

VXLAN 아키텍처 내에서 VTEP(가상 터널 끝점)는 2계층 트래픽의 캡슐화 및 디코딩을 수행합니다.
각 VTEP는 VTI(가상 터널 인터페이스)에 할당된 IP 주소로 식별됩니다. VTEP는 표준 Layer 2 이더넷 프레임을 수신하고 올바른 VNI를 선택하고 하나 이상의 대상 VTEP로 전송하기 위한 IP UDP 패킷을 구성합니다. 소스 IP 주소는 보내는 VTI의 주소이고, 대상 IP 주소는 받는 VTI의 주소입니다.
VNI는 일반적으로 수신된 프레임의 IEEE 802.1Q VLAN 태그를 기반으로 결정됩니다. 목적지 VTEP(또는 멀티캐스트 또는 브로드캐스트 트래픽의 경우 VTEP)는 목적지와 VTEP 맵을 기반으로 선택됩니다. 이는 MAC 주소가 스위치 인터페이스가 아닌 IP 주소와 연결되어 있다는 점을 제외하면 일반 MAC 브리징 테이블과 매우 유사합니다. 이 네트워크 가상화 기능을 통해 기본 물리적 네트워크에서 분리된 논리적 Overlay 가상 네트워크를 생성할 수 있습니다.
또한 VXLAN을 사용하여 2계층 또는 3 계층에서 멀티 테넌시(Multi-tenancy)를 제공하고 Campus POD의 클라이언트로부터 사내 데이터 센터 또는 퍼블릭 클라우드 환경으로 보안 세분화를 구축할 수 있습니다. 

VXLAN Control Plane in the Arista UCN-C
VXLAN 표준은 기존의 이더넷 의미론을 따르는 Overlay 트래픽에 대한 학습 프로세스를 지정합니다. 즉, 유효한 대상을 학습할 수 있을 때까지 대상을 알 수 없는 트래픽이 flooding 하여 학습이 이루어집니다. Arista EOS는 다음과 같은 VXLAN 제어 평면 방법을 지원합니다.:
 
 
* BGP EVPN
* Cloudvision Exchange (CVX) based VXLAN Control Service (VCS)
* Static Head-end Replication Flood Lists
 

 
BGP EVPN은 VXLAN 제어 평면의 표준으로 부상했으며 개방형 표준 기반 접근 방식, 효율성 및 유연성으로 인해 선호하는 VXLAN 제어 평면 메커니즘으로 널리 배포되었습니다. BGP EVPN은 보완할 제어 평면을 정의합니다.


위에서 언급한 것처럼 BGP EVPN은 VXLAN에 사용할 수 있는 유일한 제어면이 아니며 다른 방법이 있습니다. 
Campus UCN 설계의 경우, Arista는 EVPN을 사용하여 확장성이 우수하고 성능이 뛰어난 컨트롤러 없는 유연한 제어 평면을 유지할 것을 권장합니다.



다음 섹션에서는 멀티 테넌시(Multi-tenancy) 요구사항 및 엔드 투 엔드 세분화 및 보안을 개선하기 위해 BGP EVPN을 활용하는 방법에 대해 자세히 설명합니다.