IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
基于一栋楼5000+终端网络架构方案,又来了!
admin
发表于
2021-07-08 05:48:19
love
0
1 概述
基于一栋楼的5000+终端网络架构方案,又来了!
7年前我们准备设计企业网络架构的时候,毫不犹豫地选择了最先进的思科,因为思科对大学生培训渗透很深,让我们早期就对前沿网络技术架构有了比较深的认知。
今天,我们自己的一栋楼又来了,在需要重新做一套企业网络架构的时候,我们毫不犹豫地选择了华为,当然不是看中了华为设备的性价比高,也不是看中了华为的用户体验和售后服务好,而只是支持国产,为祖国的高端建设添砖加瓦。
2 新大楼建设
2021年元旦,我们也在为我们新大楼的高端建设紧急地添砖加瓦中,希望以全新的网络面貌迎接大家入住。组网时间有限,但是搬家这事势在必行。所以,加油奋斗完成目标吧。
2.1 核心架构
新楼网络架构上级给的需求比较高大上,“行业级别的企业网络架构”,虽然有点夸张,不过基于一栋楼的网络架构还是很具参考性,然后最关键点就是网络设备型号全部思科换华为。
然后根据诉求,拆分成几个核心需求点:
1. 核心设备高可用
2. 基于独立帐号的入网认证系统
3. 无线无缝漫游系统,支持wifi6
4. IP跟随帐号
5. 网络出口高可用
6. 办公点专线互联
经多次讨论,设计了这份核心设备网络架构图:
下面从这些点来谈谈我们这次思科换华为的企业网络解决方案实践。
2.2 核心交换机
之前是两台cisco 45xx系列来充当我们的核心交换机角色,对cisco的vss (Virtual Switching Supervisor)功能非常满意,两台核心合并为一台来完成高可用,不需要去考虑vrrp或者hsrp之类的协议,配置起来也很省心,相当于单台设备多了几个板卡而已。
这个核心交换机图例比较简单,但是很管用,几乎没有因为单台核心重启而真正影响到用户。到华为了,我们选了S77xx系列做核心,很直观地认为他们也有vss这个功能,搜索了下还真有,叫做css(Cluster Switch System)堆叠技术,这对我们后续的一些替换更加有信心了,然后马上就把出口简单地做了个NAT,让我们在半成品的机房不至于与外界隔绝。
不过这个看似很高端的交换机虚拟化技术,确是整个环节最顺利的,一些简单配置就可以运行起来。
2.3 入网认证系统
入网认证系统可行性最高的就是802.1X认证了,简单地说就是用户终端接入网络设备之后,不能直接访问网络,而是需要一个系统自带的认证系统来进行认证和授权。
核心思想:认证和授权是分开的两个步骤,认证步骤我们选择方便管理的AD域帐号认证,授权则依赖认证设备向接入设备下发网络指令,比如网络控制的ACL或者动态vlan号。这个动态vlan很关键,因为这样可以直接跨楼层来实现IP地址漂移,实现IP跟随帐号,无论工位怎么跨楼层搬动,IP地址都能保持不变。
思科时代我们用ISE(Identity Services Engine)身份识别服务引擎,为了高可用,两台设备做的主备,而且是基于虚拟机服务,从来没影响到用户入网认证。
这次的华为设备,同样有个类似的认证系统,叫做Agile Controller-Campus。同样是基于Linux的一套系统,不过ISE核心是基于Redhat5,然后用虚拟机方式交付,华为这套是在SUSE(或者openeuler欧拉系统)上自行部署。
核心思路比较清晰,找AD域配置同步用户和VLAN信息,然后配置认证规则和对应的授权规则,理论上就可以了。
不过这里困难重重,首先是安装问题,虽然华为的比较自由,但是远没有思科类似docker的统一交付方便,搭建起来很麻烦,而且要处理一堆Linux加域相关的问题,以前思科的是直接安装虚拟机镜像,然后全部在web端操作即可。
思科的虚拟化系统:
特别是高可用和数据库相关,华为用的是自研的高斯数据库,用ha来做IP漂移高可用,实际用起来被几次不可预知的故障折磨了很久。思科的就省心点了,对用户不可见,但很可靠,妥妥的docker概念。
AD域用户的认证逻辑也有很大不同,华为有个同步的概念,把AD域帐号全部同步到本地再做一些细节管理 ,思科的方便一点,直接用变量方式来处理来认证的帐号,包括Vlan信息和自定义的mac绑定逻辑。这里比较重要,因为这里有个关键细节是华为没有实现的,mac绑定需要对已同步的帐号来进行处理,虽然折腾很久把restfull api接口勉强弄出来了,但是远没有以前思科的Radius变量验证的逻辑处理灵活方便,已提交issue给华为技术,相信后面有可能会实现。
域帐号的模式同步也是有点复杂,引入了一堆对我们不那么实用的选项:
不过毕竟比较现代了,华为WEB UI还是比较美观,访客认证的功能也比较花哨,可以引入类似微信、QQ之类的来做联动。
这个是我们做的一个访客页面,对一些wifi营销需求大的企业还是很有用,特别是信号基本只有1格的地方。
2.4 无线网络
无线网络是个大组件,特别是现在笔记本跟风式地把有线网卡省掉了导致大批用户严重依赖无线。
无线的核心思想是稳定、漫游、统一管理。
虽然我们这次把接入层全部改为千兆,出口也进行大肆扩容,把下载速度提升到30Mb+,可是无线有个天生的软肋,依赖有限的空中信道来传输数据,虽然很便捷,但是会牺牲一定的性能和稳定性,好比虽然有浏览器版的微信用起来比较方便,但是下载个微信客户端的话平常体验会更好。
但是这个问题无法避免,我们还是尽力去保障,选用两台AirEngine9700做主备来统一管理所有AP节点,每层楼部署15个以上AP节点,然后把信道设置成了1,5,9,13尽量减少AP之间的信道干扰。想象下AP和用户越多,代表着空中存在越多错综缠绕的线。。
不过,我们还是实现了大部分用户的无线体验升,来个测试图:
P40在状态栏骄傲地显示了个6的字符,这个就是新的wifi6协议(iPhone11后支持)。
实际测试手机下载在不限速情况下可以达到400Mb的速度
不过大部分设备都还不支持wifi6,特别是很多笔记本还是2.4G的协议,还是有机率会出现电脑被手机抢带宽的情况。不过在食堂高峰期还是经得起考验的,在移动信号比较弱的情况下让小伙伴们妥妥地边刷边吃。
无线漫游的需求对普通用户是不可见的,不过这个是必须的,实测开着ssh终端从1楼到9楼都没断开过。感受在润物细无声之间,不过万一出现过信号不连贯导致掉线的时候可能会遭到严重的负面反馈。
同样,这里采用的是主备模式来部署,然后通过上面说的认证系统用Radius协议来进行统一认证,暂时符合预期。
2.5 出口高可用
我们在之前的私有云经验上,觉得防火墙在nat性能方面比路由器好很多,而且我们出口主要就是做NAT上网,所以这次毫无疑问地选择了USG系列防火墙来替代传统的路由器做出口设备。
这里的高可用逻辑是指运营商网络相关的,找了3个运营商提供带宽,另外一根专线直通香港来对海外网络做支撑。
配置逻辑主要分两块,首先把需要NAT的源IP和目的接口在NAT策略nat-policy那里配置好,这个比较明了,决定数据包如果要出去的时候怎么出去,然后通过policy-based-route策略路由来实现数据的优先规则和高可用均衡策略。
虽然说数据的优先匹配规则就可以涵盖一切,但是实际操作中还有一堆特殊的策略需要处理,比如需要用公网IP访问的DMZ区域,以及DMZ区域和办公网的各种特殊互通,因为VPN是放在DMZ区域,而且需要路由来访问办公网,另外还要加上不经过核心交换机而直接从防火墙接入的小部分VIP网络逻辑等,策略条目数算下来有十几条了。
高可用包含两方面,出口带宽均衡和故障转移也比较直观。
注意需要在接口那里定义下多出口选项,那样的话可以在接口下面配置健康状态检查策略,策略路由可以按端口状态来实现故障转移策略。
发现用久了华为防火墙的web界面,都不那么崇拜cli命令行了。
2.6 其他
另外,还有些细节也比较重要,比如配置过程中一定要及时保存,因为在没水没信号的地方会经常断电。
选了个深信服在核心和防火墙之间做流控管理,主要是来动态调节网速的作用,虽然以前是用linux网桥的tc来做,不过深信服的功能和性能都还是强大不少的。特别是深信服可以和认证服务联动来实现在深信服直接展示IP对应的认证帐号,国产设备的这种用户体验还是很用心。
在认证时候,设备之间的时间不一致问题比较严重,会导致认证失败,而且看不出什么异常,认证的帐号不存在时候会自动去AD域请求,这个功能对上面说的域同步是个很好的弥补。
在网段非24位的时候,需要特别注意下核心交换机的网关和dhcp里面的网关是否一致,不要很顺手地当作24位掩码用。
认证这块,原先旧办公点是基于ISE的认证,已经保存过帐号密码,大部分终端设备都可以直接入网,不需要额外地配置了除了一些IOS的设备需要重新信任证书之外,其余都比较顺畅。当然这里帐号管理是同时抓紧用python依赖paramiko库来做自动化管理。
专线可以解决多个办公点网络直连的问题,方便统一管理,特别是可以直接拉专线到香港来解决办公网海外网络的访问问题。
这一段比较简洁,但很重要,毕竟海外游戏市场是那么的大。
3 感受
在5000终端的企业网络架构中,我们不能简单地像在家里那样插根网线就能上网,也不能让用户入网有很大的障碍,特别是在高性价比的前提下还要让网络架构稳定高效,相信这个解决方案可以给大家一个比较重要的参考。
技术无国界,思科可以做到的,华为也可以,这句话承认了思科的强大,也表示我们对华为国产的积极接受态度。