IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    自建实体服务器

    Elmagnifico\'s Blog发表于 2023-10-25 00:00:00
    love 0

    Foreword

    打算自建服务器,完成一些内部的测试和使用,有些东西也需要内部验证,一些管理软件也都需要一个内部平台。

    硬件选型

    成本考虑,1手最新服务器买不起,所以上个老服务器,能用就行了,水平其实差不多的。

    • 机柜 Dell R7525
    • CPU 7H12*2
    • 内存 64G*12
    • 硬盘 7.68T*1
    • 阵列卡H745卡
    • 电源 双电2400w

    价格26760 不含税

    安装

    有了服务器自然还需要机柜,又增加了一个80x60x100的机柜

    image-20231103220519471

    服务器一般可以使用拖板拖住服务器,也可以使用滑轨方便抽拉。

    • 滑轨又分静态和动态的,静态只能抽出来10cm左右,动态的可以完全抽出来

    image-20231103222357103

    有了这些还不够,还需要电源,一般都是使用PDU类型的电源

    image-20231103221018877

    • 注意总功率,一般可能单电源就2400w了,双电源就4800w,多台服务器,这个数量就上去了
    • 接头高功率都是单独引线过来的,不能直接用默认的线材

    风扇

    服务器启动真的是飞机起飞,就跟涵道电机一样,呜呜的

    想要服务器声音小一点,可以通过DELL的设置,直接修改风扇速率

    风扇可以通过iDRAC的API进行控制,下面是一个通用的控制工具

    https://github.com/cw1997/dell_fans_controller

    image-20231103223743182

    这里有更高级的版本,可以独立控制每个风扇

    https://github.com/zzccchen/DellEmcFansController

    image-20231109185605728

    使用风扇控制需要开始IPMI,具体操作在这里

    https://zhuanlan.zhihu.com/p/157796567

    顺带看了下,他还写了一个温度和内存监控程序,也挺好的

    https://github.com/zzccchen/DellEMCThermalMonitor

    iDRAC

    Integrated Dell Remote Access Controller (iDRAC) 专为实现安全的本地和远程服务器管理而设计,可帮助 IT 管理员随时随地部署、更新和监视戴尔 PowerEdge 服务器。

    iDRAC也要一个独立网线接入,接入以后就可以进入服务器远程访问和操作

    • 远程开关机:在iDRAC Web界面或命令行界面中,管理员可以实现服务器的远程开关机、重启和冷启动等操作。
    • 远程监控:iDRAC可以提供服务器的实时监控信息,包括温度、风扇速度、硬盘健康状态等,帮助管理员及时发现和解决潜在问题。
    • 日志查看:iDRAC记录了服务器的事件和日志信息,管理员可以查看这些日志以进行故障排除和问题分析。
    • 虚拟媒体:通过iDRAC,管理员可以将本地计算机上的光盘或ISO映像文件连接到服务器,实现虚拟媒体的加载和启动。

    iDRAC也有API接口,可以用python之类的语言写一些自动化管理的脚本

    系统虚拟化

    有了硬件基础以后,还需要一个好用的系统方便做虚拟化,想折腾就上PVE,想稳定就用ESXi

    PVE

    PVE,全称Proxmox Virtual Environment,虚拟机内核是KVM,主要还是Linux系统,扩展能力很强,对应要求操作的人也很高

    ESXi

    ESXi是VMWare旗下的虚拟化组件之一,界面比较清晰,简单易用,扩展性差一些。

    VMWare系列用的比较多的话,实际创建虚拟机之类的操作都非常类似,简单好用。

    硬件直通

    简单说,就是如果虚拟化会严重损失硬件性能,比如显卡、硬盘、网卡等,为了防止损失,所以可以指派某些硬件和虚拟机构成硬件直通,这样可以最大程度利用硬件性能。

    目前普遍看到的是ESXi硬件直通大概率会遇到点问题,需要找到各种解决办法才行,PVE的硬件直通大部分都可以配置好以后直接使用。

    ESXi基础配置

    ISO安装包上传

    image-20231109011945733

    比较简单,可以直接通过数据存储浏览器上传各种镜像

    image-20231109012100222

    然后就能在虚拟机的设置中选到对应的iso了

    NTP

    image-20231109004946261

    NTP首先把当前系统时间改到接近真实的时间,然后再填入NTP服务器,使用网络协议时间

    保存以后发现NTP依然无法启动,下面却提示成功了

    image-20231109005109857

    这里需要去服务中手动启动ntpd

    image-20231109005134297

    再回去刷新,发现时间已经同步并且启动了

    image-20231109005214467

    开启iDRAC和IPMI

    iDRAC需要重启服务器的时候按F2进入BIOS,然后开启iDRAC,设置一下对应的网络即可

    再通过ip就可以进入iDRAC的管理页面

    image-20231109185308478

    开启IPMI,然后就可以通过一些管理软件直接操控了

    风扇管理

    https://blog.vimc.cc/2020/10/18/%E5%9C%A8ESXi%E4%B8%8A%E6%89%8B%E5%8A%A8%E6%8E%A7%E5%88%B6%E6%9C%8D%E5%8A%A1%E5%99%A8%E9%A3%8E%E6%89%87/

    ipmitool

    ipmitool可以直接安装在ESXi上,但是目前最新版的是不支持ESXi 8.0的,8.0风控提高了,导致实际无法使用了

    https://vswitchzero.com/ipmitool-vib/

    此方案行不通

    IPMICFG

    https://www.cnblogs.com/ispace/p/17261196.html

    DellEmcFansController

    读取风扇、cpu等信息没有问题,但是控制风扇就会发现没有起作用。

    image-20231109190804418

    手动试了一下命令,发现直接使用命令会提示权限不足

    实际上已经是IPMI和iDRAC的管理员身份了,依然提示权限问题

    看了一下能用的都是iDRAC 3.0甚至更老的版本,我是7.0版本,所以不能用了。

    代理

    如果是正规机房应该是有多线网络的,甚至专门走国外VPN之类的分流也是有的,而我这里就不太行了,想要给服务器一个透明代理没啥好的办法,只能说外面再套一层OpenWRT,这样把服务器直接连到OpenWRT这里,通过OpenWRT分流管理。

    • RouterOS,自身是没有V2ray或者是SS、Clash等代理工具的,甚至SOCKS代理部署起来都有点麻烦

    淘宝看到的软路由私聊都是不能说OpenWRT的,这个受到管控了,要聊只能加V私聊

    image-20231121233353556

    软路由目前老一些的就是各种3代甚至2代的i3笔记本的板子改出来的软路由或者是N系列、J系列低功耗U做的集成的板子

    image-20231121233600307

    最后选了一个稍微新一点的J6413的系统,安装到机柜里配合使用

    image-20231121233813192

    后来发现其实如果知识单纯的需要一个旁路由作为代理网关的话,直接用EXSi开启一个OpenWRT的虚拟机就行了,没必要外置一个软路由。软路由也有一个好处,就是和服务器本身解耦了,不至于服务器挂了,连带着旁路由都直接没了,风险低了

    ESXi 安装OpenWRT

    安装OpenWRT其实非常简单,只要有个PE的U盘,进去以后IMG写盘工具.exe将OpenWRT的镜像直接写入磁盘即可

    透明代理

    透明代理则非常简单,直接开启ShadowSocksR Plus+就行了,剩下只要在需要代理的客户端中设置成静态IP,网关修改为OpenWRT的地址即可。

    还有一种方式可以让全局都是用透明代理,直接在主路由的DHCP服务中,将网关指向Op地址即可

    image-20231201233107798

    到这里基本就可以无感翻墙了,还是很不错的

    注意关闭软路由上的动态伪装,否则主路由的NAT 端口映射在软路由这边不生效

    image-20231202170911710

    Summary

    iDRAC的工具还是比较少的,IPMI tools也停止维护了,想要更多的还是得自己写

    Quote

    https://blog.csdn.net/weixin_42930696/article/details/128642633

    https://post.smzdm.com/p/aqm7d5pk/

    https://it.sohu.com/a/706181660_121748409

    https://www.python100.com/html/NX4HDQ8854F9.html

    https://jingyan.baidu.com/article/5d6edee2004690d8eadeec8a.html

    https://zhuanlan.zhihu.com/p/157796567

    https://blog.csdn.net/qq_38844263/article/details/128699337



沪ICP备19023445号-2号
友情链接