【NAS】从零开始自组NAS-陌上烟雨遥

前言

玩NAS这么久，准备退坑了，希望退坑之前做一些总结，能给大家留点帮助。万字文章，码字不易，有用点个赞就行

自组NAS可靠吗？

可靠，不该缩水的不要缩水就可靠

自组NAS可靠性=可靠的硬件+可靠的系统+可靠的人

自组NAS比成品NAS如何？

群晖、威联通等高价低配，本质是卖软件的，是真正的“买软件送硬件”，自组NAS一定比群晖威联通这些成品性价比高，无论硬件还是软件，都是碾压的，这点后续我会放出几套方案，大家看一眼就明白了

自组NAS不适合小白

小白不建议自组NAS，如果不爱折腾，建议直接成品，群晖和威联通比，肯定是威联通性价比高，功能方面甚至威联通还要更强些。

本人也把对威联通的心得体会写了汇报总结，参考

就是想玩，怎么办？

我个人鼓励刚入门的朋友，不要听什么哪个品牌好，哪个系统好，XXX天下第一，就这，笑死等这些无聊的争论，适合自己的才是最好的，实践出真知，你可以买最便宜的入门级NAS玩，或者买最入门的蜗牛星际玩，多玩一玩自然就明白了自己该怎么选。

有人就想看看电视剧，winserver没问题啊，有人要组万兆家庭网，有人还想玩全屋智能的homeassitant，有人想搞家庭服务器和计算中心，谁和谁都不一样，怎么能统一呢？

大家都是一点一点玩起来的，先弄个贼便宜点坏了不心疼的矿渣蜗牛玩一玩不香吗？何必一步到位，准确说根本没法一步到位，大家都是在玩的过程中明确自己的需求的，最后才逐步定下，自己在哪下车的。我见过有人树莓派玩arm就下车的，有笔记本改造成nas下车的，还有我这种想要玩homeassitant的现在还没完全下车

刚入门的朋友从哪学靠谱的知识？

B站司波图，翻他早期的视频，慢慢看；然后百度直接搜关键词，什么值得买上面很多硬核玩家，例如阿文菌算是入门里折腾教程比较好的，虽然他也退坑了。NGA论坛玩家，恩山论坛玩家等都比较靠谱，一般都能搜到相应的东西。

自组NAS具体方案和可行性

可行性：完全可行，自组NAS用docker、虚拟机这些技术，几乎可以完全替代成品NAS，否则我依然采用威联通453Bmini+HTPC的方案，后续我会出自组nas平替成品nas的文章，当然不是完全替代，完全替代直接黑系统了。

具体方案：背后原因不讲，只说方案

硬件：按服务器规格来，不急，后面我会给出具体配置单

软件：宿主机PVE；虚拟机freenas；硬盘直通给freenas；

freenas只管一件事：存储；其它虚拟机不存储数据，只负责计算相关工作，即所谓“物理机上ALL IN ONE，逻辑上各司其职”，以降低耦合性，提高灵活性、扩展性，不会把docker和虚拟机等应用都装在freenas上，后续我会在文章中详细阐述

促使我自组NAS的根本原因

自组NAS的根本原因在于：对数据安全的追求，对威联通453B mini弱鸡性能和功耗的强烈不满。

因为我在威联通上存储的数据一部分丢了坏了，规模不大，但让我很难受，这仅仅是我发现的，在不知道的地方，我无法知道还有哪些数据是坏了的。组raid当然可以，而raid5不可靠（重建不可靠），raid6较为靠谱，4盘位NAS是足够组raid6的，这时遇到两个不满意的地方：

1、raid6下磁盘读写速度可以达到400M左右的速度，威联通2.5G网口的453Dmini硬件太贵，不值（可以用USB转2.5G网卡解决，注意一些是需要补丁或驱动的，一些不需要）

2、就算用2.5G入门级威联通，芯片性能弱鸡，扩展性不高

3、功耗问题，453B mini是J3455的CPU，里面4块8T硬盘功耗是50W，而我i7 8700T的HTPC默认只带固态nvme下，功耗仅仅是20W，为了弥补J3455的性能，两个同时开，也有70W的功耗。单个8T硬盘就算10W，直接放到i7 8700T上运行，也不过70W左右，而性能和扩展性却提升了一个档次。而前面我也说了，自组NAS可以替代成品NAS，那么既然二者价格、功耗等价，为什么不提升一波扩展性和性能呢？

4、前面说数据丢失的问题，组raid虽然可以，可无论群晖还是威联通都是软raid，可靠性一般，相比freenas 的 zfs还是差了些。而且freenas，准确说是zfs文件系统带scrub内容校验功能，可以定期查看数据是否健康，能保证哪怕一个bit都不会丢失或错误，这样的数据保障正是我要的数据安全！

综上，在价格几乎不变，功耗几乎不变的情况下，我可以提升几个量级的性能、扩展性和更好的数据保护方式，没有理由不放弃成品，转成自组NAS

自组NAS出发点

自组NAS切入点，出发点都在于一点：就是freenas，现在叫truenas，开源免费，truenas scale版本也加入debian怀抱，功能性更强了…可我不在乎，我在乎的是zfs的raidz

威联通的hero似乎也加入了raidz，但是稳定性、兼容性等方面还需要完善。

zfs牛逼的点在于：

磁盘读写少，更加均匀，表现为同样的硬盘放在truenas上声音小，也就有效延长了硬盘寿命
压缩功能，变相硬盘扩容，8T硬盘压缩1.2相当于扩容了1.6T空间（但对视频图片没什么用）
自带去重，猜测就是指针改一下，维护个目录就行了这种形式（实际使用我坚决不开启）
写时复制，不会因为系统卡死、意外中断导致数据消失
无须花额外的钱买阵列卡，采用raidz就能达到冗余安全的效果（或直接it固件的直通卡，直接将所有硬盘交给NAS进行阵列的组建，才能利用上这些他们的文件系统），而且性能、稳定性不输阵列卡，也比群晖、威联通、winserver那种基于mdadm的软raid要好
几乎完备的企业级数据保护方案：如热备盘，系统mirror，包括前面提到过的raidz（热备盘机制不是很稳定，不建议用，系统mirror也没必要，因为写入真的很少，更不建议用U盘当系统盘，玩花的一般死的都早，建议老老实实企业级mlc固态128G当系统盘就行了，或者三星的固态，一块足够，两块万全）
性能方面可以加入ssd缓存提升存储池内的并发访问速度，组2.5G局域网甚至万兆网体验很美好（不建议花冤枉钱给freenas加缓存盘，加内存条的收益来的多的多的多）
拷贝文件速度稳定而快速

而且都是zfs，ubuntu、freenas、omv等表现也各不相同，因为freeBSD开发的东西原生更牛批，不是linux能比的，不过truenas scale出来，应该差距不大了，往后差距会越来越小。

那么既然认定了freenas（truenas），接下来就要挑选硬件了

基于上述以及文章描述，这里我直接说两套方案：（最便宜还相对可靠的我个人最喜欢华为2285和2288这两个型号）

方案一：

板U套装：

超微X11SSH-LN4F i3 7100+纯ECC内存 D4，C236芯片组
超微X11SCL-F i3 9100+纯ECC内存 D4，C242芯片组（经评论区提醒，C242芯片组屏蔽核显，只有C246芯片组才可以，感谢 @mr.lidj ，这里对应替换为超微的X11SCA-F（ATX），X11SCH-LN4F（mATX））

解释这套方案的优点：

MATX主板，可以兼顾更多NAS机箱，例如外观党可以尝试用万由NAS机箱、Treasure机箱、御夫座等

这里我个人比较推荐御夫座，主要原因是它支持全高的PCIE扩展，兼容ATX电源，散热和外观也可以，有6个sata盘位，几乎是MATX主板定制的，例如B365M主板配i3或者i7，B460M配i3 10100等。只不过家用主板稳定性上可能就没服务器主板好用了。但是据说B365M和B460M中，华硕和微星两家的产品电容等各方面用料都升级了不少，日常低负载简单实用的话，应该是可以用很久的。具体不清楚稳定性怎么样，有知道的大佬可以指导一下，以后有时间我自己组一套来验证一下它能否在家庭环境下长期运行。

热插拔不是很重要，重要的是背板有很多电容，稳定性毋庸置疑

从电源到主板到线材，都是规格很高的，可以说达到了服务器级别的水准

超微的板子，服务器级别的主板，可靠性拉满，可不是垃圾佬们那些能比的

CPU可以选用i3的CPU，有两个好处：

1、支持ECC。一般服务器级别都要用ECC，而要用ECC必须满足三个条件：CPU支持，主板支持，内存条自己也要是ECC。而i3都支持ECC

2、支持硬解。i3的核显硬解，懂的都懂，没有不能硬解的，家用理想CPU。而且，这里不仅省了一张显卡钱，也省了一条pciex16的卡槽。如果你要多线程，就用9代i3，不介意就用前几代的i3，我个人觉得8代CPU是最有性价比的，因为i3七代是双核，i3八代开始才是4核，至于超线程的i3 9代其实提升并不到，不如直接i3 十代，但i3 十代也仅仅比八代提升15%不到

也就是说，基于这套板U，可以达到服务器水准，满足家用需要，i3的性能跑4-5个万兆都没问题，算是非常理想的一套自组NAS方案

补充大致功耗：

功耗计算非常简单，这套方案不算大容量机械硬盘，待机功耗约20W（不加任何外接设备如万兆网卡、独显、pcie等其它设备的情况下）

一块硬盘大约5w（如红盘、酷狼这种nas专用，转速5400的这些4T容量及以下，5w一块；如果大于4T，一般都是8W-10W一块），例如4盘位，假设是4块西数hc320，上述功耗大约20+4×8 = 52w，实际上下游浮动，但误差不大。

我再给出更详细的配置单吧，大家可以根据这个自行调整

CPU：i3 7100T、i3 8100T、i3 9100T、赛扬G4560T、赛扬G5500T等
主板：超微X11SSH-LN4F（7代和8代 i3）、超微X11SCL-F（支持到9代i3）
内存：纯ECC 16Gx2（海力士、镁光、三星随便选）
CPU风扇：某宝 LGA1151接口的风扇，50元附近即可，别大了，高了塞不进去小机箱，大了挡其它地方
机箱：很多啊，我个人最喜欢的是treasure机箱和御夫座这类
机箱风扇：利民 TL-C12-B （个人比较喜欢利民的这个系列，静音，性价比高，质保7年以上我记得）
电源：安钛克HCG 650W、酷冷至尊GX450W、益衡flex 1U电源（除了1U电源，都是全日系电容，波纹很稳定，最有性价比的就是酷冷至尊的GX450W，可惜不是模组的，本来要用海韵focus系列，毕竟海韵电源有口皆碑，focus系列更是旗舰系列，就是太贵了。可以退而求其次选择跟focus同样配置但跟便宜的追风者AMP系列，但市场上追风者AMP还是贵，反而安钛克的HCG系列明明也是一样的方案，一样的全日系电容，更便宜，那就根据自己钱包来了，如果是ATX电源，安钛克的HCG性价比最高）
sata线：
华硕rog原装 40cm sata线 12条（我看很多人推荐安费诺，但很多都是假冒的，反而不靠谱，不如一些高端主板赠送的sata线，有要求就买，但是务必买正品，sata线不好容易坏硬盘。）
sata原装供电线
系统盘：有NVme就优先用，没有的可以用pcie转，固态硬盘怎么选不多BB。具体来说就是：三星850evo和850pro，860evo和860pro（最强sata），870evo 注意矿盘，MX500也能玩，浦科特M7VC M8VC性价比也很高，nvme里面虽然我主力机是980pro，但如果真要推荐我还是喜欢三星980，没有任何后缀的这款，速度不用说，关键是温度低的离谱。跳出消费级领域，还有很多U.2或者22110规格的长条固态可以选择，大船洋垃圾很多，可以随便选。
其它：
万兆网卡x520 光口的可以兼容1G、2.5G、5G、10G，电口不行，功耗大约10w，最好带个风扇。如果真要家里组万兆，我个人觉得最便宜的还是自己拉光口的更合适。
螺丝：建议某宝买个电脑装机螺丝套装，各种型号都给你20来个，常备一个，总是好的，也不贵。风扇螺丝也来一套，普通的那种风扇螺丝就行

没螺丝太痛苦了，我有时候经常装机，没螺丝没线是最痛苦的，家装修没了楼下五金店搞定，电脑这东西没螺丝会崩溃，然后下面买了两套，还有笔记本拆机专用的那种螺丝刀也备上

价位的话，这套下来预计3500起步吧，比起我那套威联通453B mini（2000）+i7 8700T的htpc（2300）怎么样呢？

最关键，这套方案是可以玩freenas 的（什么都能玩，取决于你自己，unraid、黑裙、ovm等等），真正的服务器级别，那么你觉得这套方案比群晖、威联通成品相比，做工、可靠性等各个方面哪里差了吗？更别提性能了，基本是压着就过去了。

方案二：

上述方案基本覆合90%以上的人的需要，也基本符合我的需求。非要说不足，就是扩展性了。基于此，我这里准备了第二套方案，也是我个人在用的方案

CPU：E5 2630L或2630不带L V3 8/16 80元
主板：超微X10DRL-I 1500元质保三年，板载显卡，IPMI，三网口，双路CPU，PCIE扩展性拉满，ATX主板
内存：镁光 RECC 2166 16Gx2 450元（最近内存掉价厉害，可以买）
CPU风扇：某宝 LGA2011散热器 60元（我tm了，一个1900转的散热器，直接起飞，比tm硬盘声音还大）
机箱：半岛铁盒F10 175元
机箱风扇：利民 TL-C12-B x3 50×1 = 120元（放在机箱尾部排出热量，这种配置和atx大机箱配合，一个足够）
追风者SK 140 x3 = 60元（闲鱼收的，因为我自己之前装机追风者P500A自带三个，用了2个，所以闲鱼又收了两个。用于前置面板给硬盘散热，可我一下子没有10块盘，目前只有4块希捷银河7e8组raidz2，所以实际只启用了一个风扇。我对这个风扇的评价是，不太给力，实际使用中我的希捷银河还好，东芝企业盘摸着烫手，这个风扇散热确实没有那么给力，建议一起还用利民的吧。）
1分5的pwm集线器 10元一个包邮，可以让走线理线以及后续升级带来不少便利（修正：超微主板用集线器控制不了风速，直接满速跑，噪声很大。因此这里集线器就免了）
电源：安钛克HCG 650W 400元
华硕rog原装 40cm sata线买了12条 50元
系统盘：镁光M600 512G 300元（这是oem中算垃圾的MLC的sata盘，性能很一般，当系统盘倒是也够了）
独显：GTX750 1G 250元（备选：1030 aero 2G 400元、丽台P600、rx460 560，都是低功耗无须独立供电的显卡，待机5-10W，用于弥补无法硬解的尴尬，而且可以开Windows系统用于挂一些游戏，甚至可以做一些显卡虚拟化工作，显卡虚拟化除了核显可以，NVIDIA好像只有在win10一些版本下的hyper v下才能免费实现）（如果要刀卡，1030有很多，单槽卡方面1030的技嘉、华硕、七彩虹都是单槽）（为什么主推1030和1650，因为1030基本全系列可以解码，1650往上是真正的全系列解码【av1除外】，av1太未来了，不用执着）
万兆网卡：x520 电口（功耗10W）

总价约3500元，跟上述方案差不多，能便宜500左右，扩展性更强，颜值可能比不上，而且功耗会比上述方案高20W左右，经过我的折腾，在6个风扇+sata固态+1个gtx 750显卡+4条m.2固态情况下，待机是49W。

最新功耗实测：配置是多了一个U.2的8T固态，一个4口2.5G网卡，三个机械硬盘HC550混搭银河16T的raidz1，四台虚拟机：两个truenas，一个openwrt，一个Ubuntu，6把风扇，空载70W

值得一提的是，当你直通这块主板的6个sata控制器给虚拟机时，再关掉虚拟机，那么连接这6个sata口的硬盘都会断电，不是休眠，是断电。也就是说，如果不用的时候，它就是一个纯固态NAS，需要冷备的时候，它就是一个混合机械盘和固态盘的NAS。当然，此时功耗也会额外加上机械硬盘的功耗，例如我4块企业级盘也有30W，就是80W，平时关掉就是50W。当然，虚拟机开多了，也会有10-20W的提升，日常正常运行：一个truenas配合4块M2固态raidz1，一个独显gtx750搭配Windows，一个openwrt，一个ubuntu差不多功耗是70W不到。

当然你可以不用独显GTX750这种，能省下10W功耗；万兆网卡也不一定非要上

补充几张这套方案我的装机图吧

最后是功耗，这套是实际待机功耗65W

平均每天不到2度电费应该是1.8度左右，大概1元，年电费356元，个人觉得确实有点贵了，而且“不环保”。考虑到每天也不是经常用，所以

1、去国家电网，开通峰谷电，晚上电费能少一半，整年电费能少三分之一

2、定时开关机（个人觉得没必要）

3、挂网心云挣点电费

4、挂一些付费服务挣点电费如直播代录

我个人在优化了超微bios、pve系统后，日常运行truenas、ubuntu、omv、openwrt这四个虚拟机，待机70W，网卡是2.5G的没有用万兆，独显没加，四块企业级硬盘外加一个sata固态。

这是起步，就是说应该是待机下的一个极限值了，你肯定不可避免的安装一些应用、服务，那功耗一定会上去。

有人可能追求极限低功耗，例如硬件上用atom甚至arm，这些方案都不可行，原因很简单，因为现在i3、i5、i7待机功耗都能达到5W-10W了，差距也就10W以内，实在没必要考虑硬件方案上的低功耗，而且价格也不比一些用N5105的便宜，综合考虑这套方案功耗控制已经很好了。

如果你要在上面部署服务，集成很多很多东西，那不可避免就奔着100W功耗去了。而且盘越多，功耗越高。

方案一其实会比方案二功耗低20W，不过价格贵了接近500，且扩展性不足，看个人选择了。

简单补充一下我对N5105的看法：

N5105的核显性能是很强的，可惜CPU性能跟不上，瓶颈在CPU而不在核显，之前我测过G3930T，跟那个U差不多，都是CPU给核显拖后腿，然而N6005是勉强能跟上了，可价格和发热也上去了，不值。
此外，N5105作为11代U，兼容性和稳定性都差一些，发热也不低。很多软路由都得改装散热才可以，本来N5105待机是10W，最高20W出头，加上风扇，其实和i3 8100待机功耗差不了多少了。
我测试N5105用各种途径能实现PVE下、Windows下、ESXI下emby硬解，但真的很一般，它的定位就是低功耗下，勉强够用的类型，作为家庭AIO入门级的U是它的准确定位，但也仅仅是入门。
我看最近出了N5105的主板，其实它挂上4块企业级硬盘，功耗也有40W了。
如果是我，我要么i3 8100组一套，要么7505组一套，稳定性和性能都要比N5105要稳定和轻松一些。

自组NAS几盘位合适？

盘位能多不能少。这也是我选用一个10个3.5盘位+3个2.5盘位的半岛铁盒f10的原因。而我推荐的方案一，万由或treasure也都有8盘位，御夫座有6个3.5英寸硬盘位，还有两个2.5英寸盘位。

NAS这个东西有两个用途，一个用途是热数据仓库，一个用途是冷数据仓库。我们大部分都是把它当作热数据仓库，实际上这个仓库需要的数据并不多，我个人常用的数据不超过16T，一般1块16T也就够了，组RAID三块大容量磁盘组个RAIDZ1其实足够了。

因此我个人一直比较推崇6盘位，自己用3个盘位，空余3个盘位用于扩展，挪地方，得留有余地，永远不要把盘位全塞满，就算是2288那个12盘位的机器，我也只装10个盘位，留两个盘位的余地。

自组NAS容量多少合适？

大部分人都用不到100T的容量，人家玩100T或1PB的都是视频工作室，百万UP主，存的都是4K视频素材，或者影音收集爱好者，我显然不是这类人。

所以，要先分析自己热数据的大小，而且要有宏观的数据备份方案，才能明确自己要多大容量的NAS。我个人实际用量16T以内足够（热数据）

1、分析自己数据的用量

过去一年半实际用量10T不到，其中还有很多是没必要的数据

2、数据备份策略

不用多说，肯定是按3-2-1备份策略来，详细规划已经写了文章，比较干，但实现其实很简单。文章重点其实是想打造自动化冷备方案，降低人工成本

这篇实战，是基于群晖实现的全方位数据备份教程，相对来说内容比较干，也比较硬核一点：

具体方案和实战都在里面了，这里不多啰嗦。

那你四块8T组了raidz2，容量够用，为什么要用10盘位？

最基本的是扩容问题，扩容方式非常灵活，但这不是最重要的，热数据16T对于我而言足够了，大概率不会再扩容。如果扩容，下一次就是4块左右的18T硬盘了，这时我可以在PVE上再建一个虚拟机freenas，然后对拷，旧盘大概率会进入我的冷备nas 华为2288准系统里。

我喜欢做种，是一个pt爱好者，喜欢分享，但做种用raidz2的nas也太奢侈了，我还是会单盘做种，也就是说除了4块nas盘，还有一块单盘10T二手翻新东芝盘做种。

还有坏盘了怎么办？替换盘的时候要用replace命令，得先把好的盘插上，然后按id替换

多余的盘位是留来干其它事情的

上述硬件，电源是日系电容，波纹稳定的金牌高端系列，有效保护主板、硬盘等元器件；线材里面塞了滤波电容，进一步保障元器件；主板是超微的带ipmi有质保，可靠性有保障；内存是recc可以进一步保障长期运行的稳定性；机箱虽然不贵，但风道良好，防尘很到位，硬盘日常运行在35°附近，舒适凉快；各方面线材都用了可靠的正规货；风扇性价比高的利民和追风者sk，静音质保还长；硬盘也选了银河盘，进一步还组了raidz2，丢数据这件事，如果不是雷劈地震，很难想象会出现。对了，还有后备式UPS，全部都是为了四个字准备的：数据安全

上面基本解决了硬件层面不可靠的问题，下面就是系统架构

自组NAS系统架构

系统上我没有直接选择安装truenas scale，而是选择了PVE，实现“物理上的ALL IN ONE，逻辑上的低耦合”，具体实现方式：

底层是PVE，虽然PVE也可以有docker，可以zfs，但我不用，重要的是逻辑简单，各司其职

PVE只负责一件事：管理好虚拟机。PVE作为底层宿主机，在安装系统的时候可以raidz1、raidz2的，如果你不放心的话，可以拿几块SSD实现。

PVE基础上，虚拟一个freenas负责数据存储。这里虽然我用了truenas scale，但我不会用truenas 直接安装docker应用，还是那句话，逻辑简单，各司其职，要干各自擅长的事情，某个事情，而不是什么都干，充分降低耦合，提高灵活性。这里提醒一点，truenas scale系统仅仅占用5G附近，为了后续备份系统更快，给它16G才行，8G虽然够用然而升级的时候会提示空间不足，因此最低要给16G，多了也用不到白搭。

然后，truenas在我这里只负责存储，smb共享，nfs共享，iscsi等，做好定期的scrub和smart检测，及时发邮件提醒我换硬盘，或者再加rsync服务增量备份。

PVE基础上虚拟一个openwrt，用法自定，可以直接软路由，我个人直接旁软路由灵活的满足局域网内走外网的需求

PVE基础上虚拟一个windows，安装emby和qbittorrent，PVE直通显卡给windows可以实现硬解，甚至玩个游戏挂个游戏都行。PVE可以直接直通硬盘，也就是说可以把装着系统盘的磁盘直接挂上去就能运行了。有点类似双系统，但其实不是，还是归PVE管。

我个人是PT爱好者，比较重度的那种，需要qbittorrent强有力的界面管理更新上千个种子，不是nas那种简单的webui能满足的，甚至我还经常面临迁移的情况，上千个种子迁移在windows版本下更方便。

PVE安装ubuntu、centos、debian、omv、爱快、黑威联通等，主要是做实验，出教程用。

其它的，我会用一个centos安装nginx跑代理服务，跑防火墙，一个debian安装docker只运行docker服务，一个ubuntu安装数据库服务，只运行各类数据库，甚至虚拟几个玩集群，pve也支持ceph等等等等

这就是我说的“硬件上的ALL IN ONE，逻辑上各司其职”不会真的boom！