关于机器学习，很多人都强调算法而忽略了根本架构的浸染，一种看似“高大上”的算法集成到实际环境中，也可能用起来“水土不服”，缘故原由就在于根本架构的支持力度不足。以是，根本架构和算法同等主要，这里我们从AI平台根本架构中至关主要的存储架构，谈一谈AI平台的架构设计， 供干系职员参考。
目前，在政策和市场的双重驱动下，我国人工智能发展得到长足进步，“言必谈AI”已经成为各个科技公司技能峰会和企业间互换必不可少的话题。各家企业希望借力AI加速自身业务的发展和创新，通过AI帮助企业在数字化转型的浪潮中取得先发上风。
梦想回归现实，话语落到行动，因而，搭建自己的AI平台成为了最近两年很多企业的重点计策方案。
搭建一个AI平台，在哪里搭建？这是企业首先须要考虑的问题。是署在本地，还是支配在云端？这须要根据自身业务特点来选择，不过，无论你的AI平台在哪个地方，其基本流程都可分为四个步骤：
❶ 把原始数据从各种数据源导入到数据湖，进行数据拆分、洗濯等数据预处理事情；
❷ 把数据交给AI演习集群通过机器学习神经算法框架进行演习；
❸ 演习完成后就可以把得到的最优参数设置模型，进行人工智能运用的支配；
❹ 末了把机器学习的数据进行归档。
有人说人工智能运用构建最主要的是算法框架。这种说法笔者并不苟同，框架或平台只管主要，但也可能因行业发展盛行或衰退，以是，AI平台的构建并不能只懂算法，由于算法实现不即是问题办理，问题办理不即是现场问题办理。
而追求高可用、高性能、灵巧易用的根本架构才是永恒不变的。Google便是依赖强大的根本架构能力让 AI 研究领先于业界，由于根本架构知识是AI工程师进行高效团队协作的共同措辞。工业界的发展让深度学习、自动机器学习成为可能，未来将会有更多人关注底层的架构与设计。
因此，本日的主题便是浅析对AI平台根本架构中至关主要的存储架构需求：
如果把机器学习演习集群中的GPU比作飞驰的高铁列车，那么一个精良的AI平台数据管道就像高铁网络中的铁轨。当你考虑如何从你的AI支配中获取最佳结果时，数据管道或许是最主要的考量点。
我们知道企业级存储紧张有三种模式：基于数据块的SAN存储，基于文件的NAS存储和工具存储。首先SAN存储由于自身无法实现跨不同主机共享数据，不适宜直接用于AI平台，可以打消；其次工具存储达不到AI平台数据管道所需的高性能也可以打消，以是文件存储是一个不错的选择，但有些成分必须考虑：
➣ 选择何种文件系统
• 横向扩展架构例如Lustre 或者 GPFS；
• HDFS，通用的大数据文件系统；
• NFS，最广泛支配的共享文件系统。
➣ 能够存放各种来源的构造化和非构造化数据，而不捐躯性能
• 日志和传感器数据；
• 数据库数据：包括关系型数据库和非关系型数据库；
• 邮件日志；
• 个人主目录；
• 其他数据类型。
➣ 同时知足随机小IO和顺序大IO的性能
• 从上面列举的数据来源可以看到一些数据源产生的是随机小IO，而有些数据源是顺序大IO；
• 文件系统必须能够在两者之间平衡性能。
➣ 最大性能和数据移动的能力：
• 文件系统的最大性能；
• 能够高效的移动数据。
➣ 数据生命周期的自动化
• 自动分层智能决定不同数据集的存储位置，比如高性能层，归档层等；
• 同时知够数据分类和过滤过程的实时性能；
➣支持最新的存储和内存介质如NVMe和SCM等，从而在性能和延迟上得到数量级的提升
你的AI平台选择的文件系统和数据架构至少该当知足以上条件，这对AI平台的长久发展非常主要。
单必定名空间
AI数据集能够轻易地增长到很大规模，为适应这种数据大规模增长，须要一个可以横向扩展的单必定名空间文件系统，并且能够随着客户端演习节点的扩展而线性提升存储性能。
▒ 客户端访问这个单必定名空间有不同的办法，不同办法意味着不同的性能哀求，一种演习模型为异步演习，数据集被静态地分布于演习集群节点，每次演习只有一个节点访问命名空间中的一部分特天命据。
戴尔易安信R940xa和R840做事器
专为AI平台优化设计
另一种演习模型为同步进行，数据集相互关联紧耦合在一起，须要被演习集群中所有节点同时访问。这种环境明显须要更高的文件系统性能。
还有一种多层神经网络演习模型，每个演习节点有序地从文件系统中读出数据集进行演习，这样就导致全体数据集不断地被反复读取，一个节点读一次，不断地换手。
➣ 除了上述几点外，在选择AI平台的文件系统存储时还有一些其他成分也须要考虑，包括：
• 易于管理；
• 扩展大略；
• 支持多租户和存储QoS；
• 支持客户端缓存；
• 产品技能持续更新能力。
你会选择何种数据架构？
相信以上我们所谈论的标准能够帮助你选择一个适宜AI需求的文件系统和数据架构，如果还是不清楚也没有关系。戴尔易安信的AI办理方案知足上述所有哀求，包括Lustre横向扩展高性能存储办理方案，原生支持HDFS的ISilon横向扩展NAS 办理方案，自动分层的横向扩展Fluid NFS办理方案。
戴尔易安信Lustre横向扩展高性能存储架构
戴尔易安信横向扩展高性能文件系统
在这些可选项中，每一种方案都在海内的AI研究机构和干系企业已有落地的案例参考。正在方案搭建自己的AI平台的企业机构，可以咨询戴尔易安信专业的人工智能办理方案专家理解各方案的利害和特点，从而根据自己的培植须要，从长远考虑选择最适宜自己的AI平台。
未来已来，戴尔易安信端到端办理方案为企业的AI平台培植全方位助力，加速组织数字化转型。
点击“理解更多”查看数字化转型方案详情