NVIDIA TAO 工具套件供应了一个低代码 AI 框架，无论是新手还是数据科学专家都可以利用这个平台加速视觉 AI 模型开拓。有了 TAO 工具套件，开拓职员可以进行迁移学习，通过适应和优化，在短韶光内达到最前辈的精度和生产级吞吐量。
NVIDIA 发布了 NVIDIA TAO 套件 5.0 ，带来了 AI 模型开拓方面的打破性功能提升。新功能包括开源架构、基于 Transformer 的预演习模型、AI 赞助的数据标注，以及在任何平台上支配模型的能力。
发布亮点包括：
以开放的 ONNX 格式导出模型，支持在 GPU、CPU、MCU、神经加速器等设备上支配。前辈的视觉 Transformer 演习，可提高准确性和鲁棒性，防止图像破坏和噪声。新增 AI 赞助数据注释，加快了分割掩码的标记任务。支持例如光学字符检测和连体网络模型等用于光学检测的新型打算机视觉任务和预演习模型。开放源代码，可供应定制办理方案，加快开拓和集成速率。利用指南：
图 1：NVIDIA TAO 工具套件事情流程图
在任何平台、任何位置支配 NVIDIA TAO
NVIDIA TAO 工具套件 5.0 支持 ONNX 模型导出。无论是 GPU 、CPU 、MCU 、DLA 还是 FPGA 的边缘或云上的任何打算平台，都可以支配利用 NVIDIA TAO 工具套件演习的模型。NVIDIA TAO 工具套件简化了模型演习过程，优化了模型的推理吞吐量，为数千亿台设备的 AI 供应了动力。
图 2：NVIDIA TAO 工具套件体系
用于构建、完善和支配机器学习模型和算法的平台 Edge Impulse 将 TAO 工具套件集成到其边缘 AI 平台中。通过整合，Edge Impulse 现在可以供应前辈的视觉 AI 功能和模型，并对其现有产品进行补充。开拓者可以利用 TAO，利用该平台为任何边缘设备构建生产型 AI。
视频加载中...
视频 1. 利用 NVIDIA TAO 并支配在 Cortex-M7 MCU 上的
Edge Impulse 平台演习 AI 模型
环球领先的嵌入衰落掌握器制造商意法半导体，将 TAO 集成到其 STM32Cube AI 开拓者事情流程中。借助 TAO，该公司能够在 STM32 微掌握器驱动的各种物联网和边缘用例中，根据它们的最大算力和内存运行各种繁芜 AI 功能。
有了 NVIDIA TAO 工具套件，纵然是 AI 新手也可以在微掌握器的打算和内存预算内优化和量化 AI 模型，使其在 STM32 MCU 上运行。开拓职员还可以导入自己的模型，并利用 TAO 工具套件进行微调。有关这项事情的更多信息，请参阅下面的视频。
访问 GitHub 页面（https://github.com/STMicroelectronics/stm32ai-tao），理解更多关于意法半导体用例信息。
视频加载中...
视频 2: 理解如何在一个 STM 微掌握器上
支配利用 TAO 工具套件优化的模型
虽然 TAO 工具套件模型可以在任何平台上运行，但这些模型在利用 TensorRT 进行推理的 NVIDIA GPU 上才能实现最高吞吐量。在 CPU 上，这些模型利用 ONNX-RT 进行推理。一旦软件可用，将供应复制这些数字的脚本和配方。
表 1：几种 NVIDIA TAO 工具套件视觉模型的性能比较（以 FPS 为单位），包括 NVIDIA GPU 上的新视觉 Transformer 模型
AI 赞助的数据标注和管理
对付所有 AI 项目来说，数据标注仍旧是一个昂贵且耗时的过程。对付 CV 任务尤其如此，比如须要在标注工具周围天生像素级别分割掩码的分割任务。常日，分割掩码的本钱是工具检测或分类的 10 倍。
通过 TAO 工具套件 5.0 ，用最新的 AI 赞助标注功能对分割掩码进行标注，速率更快，本钱更低。现在，您可以利用弱监督分割架构 Mask Auto Labeler （MAL）来赞助进行分割注释，以及固定和收紧用于工具检测的边界框。实况数据中工具周围的疏松边界框可能会导致非最佳检测结果。但是，通过 AI 赞助标注，您可以将边界框收紧到工具上，从而得到更准确的模型。
图 3：TAO 工具套件的自动标记
MAL 是一个基于 Transformer 的掩码自动标注框架，用于仅利用方框标注的实例分割。MAL 将方框裁剪图像作为输入内容，并有条件地天生掩码伪标签。它对输入和输出标签都利用了 COCO 注释格式。
MAL 显著缩小了自动标注和人工标注在掩码质量方面的差距。利用 MAL 天生的掩码演习的实例分割模型险些可以匹配全监督对应模型的性能，保留了高达 97.4% 的全监督模型的性能。
图 4：MAL 网络架构
演习 MAL 网络时，任务网络和西席网络（共享相同的转换器构造）协同事情以实现与类无关的自我演习。这样就可以优化具有条件随机场（CRF）丢失和多实例学习（MIL）丢失的预测掩码。
TAO 工具套件在自动标注流程和数据扩充流程中都利用了 MAL 。详细而言，用户可以在空间增强的图像上天生伪掩码（例如，剪切或旋转），并利用天生的掩码细化和收紧相应的边界框。
最前辈的视觉 Transformer
Transformer 已经成为 NLP 中的标准架构，这紧张是由于自把稳力架构，同时它们还因一系列视觉 AI 任务而广受欢迎。一样平常来说，基于 Transformer 的模型由于具有鲁棒性、可推广性和对大规模输入实行并行处理的能力，会优于传统的基于 CNN 的模型。所有这些优点都提高了演习效率，对图像破坏和噪声供应了更好的鲁棒性，并对不可视的工具更好地进行泛化。
TAO 工具套件 5.0 为盛行的 CV 任务供应了几种最前辈的（SOTA）视觉 Transformer ，详细如下。
全把稳力网络
全把稳力网络（FAN）是 NVIDIA Research 的一个基于 Transformer 的主干，它在抵御各种毁坏方面实现了最优的鲁棒性。这类主干可以很随意马虎地推广到新的领域，并且对噪声、模糊等更具鲁棒性。
FAN 模块背后的一个关键设计是把稳力通道处理模块，它可以实现稳健的表征学习。FAN 可以用于图像分类任务以及诸如工具检测和分割之类的下贱任务。
图 5 ：与 FAN Small （右）比较，ResNet50 （中）破坏图像的激活热图
FAN 系列支持四个主干，如表 2 所示。
表 2：具有尺寸和精度的 FAN 主干
全局视野视觉 Transformer
全局高下文视觉 Transformer（GC-ViT）是 NVIDIA Research 的一种新架构，可实现非常高的准确性和打算效率。GC-ViT 办理了视觉 Transformer 中缺少勾引性偏差的问题 。通过利用局部自把稳，它在 ImageNet 上利用较少的参数得到了更好的结果。
局部自我把稳与全局视野自我把稳相结合，可以有效地仿照长间隔和短间隔的空间交互。图 6 显示了 GC-ViT 模型体系构造。有关更多详细信息，请拜会 Global Context Vision Transformers （https://arxiv.org/pdf/2206.09959.pdf）。
图 6：GC-ViT 模型架构
如表 3 所示，GC-ViT 家族包含六个主干，从 GC-ViT-xxTiny （打算效率高）到 GC-ViT-Large （非常准确）。GC-ViT 大型模型在 ImageNet-1K 数据集上可以实现 85.6 的 Top-1 精度，用于图像分类任务。该体系构造还可以用作其他 CV 任务的主干，如工具检测、语义和实例分割。
表 3：具有尺寸和精度的 GC-ViT 主干
DINO
DINO（具有改进去噪锚框的检测 Transformer）是最新一代检测 Transformer（DETR），达到了一个比上一代更快的演习收敛韶光。Deformable DETR （D-DETR）至少须要 50 个 epochs 才能收敛，而 DINO 可以在 COCO 数据集上在 12 个 epochs 内收敛。而且，与 D-DETR 比较，它还实现了更高的精度。
DINO 通过在演习期间去噪实现更快的收敛，这有助于提案天生阶段的二分匹配过程。由于二分匹配的不稳定性，类 DETR 模型的演习收敛速率较慢。二分匹配减少了对人工和打算繁重的 NMS 操作的需求。但是，它常日须要更多的演习，由于在二分匹配期间，禁绝确的基本事实也可以与预测相匹配。
为理解决这个问题， DINO 引入了有噪声的正负真实框来处理“无工具”场景。因此，DINO 的演习收敛得非常快。更多信息，请参阅 DINO: 带有改进的去噪锚框的 DETR，可用于端到端工具检测（https://arxiv.org/pdf/2203.03605.pdf）。
图 7：DINO 架构
TAO 工具套件中的 DINO 是灵巧的，可以与传统的 CNNs 主干（如 ResNets ）和基于 Transformer 的主干（如 FAN 和 GC-ViT）相结合。表 4 显示了在各种版本的 DINO 和常用的 YOLOv7 上 COCO 数据集的准确性。有关更多详细信息，请拜会 YOLOv7: 为实时物体检测器设置了新的前辈技能的可演习的免费套件（https://arxiv.org/pdf/2207.02696.pdf）。
表 4：COCO 数据集上的 DINO 和 D-DETR 准确性
SegFormer
SegFormer 是一种基于 Transformer 的轻量级语义分割方法。它的编码器由轻量级 MLP 层制成，避免了利用位置编码（紧张由 Transformers 利用），这使得推理在不同分辨率下有效。
将 FAN 主干网添加到 SegFormer MLP 解码器中会产生一个高度鲁棒性和高效的语义分割模型。稠浊式 FAN-基站 + SegFormer 是 2022 年鲁棒视觉寻衅大赛中语义分割项目的得胜架构。
图 8：具有 FAN 预测功能的 SegFormer （右）其在噪音输入时的一个图像情形（左）
表 5：SegPreer 与 PSPNet 的鲁棒性比拟
不才面的视频中，您将看到 SegFormer 如何保持加速自动驾驶汽车开拓的高效率的同时，天生强鲁棒性的语义分割。
视频加载中...
视频 3. NVIDIA DRIVE 实验室片段，
关于提升自动驾驶汽车安全的 AI 分割模型
目标检测和分割之外的 CV 任务
除了传统工具检测和分割，NVIDIA TAO 工具套件也加速了其他的各种 CV 任务。TAO 工具套件 5.0 中新增的字符检测和识别模型使开拓职员能够从图像和文档中提取文本。文档转换实现了自动化，并加速了在保险和金融等行业的用例。
当被分类的工具变革很大时，检测图像中的非常是有用的，但不可能用所有的变革进行演习。例如，在工业检测中，毛病可以是任何形式的。如果演习数据之前没有创造毛病，那么利用大略的分类器可能会导致许多遗漏的毛病。
对付这样的用例，将测试工具直接与黄金参考进行比较将得到更好的准确性。TAO 工具套件 5.0 的特点是暹罗神经网络，在该网络中，模型打算出被测工具和黄金参考之间的差异，以便在工具有缺陷时进行分类。
利用 AutoML 实现超参数优化的
自动化培训
自动化机器学习（AutoML）自动实行手动任务，即在给天命据集上查找所需 KPI 的最佳模型和超参数。它可以通过算法推导出最佳模型，并抽象出 AI 模型创建和优化的大部分繁芜性。
TAO 工具套件中的 AutoML 完备配置了用于自动优化模型的超参数。无论是 AI 专家还是新手，都可以轻松利用。对付新手，Jupyter 利用指南供应了一种大略且有效的创建准确的 AI 模型的方法。
对付专家来说，TAO 工具套件可让您自由掌控要调度的超参数以及用于扫描的算法。TAO 工具套件目前支持两种优化算法：贝叶斯优化和超参数优化。这些算法可以扫描一系列超参数，以找到给天命据集的最佳组合。
AutoML 支持多种 CV 任务，包括一些新的视觉 Transformer, 如 DINO、D-DETR、SegFormer 等。表 6 显示了支持网络的完全列表（标粗的项目是 TAO 工具套件 5.0 的新增项目）。
表 6 ：TAO 工具套件中 AutoML 支持的模型， 包括几个新的视觉转换器模型 （标粗的项目是 TAO 工具套件 5.0 的新项目）
用于事情流程集成的 REST API
TAO 工具套件是模块化和云原生的，这意味着它可以作为容器利用，并且可以利用 Kubernetes 进行支配和管理。TAO 工具套件可以作为自管理做事支配在任何公共或私有云、DGX 或事情站上。此外 TAO 工具套件供应定义完善的 REST API，使其易于集成到您的开拓事情流程中。开拓职员可以调用 API 端点来实行所有演习和优化任务。这些 API 端点可以从任何运用程序或用户界面调用，然后通过远程触发进行演习作业。
图 9：用于云原生支配的 TAO 工具套件架构
更好的推理优化方案
为了简化产品化并提高推理吞吐量，TAO 工具套件供应了多种交钥匙性能优化技能。个中包括模型修剪、低精度量化和 TensorRT 优化，与公共模型库的同类模型比较，这些技能加起来可以供应一个 4 到 8 倍的性能提升。
图 10：在各种 GPU 上优化的 TAO 工具套件和公共模型之间的性能比较
开放灵巧，具有更好的支撑
由于 AI 模型是基于繁芜的算法预测输出的，这可能会使人们很难明得系统是如何做出决定的，并且很难调试、诊断和修复缺点。可阐明人工智能（XAI）通过阐明 AI 模型如何做出决策来应对这些调度。这不仅有助于人类理解 AI 输出背后的推理过程，也使诊断和修复缺点变得更随意马虎。这种透明度有助于建立对 AI 系统的信赖。
为了提高透明度和可阐明性，TAO 工具套件将以开源形式供应。开拓职员将能够从内部层查看特色图，并绘制激活热图，以更好地理解人工智能预测背后的推理过程。此外，访问源代码将使开拓职员能够灵巧地创建定制的 AI，提高调试能力，并增加对其模型的信赖。
NVIDIA TAO 工具套件现已推出，可通过 NVIDIA AI Enterprise （NVAIE） 购买。NVAIE 为公司供应关键业务支持、NVIDIA AI 专家答疑以及优先安全修复。理解 NVAIE (https://www.nvidia.com/en-us/data-center/products/ai-enterprise/) 并得到 AI 专家的辅导。
与云做事集成
NVIDIA TAO 工具套件可以集成到您利用的各种 AI 做事中，如 Google Vertex AI、AzureML、Azure Kubernetes 做事、Google GKE 和 Amazon EKS。
图 11：TAO 工具套件 5.0 与各种 AI 做事集成
总结
TAO 工具套件供应了一个平台，任何开拓者在任何做事、任何设备上都可以利用，可以轻松地迁移学习他们的自定义模型，实行量化和修剪，管理繁芜的演习事情流程，并在无需编码的情形下实行人工智能赞助注释。
为供应 TAO 工具套件 5.0 版本的准确信息，本文已在原版根本上进行了修订。