微软 Bonsai 大脑运用，包括动态和高度可变的系统、相互竞争的优化目标或策略以及未知的启动或系统条件等。图片来源 ：Wood
作者：Kence Anderson
“
基于人工智能（AI）的机器学习掌握系统有望成为前辈掌握的下一个发展方向。
”
过去几十年来，掌握系统持续发展，而人工智能 (AI) 技能正在助力前辈掌握系统向下一代发展演进。
只管掌握生态系统所呈现出来的，可能是 一个繁芜而又相互关联的技能网络，但也可以将其视为家谱中不断发展的分支，这样就可以将其简化。每种掌握系统技能都有其自身的特点，是之前的技能所不具备的。
例如，前馈技能通过预测掌握器的输出来改进比例 - 积分 - 微分 (PID) 掌握，然后利用预测将滋扰缺点与噪声发生分开。模型预测掌握（MPC）通过对未来掌握行动结果的分层预测和掌握多个干系的输入和输出，增加了更多功能。
掌握策略的最新趋势之一，是采取人工智能技能来开拓工业掌握系统。该领域的最新进展之一是基于强化学习的掌握的运用。
AI 掌握器的3个特性
基于 AI 的掌握器，即基于深度强化学习（DRL）的掌握器，可以供应一些独特且吸引人的特性，例如 ：
1学习
基于 DRL 的掌握器通过井井有条和持续的练习来学习（我们称之为机器传授教化）。因此，这些掌握器可以创造专家系统中不随意马虎捕获的细微差别和非常，而利用固定增益掌握器则可能难以掌握。
仿真器可以将 DRL 引擎暴露于各种过程状态。在这些状态中，有很多是在现实天下中永久不会碰着的，紧张是由于 AI 引擎（大脑）在运营工厂时，会试图尽可能靠近乃至超出物理举动步伐的运行极限。在这种情形下，经历这些偏移（可能会导致过程跳闸）是为了让大脑学习哪些行为须要避免。当经历的次数足够多时，大脑就能学会哪些事情不该做。
此外，DRL 引擎可以同时从多个仿真中学习。它可以从数百个仿真中学习，而不是只能从单一工厂中获取大脑数据。每个仿真的实行速率都比正常实时中看到的要快，从而可以供应有利于最佳学习的演习体验。
2延迟知足
基于 DRL 的掌握器可以学习识别短期内的次优行为，从而在长期内实现收益的优化。根据西格蒙德 • 弗洛伊德（Sigmund Freud），甚年夜公元前 300 年的亚里士多德（Aristotle）的理论，人类将这种 行为称为“延迟知足”。当 AI 以这种办法运行时，它可以将过去棘手的局部最小值推向更优化的办理方案。
3非传统输入数据
基于 DRL 的掌握器可以管理输入信息并能够评估传感器信息，这是自动化系统无法做到的。例如，基于 AI 的掌握器可以处理有关产品质量或设备状态的视觉信息。在采纳掌握方法时，它还会考虑分类的机器报警和警告。它乃至可以利用声音旗子暗记和振动传感器输入，来确定如何做出过程决策，这有点类似于运行职员吸收声音信息后所做的相应。处理视觉信息（例如耀斑大小）的能力，可以划分并揭示基于 DRL 的掌握器的能力。
▎在仪表板中跟踪能 源参数有助于可视化优化目标。
启用基于 DRL 的掌握系统
向过程举动步伐供应基于 DRL 的掌握系统，涉及 4 个步骤 ：1) 为大脑准备仿真模型 ；2) 大脑的设计和演习；3) 对大脑演习成果的评估；和 4) 支配履行。
启用基于 DRL 的掌握器，须要仿真或“数字化双胞胎”环境来练习和学习如何制订决策。这种方法的优点在于，大脑可以理解系统“好 的”和“坏的”方面，以实现既定目标。鉴于在过程仿真模型中，真实环境多种多样（远远超过仿真常日所能表示的），以及在操作状态 空间上演习大脑所需的仿真量，利用保持基本物理事理的降阶模型，可以供应最好的演习大脑的方法。
这些模型供应了一种开拓繁芜过程仿真的方法，并且在运行时速率更快，这两者都许可以更有效的办法开拓大脑。基于标签的过程仿真器，以其大略的设计、易用性和知足 广泛仿真需求的能力而著称，这符合演习基于 DRL 的大脑所需的仿真模型的哀求。
在高度当代化的时期，当面板上的指示灯和开关退出舞台时，基于标签的仿真器使自动化工程师的事情变得不那么繁琐。过去数十年来，早在“数字化双胞胎”等当代术语涌现之前，利用仿真在进入现场之前的工厂验收测试 (FAT) 上进行系统测试，一贯是过程仿真软件 的“面包和黄油”。
相同的仿真器，现在也可用于演习 AI 引擎以有效掌握工业过程。为实现这一点，仿真器须要能够以分布式办法跨多个 CPU 乃至在 “云”中运行。须要多个仿真实例来练习、演习或评估并行实行的潜在新 AI 算法。一旦实现这一点，就可以利用基于标签的仿真器开拓的运行职员培训系统，来演习基于 DRL 的 AI 引擎。
大脑的设计和演习
根据须要掌握的过程工具来设计大脑，对付开拓基于 DRL 的最佳掌握办理方案至关主要。大脑不仅可以包含 AI 观点，还可以包含启示式、程序化逻辑和众所周知的规则。如果从主题专家 (SME) 网络到得当的信息，利用该信息构建大脑的能力将是项目成功的关键。
利用主题专家知识构建富有洞察力的培训场景，对付开拓强大的基于 AI 的掌握系统 至关主要。在利用模型演习 DRL 引擎之前，必须决定模型的哪些元素将作为过程状态暴露给大脑。过程状态常日是自动化系统可用的丈量值的凑集。液位、温度、设定值等都是范例 的例子。
暴露太少的过程状态，大脑将无法从中获取足够多的数据进行学习。而过程状态太多时，内部非必须参数的数量会迅速增加。这同样会导致大脑无法快速学习，由于它不得不用费一部分精力来识别哪些过程状态不太主要。从大脑流向过程的数据也会发生类似的情形。人必须决定许可大脑操作哪些动作，这决定了掌握过程最空想状态所需的努力。
常日，大脑可用动作中包含哪些内容的决策更随意马虎制订，由于可用于掌握该过程的掌握阀或其它机制是有限的。关于过程状态和动作空间大小的决定，归结为每个状态和动作构造中该当包含哪些仿真标签。在基于标签的仿真器中定义了状态和动作。从列表中选择标签并单击按钮，可以将它们添加到大脑所利用的状 态或动作构造中。
▎AI 技能可以扩展到任何可以利用仿真建模的复 杂问题，例如掌握上游石油和天然气部门设备 的间歇性生产故障，还有炼油厂 / 化工厂的性 能优化和掌握等。
定义状态和动作空间
Inkling 是一种为演习 DRL 代理而开拓的措辞，以紧凑、富有表现力且易于理解的语法来表达演习范式。可以对基于标签的仿真器进行编程，以自动天生用于定义大脑状态和动作 构造的 Inkling 代码。
一旦定义了状态和动作构造，就须要为大脑定义演习目标。演习大脑的范例哀求是构造，例如 ：目标、惩罚、课程操持和场景。在这个 例子中，用户须要创建大约 40 行代码，才能利用仿真来演习 AI 大脑。
天生的 Inkling 代码，为新生的 AI 大脑描述了两件主要的事情——做什么，以及如何做。详细来说，天生此代码是为了通过利用上游的流量掌握和下贱的截止阀来掌握液罐中的液 位。“目标”描述大脑行动的预期结果，在这种情形下，实际液位该当靠近设定值。
选择与目标匹配的适当课程和场景，是大脑设计者和主题专家之间适当协作的结果：液罐不溢出。“课程”和“情景”陈述见告大脑如何学习该目标。在这种情形下，情景会勾引大脑以随机但受约束的液位和设定值，开始每个演习集。
云技能加速 AI 演习
大脑的有效演习须要探索非常大的操作状态空间。云技能许可将仿真器容器化，并在大规模并行环境中运行。然而，要想得到预期结果，测试演习大脑的想法，须要首先在本地运行仿照以“肃清”缺点。一旦用户 满意，仿真器就可以被容器化并在云中运行。范例的大脑演习课程，可以进行 30 万到 100 万次迭代。大脑的演习进度可以很随意马虎地显示在屏幕上，比如一个大略水箱展示。云资源可以设法在不到一小时的韶光内演习一个须要 50 万次迭代的仿照器。
可以通过图表展示大脑演习的进展与迭代次数的关系。“目标满意度”参数是演习集 的移动均匀值，终极会达成总目标数。常日，须要达到 100% 的目标满意度值，才能实现大脑对其练习过的所有场景的有效掌握。
对演习结果的评估
大脑经由演习后，须要对其进行测试以评估其生存能力。在这个阶段，大脑会根据模型来判断其行为。然而，这次仿真中的场景该当有所不同——该当利用在最初几轮测试中没有利用的工况对大脑进行测试。
例如，如果 1 个值由 3 个阀门的组合控 制，如果 1 个阀门不可用会发生什么情形？如果个中 1 个阀门卡住，大脑是否可以合理的相应，或者停机以进行掩护？这是为操作员培训系统或掌握系统测试而开拓的仿真器模型可以适用的地方。与掌握系统测试一样， AI 掌握器须要通过严格的正式测试程序。具 有自动化测试操持的仿真器，可以显著减少评估“已训”大脑所需的事情量。
大脑与掌握系统的集成
一旦大脑通过评估测试，就可以履行支配。虽然有多种支配模式，但利用基于标签的仿真器来测试掌握系统的独特上风在于，它们可以作为中间件将大脑与掌握系统集成在一起。由于各种掌握系统有大量可用的驱动程序，因此集成到特定于客户的站点比利用自定义办理方案随意马虎得多。此外，从软件掩护的角度来看，人们更方向于只管即便减少自定义支配的数量。
基于 DRL 的大脑已经被设计用于 100 多 个用例，并且已支配到各行各业和垂直市场。例如，在优化建筑物的能源利用中，同时确保二氧化碳水平低于法定限值，哀求工程师建立制冷设备设置点，以最小化本钱，同时将室内温度保持在狭窄范围内。基于 DRL 的 掌握将实时景象数据（如环境温度和湿度）考虑在内，并将机器学习与过去性能和环境 条件关系的模型结合利用，从而可以供应更 优化的办理方案。
在化工过程掌握运用中，聚合物生产须要密切掌握反应器上的设定点。范例寻衅包括瞬态掌握，以及如何以最佳办法掌握并供应同等的结果。掌握变量的数量很大，并且在掌握过 程中多次利用人类履历，由于这是一项学习技能，结果的可变性是由于操作员履历和主不雅观方 面的可变性造成的。支配演习有素的大脑，探 索与瞬态操作干系的所有状态空间，并结合最有履历和表现最佳的操作员的聪慧，可以为操作员供应更快、更同等的操作建议，并将不合规格的产品数量降至最低。
上面的案例展示了一些已经支配的成功运用，实际上 AI 技能的利用可以扩展到任何可以通过仿照建模的繁芜问题中。
AI 助力下一代前辈掌握
基于 AI 的机器学习掌握系统有望成为前辈掌握的下一个发展方向，特殊是对付具有大状态空间的繁芜系统，部分涉及丈量状态和变量之间的非线性干系性。不过，实现这一承诺须要一些关键技能。
除了深入理解“数字化双胞胎”之外，学习代理还必须能够访问定向准确的仿照模型，以便在工厂中实践和支配学习代理以做出决策的方法。用于前辈过程掌握的构建和 AI 学习代理的端到端过程包括 ：在仿照中培训代理，跨多个优化目标和场景教授代理， 评估代理，末了将代理支配在边缘作为生产 掌握系统。
关键观点：
AI 掌握器的 3 个特 性，包括学习、延迟知足和非传统输入数据。
创建基于 AI 的掌握系统须要演习其大 脑。
AI 技能可以扩展到更多可以利用仿真建 模的繁芜问题。
思考一下：
您是否会为下一个掌握系统供应学习如何更好地为其运用做事所需的工具？