作者 | 韦世玮
编辑 | 心缘
近年来随着物联网及AIoT行业的兴起，边缘打算作为一种能够在本地智能剖析、处理数据的打算办法，以时延低、效率高、安全隐私性高档上风，逐渐成为行业青睐的技能，需求呈井喷式爆发。
据市场研究机构CB Insights数据，估量2016-2023年，边缘打算市场的复合增长率将达35%，到2023年，整体市场规模将靠近340亿美元。还有剖析师预测，从2025年开始，边缘侧AI芯片的市场营收规模将超过云端AI芯片。
在这个趋势下，全体行业也掀起了一股边缘打算创新创业浪潮。个中，OPEN AI LAB（开放智能）是这股浪潮中不可小觑的玩家之一。
从2016年12月成立至今，OPEN AI LAB不断深耕边缘打算AI（人工智能）开拓平台，推出了海内自主的边缘AI打算框架和一系列知足各种场景需求的生产工具，助力海内AI生态发展的同时，也通过赋能帮助企业完成数字化转型和智能化升级。
2020年，OPEN AI LAB联合创始人兼CTO黄明飞曾见告智东西，海内AI开源生态仍在起步阶段，而OPEN AI LAB的基本事情是把产品做好，为开拓者供应更丰富的内容和工具，享受更加大略灵巧的开拓体验，一同推动开源生态的发展。
现在，OPEN AI LAB取得了哪些收成和技能进展？海内的AIoT行业又发生了什么新变革？时隔一年，智东西再度与黄明飞进行深入互换，理解他们在过去一年的发展闪光点。
5月25日，覆盖轻量级神经网络模型设计、模型压缩、AI推理引擎、嵌入式AI芯片架构创新等主题的GTIC 2021嵌入式AI创新峰会将于北京新云南皇冠假日酒店举行。届时，黄明飞将带来《Tengine：加速边缘打算中的AI支配与落地》主题演讲。
一、过去一年：生态拓展是关键词，Tengine深入行业互助
“在疫情的影响下，实际上全体行业的发展节奏放慢了。”黄明飞谈到，在过去一年韶光里，OPEN AI LAB的事情紧张是两件事，一是通过AI实现快速行业落地，降落企业开拓门槛，二是做生态培植。
一方面，OPEN AI LAB在2020年打造了一个能实现从数据到算法、从算法到运用、从运用到支配，并自动更新迭代的边云自动化支配平台MLOps，能大大简化企业运用支配环节，降落开拓门槛。
另一方面，越来越多的开拓者从云打算入场边缘打算场景，这也让OPEN AI LAB在生态构建的同时，积累了越来越多的行业伙伴。
“从行业大背景上看，2020年还有一个国际关系问题。”黄明飞阐明，以华为为例，中美贸易摩擦对华为芯片供应链的影响，让国产化芯片成为人们十分关注的行业话题，这也给OPEN AI LAB带来了更多思考。
“这么多的国产芯片，实际上更须要一个像Tengine这样的AI框架，通过开放更多内容，让大家一起促进中国AI生态的繁荣。”他说，因此公司在过去一年仍将事情重点放在Tengine的生态发展上。
大略来说，Tengine是一个嵌入式的AI推理框架，能够帮助开拓者办理AI在快速家当化落地中碰着的各个瓶颈难题。与同行比较，Tengine有两个特点，一是重点面向嵌入式边缘打算运用，涉及海量的AIoT运用设备，而非做事器集群；二是它的事情重点在于AI推理，并非AI演习。
在生态发展上，过去一年开始Tengine陆续与MegEngine、OneFlow、PaddlePaddle等业内主流开源框架进行了深度互助与拓展，包括通过连接演习和推理两个平台形成完全的办理方案。
此外，Tengine还与老牌跨平台打算机视觉库OpenCV进一步深入互助，成为OpenCV在AI领域的主要部分。
二、Tengine Framework的三大重构，面向开拓者与用户
一贯以来，海内边缘侧运用规模化落地的难点在于，行业中大部分的云端演习框架和算法模型无法与边缘AI芯片直接适配，须要一个聚焦边缘侧的打算支配平台。
Tengine就在这一需求下应运而生，它可以实现从芯片到场景的全栈打通。
个中，Tengine Framework是OPEN AI LAB自主设计的边缘AI打算框架，向下险些兼容所有主流国产AI芯片，现阶段已与超20+主流芯片厂商SoC的底层全面适配，例如紫光展锐、全志科技、地平线、寒武纪、恒玄等；向上则支撑所有主流演习框架及网络模型，包括TensorFlow、PyTorch、Caffe、PaddlePaddle等。
另一方面，OPEN AI LAB推出的商业化的边云自动化支配平台，名为Tengine MLOps。它是一个能实现从数据到算法、从算法到运用、从运用到支配的AI系统平台，能大大简化企业运用支配环节，降落开拓门槛。
目前商业项目已覆盖数十个细分行业场景：安全生产、聪慧教诲、聪慧电力、聪慧社区、信创领域等；家当链互助伙伴达上千个，覆盖芯片公司、算法公司、IDH公司、OEM/ODM公司、行业办理方案商等；为数百个AI项目落地供应加速动力。
黄明飞谈到，为了不断知足客户的需求，公司在疫情期间对Tengine Framework进行了重构，紧张涉及三个方面。
一是根据Tengine发布四年来从开源社区和商业客户中得到的大量反馈，对全体框架进行了软件的优化升级，目的是让开发者能更高效地利用Tengine，从而更好地参与到架构的开拓培植中。
二是针对Tengine Framework做了新的生态项目，包括Tengine Kit、Tengine Factory，目的是让用户能更随意马虎地利用Tengine。
三是AutoKernel，也是Tengine Framework的子项目。不同的是，它紧张卖力底层算子的自动化优化。“这个工具将是我们对海内开源社区的一个非常大贡献，由于之前我们海内一贯没有底层算子自动优化的开源项目。”黄明飞说。
三、本钱是AI落地实质问题，未来将开放更多Tengine功能
在黄明飞看来，现在AI行业已经从最初的观点验证阶段转向落地的关键阶段，但在这个落地阶段也面临着不少困难，个中最实质的问题是本钱问题。例如，许多办理方案都采取机器视觉来做监控，但本钱却降不下来，还不如用原来的员工更实惠。
黄明飞认为，实际上办理这个问题就须要平台和工具来降落开拓本钱，尤其是软件产品的本钱，能够用于一些低本钱的硬件平台，从而真正实现性价比提升。
其次，当本钱低落打破落地的第一道关口后，还须要进一步思考国产AI芯片的发展问题。他阐明，OPEN AI LAB成立时，曾预期国产AI芯片可能在2019-2020年爆发，但目前看来整体还处在发展期。
黄明飞谈到，只管国家一贯投入资金扶持国产芯片的发展，但行业仍需一个开源生态来让玩家共同推动。
“如果说什么东西都自己干，实际上效率是不高的，须要大家各自做善于的地方，通过生态互助产生协力，才能形成一个良好环境，让国产AI生态从芯片到根本软件都迅速发展。”黄明飞说。
“目前边缘打算已经成为AI行业公认的发展趋势。”在黄明飞看来，与过去几年比较热门的云原生相似，行业在未来也可能会涌现类似的边缘原生技能。基于此，OPEN AI LAB也将连续打造一个从开拓到支配的一整套边缘原生的AI系统平台。
谈及产品的后续操持，黄明飞谈到，未来Tengine会逐步开放更多内容，与越来越多芯片厂商互助；另一方面，OPEN AI LAB也会逐步将Tengine MLOps中的功能开放到Tengine Factory中，开源更多内容，从而让全体生态更加获益。
结语：从软件源头推动边缘打算发展
从云端到边缘侧，人工智能的发展给我国高新技能行业催生了无数创业创新机会。如今嵌入式边缘打算作为信息数据处理的主要手段之一，如何从软件层出发大大降落开拓及支配门槛，也是这股浪潮中每一位玩家都在思考的事。
OPEN AI LAB作为我国AI开源大军中的一股主要力量，一手开源框架推动海内生态社区发展，一手端到端AI系统平台助力企业智能化转型，也给未来AI行业的广泛落地深踩了一脚油门。