作者 | 韦世玮

编辑 | 心缘

近年来随着物联网及AIoT行业的兴起,边缘打算作为一种能够在本地智能剖析、处理数据的打算办法,以时延低、效率高、安全隐私性高档上风,逐渐成为行业青睐的技能,需求呈井喷式爆发。

据市场研究机构CB Insights数据,估量2016-2023年,边缘打算市场的复合增长率将达35%,到2023年,整体市场规模将靠近340亿美元。
还有剖析师预测,从2025年开始,边缘侧AI芯片的市场营收规模将超过云端AI芯片。

对话OPEN AI LAB联合首创人生态拓展行业落地是关键词边缘AI框架的三大年夜重构

在这个趋势下,全体行业也掀起了一股边缘打算创新创业浪潮。
个中,OPEN AI LAB(开放智能)是这股浪潮中不可小觑的玩家之一。

从2016年12月成立至今,OPEN AI LAB不断深耕边缘打算AI(人工智能)开拓平台,推出了海内自主的边缘AI打算框架和一系列知足各种场景需求的生产工具,助力海内AI生态发展的同时,也通过赋能帮助企业完成数字化转型和智能化升级。

2020年,OPEN AI LAB联合创始人兼CTO黄明飞曾见告智东西,海内AI开源生态仍在起步阶段,而OPEN AI LAB的基本事情是把产品做好,为开拓者供应更丰富的内容和工具,享受更加大略灵巧的开拓体验,一同推动开源生态的发展。

现在,OPEN AI LAB取得了哪些收成和技能进展?海内的AIoT行业又发生了什么新变革?时隔一年,智东西再度与黄明飞进行深入互换,理解他们在过去一年的发展闪光点。

5月25日,覆盖轻量级神经网络模型设计、模型压缩、AI推理引擎、嵌入式AI芯片架构创新等主题的GTIC 2021嵌入式AI创新峰会将于北京新云南皇冠假日酒店举行。
届时,黄明飞将带来《Tengine:加速边缘打算中的AI支配与落地》主题演讲。

一、过去一年:生态拓展是关键词,Tengine深入行业互助

“在疫情的影响下,实际上全体行业的发展节奏放慢了。
”黄明飞谈到,在过去一年韶光里,OPEN AI LAB的事情紧张是两件事,一是通过AI实现快速行业落地,降落企业开拓门槛,二是做生态培植。

一方面,OPEN AI LAB在2020年打造了一个能实现从数据到算法、从算法到运用、从运用到支配,并自动更新迭代的边云自动化支配平台MLOps,能大大简化企业运用支配环节,降落开拓门槛。

另一方面,越来越多的开拓者从云打算入场边缘打算场景,这也让OPEN AI LAB在生态构建的同时,积累了越来越多的行业伙伴。

“从行业大背景上看,2020年还有一个国际关系问题。
”黄明飞阐明,以华为为例,中美贸易摩擦对华为芯片供应链的影响,让国产化芯片成为人们十分关注的行业话题,这也给OPEN AI LAB带来了更多思考。

“这么多的国产芯片,实际上更须要一个像Tengine这样的AI框架,通过开放更多内容,让大家一起促进中国AI生态的繁荣。
”他说,因此公司在过去一年仍将事情重点放在Tengine的生态发展上。

大略来说,Tengine是一个嵌入式的AI推理框架,能够帮助开拓者办理AI在快速家当化落地中碰着的各个瓶颈难题。
与同行比较,Tengine有两个特点,一是重点面向嵌入式边缘打算运用,涉及海量的AIoT运用设备,而非做事器集群;二是它的事情重点在于AI推理,并非AI演习。

在生态发展上,过去一年开始Tengine陆续与MegEngine、OneFlow、PaddlePaddle等业内主流开源框架进行了深度互助与拓展,包括通过连接演习和推理两个平台形成完全的办理方案。

此外,Tengine还与老牌跨平台打算机视觉库OpenCV进一步深入互助,成为OpenCV在AI领域的主要部分。

二、Tengine Framework的三大重构,面向开拓者与用户

一贯以来,海内边缘侧运用规模化落地的难点在于,行业中大部分的云端演习框架和算法模型无法与边缘AI芯片直接适配,须要一个聚焦边缘侧的打算支配平台。

Tengine就在这一需求下应运而生,它可以实现从芯片到场景的全栈打通。

个中,Tengine Framework是OPEN AI LAB自主设计的边缘AI打算框架,向下险些兼容所有主流国产AI芯片,现阶段已与超20+主流芯片厂商SoC的底层全面适配,例如紫光展锐、全志科技、地平线、寒武纪、恒玄等;向上则支撑所有主流演习框架及网络模型,包括TensorFlow、PyTorch、Caffe、PaddlePaddle等。

另一方面,OPEN AI LAB推出的商业化的边云自动化支配平台,名为Tengine MLOps。
它是一个能实现从数据到算法、从算法到运用、从运用到支配的AI系统平台,能大大简化企业运用支配环节,降落开拓门槛。

目前商业项目已覆盖数十个细分行业场景:安全生产、聪慧教诲、聪慧电力、聪慧社区、信创领域等;家当链互助伙伴达上千个,覆盖芯片公司、算法公司、IDH公司、OEM/ODM公司、行业办理方案商等;为数百个AI项目落地供应加速动力。

黄明飞谈到,为了不断知足客户的需求,公司在疫情期间对Tengine Framework进行了重构,紧张涉及三个方面。

一是根据Tengine发布四年来从开源社区和商业客户中得到的大量反馈,对全体框架进行了软件的优化升级,目的是让开发者能更高效地利用Tengine,从而更好地参与到架构的开拓培植中。

二是针对Tengine Framework做了新的生态项目,包括Tengine Kit、Tengine Factory,目的是让用户能更随意马虎地利用Tengine。

三是AutoKernel,也是Tengine Framework的子项目。
不同的是,它紧张卖力底层算子的自动化优化。
“这个工具将是我们对海内开源社区的一个非常大贡献,由于之前我们海内一贯没有底层算子自动优化的开源项目。
”黄明飞说。

三、本钱是AI落地实质问题,未来将开放更多Tengine功能

在黄明飞看来,现在AI行业已经从最初的观点验证阶段转向落地的关键阶段,但在这个落地阶段也面临着不少困难,个中最实质的问题是本钱问题。
例如,许多办理方案都采取机器视觉来做监控,但本钱却降不下来,还不如用原来的员工更实惠。

黄明飞认为,实际上办理这个问题就须要平台和工具来降落开拓本钱,尤其是软件产品的本钱,能够用于一些低本钱的硬件平台,从而真正实现性价比提升。

其次,当本钱低落打破落地的第一道关口后,还须要进一步思考国产AI芯片的发展问题。
他阐明,OPEN AI LAB成立时,曾预期国产AI芯片可能在2019-2020年爆发,但目前看来整体还处在发展期。

黄明飞谈到,只管国家一贯投入资金扶持国产芯片的发展,但行业仍需一个开源生态来让玩家共同推动。

“如果说什么东西都自己干,实际上效率是不高的,须要大家各自做善于的地方,通过生态互助产生协力,才能形成一个良好环境,让国产AI生态从芯片到根本软件都迅速发展。
”黄明飞说。

“目前边缘打算已经成为AI行业公认的发展趋势。
”在黄明飞看来,与过去几年比较热门的云原生相似,行业在未来也可能会涌现类似的边缘原生技能。
基于此,OPEN AI LAB也将连续打造一个从开拓到支配的一整套边缘原生的AI系统平台。

谈及产品的后续操持,黄明飞谈到,未来Tengine会逐步开放更多内容,与越来越多芯片厂商互助;另一方面,OPEN AI LAB也会逐步将Tengine MLOps中的功能开放到Tengine Factory中,开源更多内容,从而让全体生态更加获益。

结语:从软件源头推动边缘打算发展

从云端到边缘侧,人工智能的发展给我国高新技能行业催生了无数创业创新机会。
如今嵌入式边缘打算作为信息数据处理的主要手段之一,如何从软件层出发大大降落开拓及支配门槛,也是这股浪潮中每一位玩家都在思考的事。

OPEN AI LAB作为我国AI开源大军中的一股主要力量,一手开源框架推动海内生态社区发展,一手端到端AI系统平台助力企业智能化转型,也给未来AI行业的广泛落地深踩了一脚油门。