许多患有神经疾病的患者因损失措辞能力，须要依赖特定的通讯设备进行沟通，这类设备大多利用脑机接口或者头部、眼睛的动作来掌握光标，以选择屏幕上的字母，从而拼出他们想说的句子。但是，这个蹦单词的过程，实在无法与人类的正常说话过程比较。
3 月 30 日，《自然-神经科学》揭橥了美国加州大学旧金山分校华裔教授 Edward Chang 及同事开拓的一款脑电波 AI 解码器，能够将大脑活动旗子暗记直接转化为句子文本。
详细而言，研究职员首先通过电极记录受试者说话时的神经活动旗子暗记，并用特定语句和神经旗子暗记特色之间的关联数据演习 AI 算法，试验证明，演习后的机器翻译算法能够准确地解码受试者的神经活动，并将其靠近实时地翻译为句子文本，缺点率低至 3%。
从大脑“读取”人的意图
说话彷佛是一件绝不费力的事，但实际上说话却是人类实行的最繁芜的活动之一。十多年前，科学家首次从大脑旗子暗记中解码措辞，但是一贯以来，措辞解码的准确性和速率远远低于自然措辞互换。
目前一些用于大脑掌握打字的脑机接口技能，实在依赖的是头部或眼睛的残余非措辞运动，或者依赖于光标掌握以逐个选择字母并拼出单词，这种办法目前可以帮助瘫痪的人通过设备每分钟输出多达 8 个单词。
但与流程自然措辞互换时每分钟 150 个单词的均匀速率比起来，现有技能的输出速率还是太慢了。
利用特制语音合成器与外界互换的史蒂芬·霍金
理论上来说，脑机接口技能可以通过直接从大脑“读取”人的意图，并利用该信息来掌握外部设备或移动瘫痪的肢体，来帮助瘫痪的人完成说话或运动。
为了得到脑机接口直接解码措辞更高的精度，研究职员利用了机器翻译任务与从神经活动解码语音到的相似性。也便是说，和机器翻译类似，解码措辞也是从一种措辞到另一种措辞的算法翻译，两种任务实际上映射到同一种输出，即与一个句子对应的单词序列。只不过，机器翻译的输入内容是文本，而解码措辞的输入内容是神经旗子暗记。
于是，研究职员盘点了机器翻译领域的最新进展，并利用这些方法演习循环神经网络，然后考试测验将神经旗子暗记直接映射为句子。
措辞干系的神经活动解码过程
详细而言，研究职员通过电极记录四名受试者他们大声读出句子时的神经活动。之后，研究职员将这些数据添加到一个循环神经网络中，从而将规律性涌现的神经特色表示出来，这些神经特色可能与言语的重复性特色（比如元音、辅音或发音器官吸收的指令）干系。
接着，研究职员通过另一个循环神经网络逐字解码这种算法表示，形成句子。研究职员创造，明显参与言语解码的脑区，同样参与言语天生和言语感知。通过这种机器翻译算法，研究职员在一名受试者身上进行试验，结果证明通过神经活动解码为口头句子的缺点率低至 3%。
此外，如果利用某人的神经活动和言语对循环网络进行预演习后再在另一名受试者身上进行演习，终极的解码结果有所改进，这意味着这种方法在不同职员之间或许是可转移的。但是，还须要开展进一步的研究来更加完全地调查这个别系的功能，将解码范围扩展到研究所限措辞之外。
脑机接口+AI 合针言音
直接通过解码大脑活动旗子暗记来合成文本或语音，不但是一项科幻般的“读心术”，更是一种颇有前景的治疗方案。
掌握光标进行单词拼写，只是离散字母的连续串联，而解码措辞则是一种高效的通信形式。与基于拼写的方法比较，直接语音或文本合成具有诸多优点，除了以自然语速通报无约束词汇的能力之外，直接语音合成还能捕获语音的韵律元素，例如腔调、语调等。
此外，对付由肌萎缩性侧索硬化或脑干中风引起的瘫痪患者，通过直接记录来自大脑皮层的神经掌握旗子暗记来合针言音，是实现自然措辞高通信速率的唯一手段，也是最直不雅观的方法。
去年 4 月，Edward Chang 等人还在 Nature 杂志揭橥了开拓出一种可以将脑活动转化为语音的解码器。这套人类语音合成系统，通过解码与人类下颌、喉头、嘴唇和舌头动作干系的脑旗子暗记，并合成出受试者想要表达的语音。
Edward Chang 教授
为了重修语音，研究职员设计了一种循环神经网络（RNN），首先将记录的皮质神经旗子暗记转化为声道咬合枢纽关头运动，然后将这些解码的运动转化为口语句子。
全体过程分为两个步骤，第一步，将神经旗子暗记转换成声道咬合部位的运动（赤色），这个中涉及语音产生的解剖构造（嘴唇、舌头、喉和下颌）。而为了实现神经旗子暗记到声道咬合部位运动的转化，就须要大量声道运动与其神经活动干系联的数据。但研究职员又难以直接丈量每个人的声道运动，因此他们建立了一个循环神经网络，根据以前网络的大量声道运动和语音记录数据库来建立关联。第二步，将声道咬合部位的运动转换成合针言音。
研究职员的这种两步解码方法，产生的语音失落真率明显小于利用直接解码方法所得到的语音。在包含 101 个句子的试验中，听者可以轻松地识别并记录下合成的语音。
在科幻天下里，通过意念旗子暗记掌握外界设备十分酷炫，实际上，在现实天下中，其背后的脑机接口技能已有近百年的历史。
随着脑机接口领域科学研究与运用技能的不断打破，尤其是 AI 算法的加持，为许多当前仍无法解答的难题供应更好了的探索工具，不仅能够帮助人类进一步理解自己的大脑，更主要的是为诊断、治疗脑部及其它严重疾病供应理解决方案，乃至广泛运用于就寝管理、智能生活和残疾人康复等领域。
参考资料：
https://nature.com/articles/s41593-020-0608-8
https://www.nature.com/articles/s41586-019-1119-1
https://mp.weixin.qq.com/s/ZjAW1CDUli1VXpWcNnF-sQ