哔哩哔哩，作为中国Z世代高度聚拢的综合性视频平台，汇聚了2.72亿月活用户。也便是说每两个中国的年轻人中，至少有一位是B站的用户。每月，在B站有超过325万创作者，上传、分享1100万则视频作品，内容涵盖超过200万个文化标签，7000个核心圈层，席卷了Z世代青年各个兴趣圈层的视频种别和内容，并通过弹幕、加评的模式鼓励用户产生更深入的社交互动。
平台上丰富的视听内容正逐步成为儿童上网学习、娱乐的主要选择之一。考虑到儿童的心智发育尚未完善，缺少应对网络上不良信息的能力和意识，平台从保护、赋能的角度出发，以公正和非歧视为原则，在保护儿童的安全，支持儿童的发展上，通过人工智能技能和手段对社区中的不良信息进行监测和处理，并持续培植健全专业的团队对不良信息进行系统性的防控和管理，从而创造一个促进儿童友好型人工智能的网络环境。
关于技能方案的详细方法
作为一家内容平台，哔哩哔哩平台利用人工智能技能识别和干预社区中的“软色情类”与“人身攻击类”不良信息，降落对儿童的负面影响。同时，利用人工智能“优选弹幕”技能，为儿童营造一个更康健、积极、和谐，更为正面的弹幕不雅观看环境。详细而言，对付负向信息包含“软色情类信息”以及“人身攻击类信息”等两个紧张模块，对付正向信息包含“弹幕优选”模块。
图1 弹幕系统架构图
个中，在关键技能方面，首先“软色情类”不良信息处理模块。识别并处理弹幕软色情的文本，存在三个紧张的技能难点。第一，弹幕的文本较短，传统的机器学习模型很难在很短的内容上获取学习到足够的特色，对付文本的语义识别难度较大；第二，软色情的评判标准难以统一，不同用户对付软色情文本的容忍程度和认知程度不一，相同文本内容在不同场景下也可能存在不同的含义；第三，软色情信息分布失落衡，在所有的弹幕中软色情文本内容的占比很低且较隐晦，样本类别的分布失落衡导致软色情文本识别难度加大。针对技能难点，选择Transformer的文本分类模型（图1），搭建“软色情类”不良信息的处理模块。
图2 Tansformer模型构造
其次，“人身攻击类”不良信息处理模块。“人身攻击类”不良信息紧张包含以下几种类型：1.语义情绪较为负面的内容；2.带有骂人、羞辱、嘲讽等词汇的内容；3.恶意玩梗，让青少年产生不良体验等内容。“人身攻击类”不良信息的过滤实质上是一个文本二分类问题。经由综合考虑，模型选择Albert模型做为基准。该模型是一种基于BERT模型的轻量级优化，它基于嵌入参数化进行因式分解和跨层参数共享的技能，大幅提升了演习速率。其模型构造如图2所示。
图3 Albert模型构造
对付“人身攻击类”不良信息的模型处理同样须要经由数据准备与模型构建两个阶段。
在数据准备阶段，须要对付“人身攻击类”弹幕进行数据洗濯、筛选和增强。模型采取confidence learning技能对数据进行标签改动。以人身攻击文本：非人身攻击文本=1：5的比例，构建有两千万条弹幕的演习集进行模型的演习，并在二十万条文本的验证集上进行验证。
在模型构建阶段，模型会先对输入的弹幕进行tokenization（id化），然后对token、segment和position这三种embedding进行相加，再通过encoder层拿到句子的表征向量，末了输出一个0到1之间的概率值。越靠近1表示该弹幕内容越有可能包含人身攻击内容。根据B站的弹幕生态分布情形，须要不断进行模型的迭代优化，减少青少年不雅观众打仗“人工攻击类”不良信息的可能性。
此外，“弹幕优选”正向信息处理模块。除了对付不良信息的过滤，社区还对付有利于儿童发展的积极向上的正向内容进行勾引。以人工智能的技能对用户天生的弹幕内容进行评分，更加有利于营造更好的儿童不雅观看视频的弹幕环境。
该模型的演习数据来自用户的点赞弹幕。点赞代表的是不雅观众对付该文本的态度，点赞数量越多代表不雅观众对付文本内容有更为积极的态度。人工智能系统优先推送评分更高的弹幕，从而能够正向勾引社区的氛围。
关于运用效果
针对上述提到的三个信息处理模块，在不同的业务场景下均实现了努力创造一个促进儿童友好型人工智能的网络环境的效果。
一是“软色情类”不良信息处理模块运用于平台中的文本软色情识别。保护儿童的安全，保障儿童在互联网长进修、娱乐的过程中不受到有害信息的危险。
二是“人身攻击类”不良信息处理模块运用于平台中的人身攻击类文本识别。在识别并进走运营的干预后，使整体人身攻击类弹幕占比低落约40%。当前模型预测有较高的准确率，为儿童的不雅观看体验供应了保护和支持。
三是“弹幕优选”正向信息处理模块运用于平台中的正面信息勾引。筛选出能够营造积极氛围的弹幕，营造了良好的社区氛围。运用该模块能够使社区中的正向内容率整体提升33%。此外，平台相配套的“能量加油站”等生理康健做事功能，能够进一步勾引儿童得到线上或线下的人工支持，赋能儿童的康健发展。
作为中国最大的内容社区平台之一，哔哩哔哩长期关注儿童的网络安全干系风险与趋势，在保护、赋能儿童方面积极投入。未来，哔哩哔哩将持续投入专业的团队资源，为创造一个促进儿童友好型人工智能的网络环境积极贡献。（案例报送单位来自上海宽娱数码科技有限公司，上文为部分节选，如需全文请联系项目组。）
来源： 光明网