【004】面向语义通信的语义知识库综述

目的：为打造跨模态、跨任务、跨环境的知识库

摘要

语义知识库是一种可为数据信息提供相关语义知识描述的、结构化的且具备记忆能力的知识网络模型，是语义通信的关键使能技术之一。首先，归纳分析计算机领域语义知识库研究现状，说明知识库在语义信息提取等方面的关键作用；然后，梳理无线通信领域中信源、信道、任务语义知识库的研究现状，揭示语义知识库在语义传输效率提升方面的潜能；最后，分别从多层级构建、动态智能演进、多智能体协同更新3个方面分析了语义传输中语义知识库面临的挑战。对于如何深度融合人工智能与通信技术，创新性地提出多层级语义知识库框架，认为一个跨模态、跨任务、跨环境的知识库的构建是高效语义传输的重点研究方向。

0. 引言

传统通信：

基于人工设计的编码映射，将信源符号映射为传统码流。
映射函数确立基于经验性的设计与构建

语义通信：

基于人工智能的编码映射，语义编码将信源符号映射为语义码流。
映射函数基于数据与模型双驱动的学习与搜索。

知识库分类：

信源知识库：如：文本、图像、音频、视频
信道知识库：如：传输中的障碍物、散射体位置与形状信息、智能反射面位置信息与匹配矩阵等
任务知识库：如：图片分类、三维重建、语义分割
三者结合进行语义提取

1. 计算机领域知识库研究现状

HowNet[8]作为首个汉语语义知识库，以概念本身以及概念与概念之间的关系为基础，构建了语义知识库
ConceptNet[9]以实体、关系和属性三元组的形式进行语义知识库的构造
NELL[11]使用数据挖掘的方式从非结构化的数据中构建语义知识库
文献[13]通过分析深度学习及其对应的源代码，提出了一个融合文本、图像、程序源码等多模态的知识库

作者贡献：

构建了大规模语义信息数据集[19]:
ZHU H, CAO Y, JIN H, et al. Deep fashion3D: a dataset and benchmark for 3D garment reconstruction from single images [EB/OL]. [2023-01-19]. https://arxiv.org/abs/2003.12753
面向图像处理[20]
ZHANG S Y, CUI S G, DING Z. Hypergraph-based image processing [C] Proceedings of 2020 IEEE International Conference on Image Processing (ICIP). IEEE, 2020: 216-220. DOI:10.1109/ICIP40778.2020.9190874
面向语义分割[21]：
QIU L T, XIONG Z Y, WANG X H, et al. ETHSeg: an amodel instance segmentation network and a real-world dataset for X-ray waste inspection [C]//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2022: 2273-2282. DOI:10.1109/CVPR52688.2022.00232
面向三维场景理解[22]与重建[23]
【22】YUAN Z H, YAN X, LIAO Y H, et al. X-Trans2Cap: cross-modal knowledge transfer using transformer for 3D dense captioning [C]//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2022: 8553-8563. DOI:10.1109/CVPR52688.2022.00837
【23】 HAN X G, ZHANG Z X, DU D, et al. Deep reinforcement learning of volume-guided progressive view inpainting for 3D point scene completion from a single depth image [C]//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020: 234-243. DOI: 10.1109/CVPR.2019.00032

2. 通信系统知识库现状

2.1 信源知识库

三种方法
（一）基于知识图谱构建知识库

文本传输：使用语义信息的三元组构建语义知识图谱
语音传输：基于知识图谱的多层级结构的语义知识库基础模型，以及包含语义表达、语义符号抽象的语义知识库构建
图像传输：石光明团队提出的：由显式语义、隐式语义以及与用户相关的知识推理机制组成的多层语义表征方法，并且基于模仿学习对接收端用户的语义推理机制进行训练，从而与发送端机制一样。

（二）以带标签的训练数据集作为知识库
上海交大陶梅霞团队：需要传输的数据信息与训练数据集的统计特性分布不同时，可利用迁移学习中的领域自适应技术，降低两者差异，动态更新语义信道的编解码方案。

（三）基于深度学习模型提取的特征向量作为语义知识库
清华大学秦志金团队：定义了一组有限离散语义基向量集合为语义知识库

2.2 信道知识库

分为：特定于站点的数据库、特定于位置信息的知识库
（一）特定于站点的数据库

提供准确的物理环境地图信息（三维城市地图、无线电环境地图）
缺点：算法复杂度较高、计算与存储资源开销大

（二）特定于位置信息的知识库
重点关注与信道特性相关的知识描述（如信道增益、阴影、入射角等）。包含：信道增益地图[35]、信道路径地图[36]、波束索引映射

局限：特定传输环境下信道知识的构建，在多变环境的自适应性以及泛化能力方面

2.3 任务知识库

任务知识库的构建主要为与任务相关的特征向量集合
【30】面向图像分类任务的语义传输系统：

利用带类别标签的图像数据集训练模型
量化分类网络所提取的特征图与物体类别信息的相关性
【30】 YANG Y, GUO C, LIU F, et al. Semantic communications with AI tasks [EB/OL]. (2021-09-29)[2023-01-16]. https://arxiv.org/abs/2109.14170