零样本旨在模仿人类的推理过程,利用可见类别的知识,对没有训练的样本不可见类别进行识别,
- 类别嵌入:Class embedding: 描述类别语义和视觉特征的向量,能够实现知识在类别间的转移,因而在零样本学习中发挥着不可替代的作用。
零样本分类图解
由于属性(attribute)能够被不同类别共享,促进了知识在类别间的转移,因此是使用最广泛的类别嵌入,并在其他计算机视觉任务中,被广泛作为辅助信息。
然而属性标注过程需要大量的人力投入和专家知识,限制了零样本学习在新数据集上拓展,此外,受限于人类的认知有限,其标注的属性无法遍历视觉空间,因而图像中一些具有辨别性的特征无法被属性捕捉,导致零样本学习效果不佳。
在计算机视觉中,大家会经常提起图像的语义信息以及图像的高层特征与底层特征,那么到底什么是图像的语义呢?今天,介绍以下图像的高层特征和底层特征。
图像的语义信息
图像的语义信息分为视觉层,对象层和概念层,
-
视觉层即通常所理解的底层,即颜色、纹理、形状等。这些特征都被称为底层特征语义,
-
对象层即中间层包含了属性特征等。就是某一对象在某一时刻的状态等,
-
概念层是高层:是图像表达出最接近人类理解的东西,通俗地说,比如一张图上有沙子、蓝天、海水等。觉层是一块块的区分,对象层是沙子、蓝天和海水这些****,概念层就是海滩,这是这张图表现出的语义。 ### 2.图像的底层、高层特征
-
图像的底层特征,图像的底层特征指的是轮廓、边缘、颜色、纹理和形状特征。
-
边缘和轮廓能反映图像的内容,如果能对边缘和关键点进行可靠提取的话,很多视觉问题基本上都得到了解决,图像的底层的特征语义信息比较少,但是目标位置准确。
图像的高层特征
t图像的高层语义特征值得我们所能看到的东西,比如对一张人脸提取底层特征,我们可以提取到连轮廓、鼻子、眼睛之类的。那么高层特征就显示为一张人脸,高层特征语义信息比较丰富,但是目标位置比较粗略,愈深层特征包含的高层语义性愈强,分辨能力也愈强,我们把图像的视觉特征称为视觉空间,把种类的语义信息称为语义空间。
总结
- 慢慢的将各种图像信息,全部都将其搞定,慢慢的将各种网络架构,全部都将其搞定都行啦的回事与打算,会将计算机视觉全部都将其搞定都行啦的理由。