用「向量」化数据表示「概念」。
向量表达:概念上更为接近的点在空间中更为聚集,而概念上更为不同的点,则距离更远。
向量数学表达:以坐标原点为起点,这些坐标点重点。
在语言上应用–词向量。
一个训练恰当的词向量集合,将和指代的事物之间的向量集合十分接近。有利于自然语言中所蕴含的实际概念。
向量数据库
与传统的数据库不同,向量数据库存储的是向量数据,而查询过程是从向量数据库中查询和查询向量较为相似的向量,具有一定的模糊性。
最近邻(Nearest Neighbors)
最近邻算法
Flat 暴力搜索
一次比较所有向量和查询向量的相似度,挑选出相似度最高的topk。
比较向量的相似度方法:
1)两个向量夹角越小越相似(余弦值:夹角越小,余弦值越大)。
2)欧式距离,距离越近越相似。
搜索成本
搜索质量百分之百准确
近似最邻近算法(Approximate Nearest Neighbors)
聚类
k-means
位置敏感哈希(Locality Sensitive Hash)
hash
输入是任意数据,输出是固定长度的hash值。