为什么不是Redis?
验证完可行性,便到了搭建系统的环节。这里我有一点必须要分享,在搭建 ChatGPT 缓存系统时,Redis 并不是我们的首选。
个人而言,我很喜欢用 Redis,它性能出色又十分灵活,适用于各种应用。但是 Redis 使用键值数据模型是无法查询近似键的。
如果用户提出以下两个问题:
所有深度学习框架的优缺点是什么?告诉我有关 PyTorch vs. TensorFlow vs. JAX 的区别?
Redis 会将其定义为两个不同的问题。而事实上,这两个问题表达的是同一个意思。无论是通过缓存整个问题还是仅缓存由分词器生成的关键字,Redis 都无法命中查询。
而不同的单词在自然语言中可能具有相同的含义,深度学习模型更擅长处理语义。因此,