题目:Llmcad: Fast and scalable on-device large language model inference 发表于2023.09
链接:https://arxiv.org/pdf/2309.04255
声称是第一篇speculative decoding边缘设备的论文(不一定是绝对的第一篇),不开源…
poll也是一种linux中的多路转接方案(poll也是只负责IO过程中的"等")
解决:1.select的fd有上限的问题;2.每次调用都要重新设置关心的fd
一、poll的使用
int poll(struct pollfd *fds, nfds_t nfds, int timeout); ① struct pollfd *fds&…
s o r t sort sort函数表示排序,对向量和矩阵都成立
向量 s o r t ( a ) sort(a) sort(a)将向量 a a a中元素从小到大排序 s o r t ( a , ′ d e s c e n d ′ ) sort(a,descend) sort(a,′descend′)将向量 a a a中元素从大到小排序 [ s o r t a , i d ] s o r…