本系列视频来自百度工程效能部的前端研发经理杨经纬,她在由开源中国主办的“AI编程革新研发效能”OSC源创会·杭州站·105期线下沙龙活动上,从一款文心快码(Baidu Comate)前端工程师的角度,分享了关于智能研发工具本身的研发历程和理念。
以下视频是关于【智能代码助手需要什么】的观点3。
经纬说:
那除了推得准不准,用户其实很关心的一点还有推得快不快,这个就是性能方面的问题了。在性能方面编码过程是一个比较连续专注的过程,任何打断还有等待对于编码工程师来说都是负面反馈的,是不太可以接受的。有研究证明,推理速度每迈 100 毫秒,采纳率就会降低5%。另外在这个里面代码续写是性能的诉求是更加高的,所以我们在保证质量的前提下,要格外地去关注这个响应的速度。
在性能的方面我们也做了一系列的提升和处理。端的方面我们做了多级的缓存,还有像非阻塞性的任务会并行地去执行。另外在用户这个看能看到的部分,我们做了流式请求,还有流式展示,另外就是执行状态的显化,我们把一些中间的状态显化出来,能够有效地去减少用户等待的焦虑。