作业

基础作业

完成以下任务，并将实现过程记录截图：

• 配置 LMDeploy 运行环境: 书生·浦语大模型实战营Day05LMDeploy实践

• 以命令行方式与 InternLM2-Chat-1.8B 模型对话: 书生·浦语大模型实战营Day05LMDeploy实践

进阶作业

完成以下任务，并将实现过程记录截图：

• 设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。书生·浦语大模型实战营Day05LMDeploy实践
  

• 以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。书生·浦语大模型实战营Day05LMDeploy服务
  
  

• 使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。书生·浦语大模型实战营Day05LMDeploy服务

• 使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。书生·浦语大模型实战营Day05LMDeploy 高阶
  
  

• 将 LMDeploy Web Demo 部署到 OpenXLab 。