书生大模型实战营（1）——InterStudio基础知识+Vscode SSH连接远程服务器+Linux基础指令

news2024/9/23 3:14:44

参加书生.浦江大模型实战训练营，学习大模型知识和微调技术，所有课程免费，通过闯关的形式学习，也比较有趣。一起来了解LLM的世界。邀请链接

产品简介

InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持，为开发者提供开箱即用的大语言模型微调环境、工具、数据集，并完美兼容 🤗 HugginFace 开源生态。更多了解可通过官网文档了解。

基础知识

1、名词解释

1.云原生名词

        云原生 (Clould - Native)
  • 云原生应用程序通常借助容器、微服务架构、自动化、持续集成/持续交付（CI/CD）等现代技术和实践来提供更高的敏捷性、可靠性和可扩展性。
        (Docker) 容器
  • 在 InternStudio 中您使用的开发机就是一个 Docker 容器。容器中通常包含运行一个应用程序的依赖，并且实现了计算资源的隔离。
        (Docker) 镜像
  • Docker 镜像是容器的构建模块，可以理解为容器的运行环境。它是一个轻量级的、可执行的软件包，包括了软件所需的依赖项和配置文件。因此，docker 镜像非常适合应用为模型训练的开发环境，帮助用户进行敏捷的环境切换。

2.微调名词
        SFT (Supervised-Finetuning)

  • SFT 是有监督微调的缩写，通常用于针对特定任务或应用程序微调预训练（基座）的深度学习模型，如 BERT、GPT、或其他自然语言处理（NLP）或计算机视觉模型，从而通过更少量的数据，训练更少的参数以达到快速适配下游任务的效果。
        PEFT (Parameter-Efficient Finetuning)
  • 是伴随大模型兴起的一种参数友好型微调方法。与传统的全量微调模型参数、微调模型部分参数不同，PEFT 类型的微调方法具有参与训练参数数量少、对硬件资源依赖小且效果与传统微调方法相当的特点。Xtuner 库支持了目前使用的最主流 PEFT 方法：LORA、QLORA
        LORA (Low Rank Adaption of LLM)
  • 目前最主流的大模型微调方法之一，特点是将模型中的权重矩阵低秩分解，分解成2个参数量极小的矩阵来加入微调任务，而不微调模型本身。优势是：1. 训练所需显存极小 2. 部署灵活。
        Adapter
  • 伴随 PEFT 方法出现的名词。通常情况下，使用 PEFT 方法如 LORA，会训练出一个模型 Adapter，它区分于预训练模型本身，在部署时会作为模型的适配器共同部署，从而改变模型的推理结果。换句话说，PEFT 方法不会训练预训练模型本身，而是训练出一个 Adapter，从而使大模型的部署更加灵活。

关卡任务

1、InternStudio使用

第一步：登录InternStudio首页，首次登录要输入邀请码，填写了上面的邀请链接，会获得一份邀请码，进入首页页面如下：

之后按照相应的文本教程创建开发机,镜像选择cuda12.2，GPU选择10%的A100，点击立即创建。

点击加入开发机：

InternStudio界面的左上角有三个可选项，分别对应的是jupyter notebook，Terminal终端和vscode网页版，各自的界面都与对应应用的界面相似，有过了解的同学，对此应该不会感到陌生。

2、使用Vscode SSH连接远程服务器

接下来介绍使用本地IDE 的 SSH 功能远程连接开发机，这次本地IDE选择VS code

2.1什么是SSH？

SSH全称Secure Shell，中文翻译为安全外壳，它是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的网络服务。

有两种方式进行远程服务器连接，第一种是每次登录都是用密码，第二种是配置密钥登录，后续登录无需使用密码，先讲解第一种方式：


2.2.使用密码登录

在开发机界面点击使用SSH登录，将登录命令和密码分别复制到本地电脑的powershell中

输入密码的时候，是隐式输入所以确定粘贴一次就可以，直接回车。

输入nvidia-smi查看GPU的信息，hostname查看开发机名称，使用uname -a查看开发机内核信息，使用lsb_release -a查看开发机版本信息，想要退出远程连接，输入两次exit就可以。

2.3配置SSH密钥进行SSH远程连接

密码连接的方式，需要每次输出密码比较繁琐，可以设置SSH key跳过这步，使用ssh命令中的ssh-kengen命令生成密钥。

ssh-keygen支持RSA和DSA两种认证密钥。

常用参数包括：

  • -t：指定密钥类型，如dsa、ecdsa、ed25519、rsa。
  • -b：指定密钥长度。
  • -C：添加注释。
  • -f：指定保存密钥的文件名。
  • -i：读取未加密的ssh-v2兼容的私钥/公钥文件。

使用RSA算法生成密钥，命令为：ssh-keygen -t rsa，一路yes，enter即可，生成的密钥位于C盘~/.ssh/id_rsa.pub位置上。

在powerShell中可以使用Get-Content命令查看生成的密钥，如果是linux操作系统可以使用cat命令。也可以通过文本编辑器查看。

回到开发机平台，在首页点击配置SSH Key，接着点击添加SSH公钥，将powershell的密钥复制粘贴上去，名称可以自动生成。

完成SSH Key创建以后，重启终端进行远程连接，就会跳过密码输入这一步了。

2.4使用VScode进行SSH远程连接

这次主要使用VScode，所以使用VScode进行远程连接，VScode进行代码修改等操作时会非常方便。

安装VScode这里就不赘述，CSDN上很多，也很简单。

然后安装插件“SSH”，安装完成后，左侧会出现插件的图标，复制之前的SSH登录密码，点击SSH右边的+号，输入连接命令和密码进行连接，右下角会出现连接成功字样，表示连接成功。

然后在右下角弹出来的提示窗口中点击“连接”就可以远程到开发机中了。

3、端口映射

端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。

3.1端口映射作用

后面会进行模型web_demo的部署实践，那在这个过程中，很有可能遇到web ui加载不全的问题。这是因为开发机Web IDE中运行web_demo时，直接访问开发机内 http/https 服务可能会遇到代理问题，外网链接的ui资源没有被加载完全。

所以为了解决这个问题，我们需要对运行web_demo的连接进行端口映射，将外网链接映射到我们本地主机，我们使用本地连接访问，解决这个代理问题。

端口映射的工作原理：

个人PC会远程连接到开发机唯一暴露在外的37367端口，（这个在SSH的时候提到过每个人的开发机暴露的端口都不一样），并设置隧道选项。暴露端口是作为中转站进行流量的转发。

  • -C：启用压缩，减少传输数据量。
  • -N：不执行远程命令，只建立隧道。
  • -g：允许远程主机连接到本地转发的端口。

当在个人PC上执行这个SSH命令后，SSH客户端会在本地机器的7860端口上监听。

任何发送到本地7860端口的流量，都会被SSH隧道转发到远程服务器的127.0.0.1地址上的7860端口。

这意味着，即使开发机的这个端口没有直接暴露给外部网络，我们也可以通过这个隧道安全地访问远程服务器上的服务。

3.2端口映射方式

3.2.1 使用 ssh 命令进行端口映射

在开发机界面选择自定义服务

复制下面命令在本地终端运行：

ssh -p 37367 root@ssh.intern-ai.org.cn -CNg -L {本地机器_PORT}:127.0.0.1:{开发机_PORT} -o StrictHostKeyChecking=no
  • -p 37367：是指定 SSH 连接的端口为 37367，这个前面提到过。
  • root@ssh.intern-ai.org.cn：表示要以 root 用户身份连接到 ssh.intern-ai.org.cn 这个主机。
  • -CNg：
    • -C 通常用于启用压缩。
    • -N 表示不执行远程命令，仅建立连接用于端口转发等。
    • -g 允许远程主机连接到本地转发的端口。
  • -L {本地机器_PORT}:127.0.0.1:{开发机_PORT}：这是设置本地端口转发，将本地机器的指定端口（由 {本地机器_PORT} 表示）转发到远程主机（这里即 ssh.intern-ai.org.cn）的 127.0.0.1 （即本地回环地址）和指定的开发机端口（由 {开发机_PORT} 表示）。
  • -o StrictHostKeyChecking=no：关闭严格的主机密钥检查，这样可以避免第一次连接时因为未知主机密钥而产生的提示或错误。

（这个命令不返回任何的内容，这样代表端口映射在运行了，然后在网页中打开连接就可以看到web ui的界面了）

在开发机的terminal安装好gradio，pip install gradio==4.29.0，在VScode创建一个hello_world.py文件，在文件中填入以下内容，然后运行：

import socket
import re
import gradio as gr
 
# 获取主机名
def get_hostname():
    hostname = socket.gethostname()
    match = re.search(r'-(\d+)$', hostname)
    name = match.group(1)
    
    return name
 
# 创建 Gradio 界面
with gr.Blocks(gr.themes.Soft()) as demo:
    html_code = f"""
            <p align="center">
            <a href="https://intern-ai.org.cn/home">
                <img src="https://intern-ai.org.cn/assets/headerLogo-4ea34f23.svg" alt="Logo" width="20%" style="border-radius: 5px;">
            </a>
            </p>
            <h1 style="text-align: center;">☁️ Welcome {get_hostname()} user, welcome to the ShuSheng LLM Practical Camp Course!</h1>
            <h2 style="text-align: center;">😀 Let’s go on a journey through ShuSheng Island together.</h2>
            <p align="center">
                <a href="https://github.com/InternLM/Tutorial/blob/camp3">
                    <img src="https://oss.lingkongstudy.com.cn/blog/202406301604074.jpg" alt="Logo" width="20%" style="border-radius: 5px;">
                </a>
            </p>

            """
    gr.Markdown(html_code)

demo.launch()

会弹出的一个网址，点击网址打开网站。

成功

3.2.2 使用 vscode 进行端口映射

运行不同的web ui的话，需要重复输入命令，这样很麻烦，这就需要用到VScode了。前面我们已经SSH远程连接了开发机，VScode提供了自动端口映射的功能，我们不需要手动配置，我们可以使用“Ctrl+Shift+~”快捷键唤醒终端，在终端的右侧可以找到端口选项：

4、Linux介绍

Linux指令这里也不用赘述，CSDN上可详细查看，另外大佬博客点击。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2090755.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Android Handler消息机制完全解析(二)

Android Handler消息机制完全解析(二)

欢迎转载&#xff0c;转载请注明出处&#xff1a;https://blog.csdn.net/dmk877/article/details/141690289 在阅读本篇博客之前建议先阅读此篇 Android Handler消息机制完全解析(一) 在看Looper源码之前必须要理解ThreadLocal&#xff0c;ThreadLocal在Handler消息机制中起到…
阅读更多...
信息安全--（五）物理与环境安全技术（二）机房安全分析与防护

信息安全--（五）物理与环境安全技术（二）机房安全分析与防护

在使用本博客提供的学习笔记及相关内容时&#xff0c;请注意以下免责声明&#xff1a;信息准确性&#xff1a;本博客的内容是基于作者的个人理解和经验&#xff0c;尽力确保信息的准确性和时效性&#xff0c;但不保证所有信息都完全正确或最新。非专业建议&#xff1a;博客中的…
阅读更多...
FlowUs 小程序：开启高效之旅，订阅内容超精彩

FlowUs 小程序：开启高效之旅，订阅内容超精彩

一、丰富多样的订阅选择 FlowUs 小程序提供了极为丰富的订阅内容。无论你是对知识管理、项目管理感兴趣&#xff0c;还是专注于创意写作、时间规划&#xff0c;都能在这里找到适合自己的订阅选项。从专业的行业资讯到实用的技巧指南&#xff0c;从激发灵感的创意案例到深入的学…
阅读更多...
业务解耦-Spring事件监听的三种实现方式

业务解耦-Spring事件监听的三种实现方式

实现ApplicationListener 步骤如下&#xff1a; 1.写Event类&#xff0c;需要继承Spring的ApplicationEvent类 2.写监听类&#xff0c;需要实现Spring的ApplicationListener接口&#xff0c;加上Component注解 3.监听类实现onApplicationEvent方法 4.通过ApplicationContext.p…
阅读更多...
开放大世界的全局寻路

开放大世界的全局寻路

开放大世界的寻路一直是很困扰我的一个点&#xff0c;地图大、还是动态可变的&#xff0c;所以寻路会有很多要求。就我们项目来讲&#xff0c;有这几个要求&#xff1a; 能满足极大范围的地图&#xff1b; 地图寻路数据能实时构建&#xff0c;且重建代价很小&#xff1b; 寻路的…
阅读更多...
地质灾害监测预警系统的作用

地质灾害监测预警系统的作用

在地球的广阔舞台上&#xff0c;自然灾害如同不可预测的演员&#xff0c;时常上演着惊心动魄的剧目。地震的震撼、滑坡的肆虐、泥石流的咆哮&#xff0c;这些地质灾害不仅给人类生命财产带来巨大威胁&#xff0c;也考验着社会的防灾减灾能力。为了应对这一挑战&#xff0c;地质…
阅读更多...
【Linux】在 bash shell 环境下，当一命令正在执行时，按下 control-Z 会？

【Linux】在 bash shell 环境下，当一命令正在执行时，按下 control-Z 会？

目录 题目分析答案 题目 分析 ctrl-c&#xff1a; 发送 SIGINT 信号给前台进程组中的所有进程。常用于终止正在运行的程序&#xff1b;ctrl-z&#xff1a; 发送 SIGTSTP信号给前台进程组中的所有进程&#xff0c;常用于挂起一个进程&#xff1b;ctrl-d&#xff1a; 不是发送信…
阅读更多...
乐城堡 JoyCastle Unity岗位笔试题

乐城堡 JoyCastle Unity岗位笔试题

1)实现 move(GameObjct gameObject, Vector3 begin, Vector3 end, float time, bool pingpong){ } 使 gameObject 在 time 秒内&#xff0c;从 begin 移动到 end&#xff0c;若 pingpong 为 true&#xff0c;则在结束时 使 gameObject 在 time 秒内从 end 移动到 begin&#xf…
阅读更多...
机器学习中的增量学习（Incremental Learning，IL）策略是什么？

机器学习中的增量学习（Incremental Learning，IL）策略是什么？

机器学习中的增量学习&#xff08;Incremental Learning&#xff0c;IL&#xff09;策略是什么&#xff1f; 在当今快速发展的数据驱动世界中&#xff0c;传统的静态机器学习模型逐渐显露出局限性。随着数据量的增长和分布的变化&#xff0c;模型需要不断更新&#xff0c;以保…
阅读更多...
opc da 服务器数据 转IEC61850项目案例

opc da 服务器数据 转IEC61850项目案例

目录 1 案例说明 1 2 VFBOX网关工作原理 1 3 应用条件 2 4 查看OPC DA服务器的相关参数 2 5 配置网关采集opc da数据 4 6 用IEC61850协议转发数据 6 7 网关使用多个逻辑设备和逻辑节点的方法 9 8 在服务器上运行仰科OPC DA采集软件 10 9 案例总结 12 1 案例说明 在OPC DA服务…
阅读更多...
使用 Vue3 Element Plus 实现el-table中的特定单元格编辑，下拉选择等

使用 Vue3 Element Plus 实现el-table中的特定单元格编辑，下拉选择等

效果预览 完整代码（后面有解析） <template><div style="display: flex;align-items: center;justify-co
阅读更多...
磁性齿轮箱市场报告：前三大厂商占有大约79.0%的市场份额

磁性齿轮箱市场报告：前三大厂商占有大约79.0%的市场份额

磁性齿轮箱是一种用于扭矩和速度转换的非接触式机构。它们无磨损、无摩擦、无疲劳。它们不需要润滑剂&#xff0c;并且可以针对其他机械特性&#xff08;如刚度或阻尼&#xff09;进行定制。 一、全球磁性齿轮箱行业现状与洞察 据 QYResearch 调研团队最新发布的“全球磁性齿轮…
阅读更多...
成都高温限电：当电动汽车「无电可充」

成都高温限电：当电动汽车「无电可充」

8月末的成都&#xff0c;因为高温限电了。 近几日&#xff0c;成都市气象台连续发布了高温红色预警信号。据新华社报道&#xff0c;8月21日&#xff0c;四川电网用电负荷两次创下历史新高&#xff0c;最高达6797万千瓦&#xff0c;较去年最大用电负荷增长近13%&#xff0c;电力…
阅读更多...
Golang | Leetcode Golang题解之第385题迷你语法分析器

Golang | Leetcode Golang题解之第385题迷你语法分析器

题目&#xff1a; 题解&#xff1a; func deserialize(s string) *NestedInteger {index : 0var dfs func() *NestedIntegerdfs func() *NestedInteger {ni : &NestedInteger{}if s[index] [ {indexfor s[index] ! ] {ni.Add(*dfs())if s[index] , {index}}indexreturn…
阅读更多...
HarmonyOS鸿蒙开发：在线短视频流畅切换最佳实践

HarmonyOS鸿蒙开发：在线短视频流畅切换最佳实践

简介 为了帮助开发者解决在应用中在线短视频快速切换时容易出现快速切换播放时延过长的问题&#xff0c;将提供对应场景的解决方案。 该解决方案使用&#xff1a; 视频播放框架AVPlayer和滑块视图容器Swiper进行短视频滑动轮播切换。绘制组件XComponent的Surface类型动态渲染…
阅读更多...
挂载5T大容量外接硬盘到ubuntu

挂载5T大容量外接硬盘到ubuntu

挂载5T大容量外接硬盘到ubuntu S1&#xff1a;查看硬盘 使用 $ sudo fdisk -l找到对应盘&#xff0c;例如下图所示 /dev/sdc S2: 创建分区 使用 $ sudo fdisk /dev/sdc对上硬盘进行创建分区&#xff1b;可以依次使用以下指令 m &#xff1a;查看命令&#xff1b; g &…
阅读更多...
前端篇-html

前端篇-html

day1: 超文本标记语言&#xff08;英语&#xff1a;HyperText Markup Language&#xff0c;简称&#xff1a;HTML&#xff09;是一种用于创建网页的标准标记语言。 作用&#xff1a;可以使用 HTML 来建立自己的 WEB 站点&#xff0c;HTML 运行在浏览器上&#xff0c;由浏览器…
阅读更多...
基于贝叶斯优化CNN-LSTM网络的数据分类识别算法matlab仿真

基于贝叶斯优化CNN-LSTM网络的数据分类识别算法matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 4.1 卷积神经网络&#xff08;CNN&#xff09; 4.2 长短期记忆网络&#xff08;LSTM&#xff09; 4.3 BO-CNN-LSTM 5.算法完整程序工程 1.算法运行效果图预览 (完整程序运行后无水印) B…
阅读更多...
基于物联网的低成本便携式传感器节点用于火灾和空气污染的检测与报警

基于物联网的低成本便携式传感器节点用于火灾和空气污染的检测与报警

目录 摘要 引言 材料和方法 传感器节点 IoT 微控制器 颗粒物传感器 环境和气体传感器 MQTT代理 Node-Red监控平台 系统结构 数据存储 工作描述 实验结果 讨论 结论 致谢 参考文献 这篇论文的标题是《Low-cost IoT-based Portable Sensor Node for Fire and Air…
阅读更多...
区块链媒体套餐发稿：世媒讯引领项目推广新风潮

区块链媒体套餐发稿：世媒讯引领项目推广新风潮

在区块链技术迅猛发展的今天&#xff0c;越来越多的企业和项目涌现出来&#xff0c;希望通过区块链技术改变传统行业&#xff0c;并在全球范围内获得更多关注和支持。然而&#xff0c;在这个竞争激烈的市场中&#xff0c;如何快速有效地推广和传播项目变得尤为重要。选择合适的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023