dockerfile制作-pytoch+深度学习环境版

news2024/11/28 20:39:40

你好你好！
以下内容仅为当前认识，可能有不足之处，欢迎讨论！

文章目录

    • 文档内容
    • docker相关术语
    • docker常用命令
    • 容器常用命令
    • 根据dockerfile创建容器
      • dokerfile文件内容
    • docker问题：
      • 可能的原因和解决方法
      • 示例修改
        • 修改后的Dockerfile示例：
        • start.sh脚本示例：
      • 可能的原因和解决方法
        • 原因1：预安装的Python不存在
        • 原因2：安装Python 3.7后不需要手动更新pip
      • 修改后的Dockerfile示例
        • ④默认启动为Ubuntu
    • 在开始学习时自己的问题
    • 相关资料

文档内容

分为docker是什么，docker有哪些常用命令，docker制作过程，docker制作过程中出现的问题。

资料路线推荐：①黑马程序员；②相关知乎介绍；③该文档。

①黑马程序员：大致看几节课，了解是什么东西。以及对应文字笔记。

②相关知乎介绍：别人的安装过程。参考1结合参考2，参考3选看。看几篇了解过程后再构建就行。

其他相关链接：

  • 基于docker的深度学习-入门
  • 基于docker的深度学习环境-Windows
  • 从硬件到软件起步搭建深度学习环境-Docker+conda+pytorch+ssh+vscode
  • 2023完整版-深度学习环境在docker上搭建

③该文档：调整合适的python版本，基础镜像版本，requirements文件中的pip包。

docker相关术语

docker这项技术，包括专业术语（目前我遇到的用到的）有：镜像，容器，SSH，ubuntu，cudatoolkit，/devel，

镜像可以看作类，容器看作实例 | 对象。这两个概念与python/java/c++中的类对象一致。

SSH—这个没理解，百度的话自己看吧……

Ubuntu系统——简单理解，运行起来快。

cudatoolkit——能够跑深度学习的环境。

devel——通过添加编译器工具链、调试工具、头文件和静态库来扩展运行时映像。

runtime——通过添加cuda工具包中的所有共享库扩展基本映像。

base——从cuda9.0开始，包含部署预构建cuda应用程序的最低限度。

docker的英文翻译为码头工人。我理解为一种技术。这个工人包括运行深度学习模型的所有技能（环境），所以，现在如果自己是女娲，自己要根据不同的深度学习环境来造出不同的"人"——docker镜像。

docker常用命令

  • 查看镜像有多少docker images

  • 对镜像进行更名docker tag 原镜像:原tag 目标仓库/目标镜像:目标-tag

  • 通过dockerfile新建一个镜像：dockerbuild -t 仓库名/镜像名:tag名

  • 保存镜像：docker save -o 保存文件名称.后缀（一般用tar） 仓库名/镜像名:tag

  • 加载他人的镜像：docker load -i 导入的文件

容器常用命令

根据已有镜像创建对应容器：docker run --it --gpus all --name 容器名 仓库名/镜像名：tag名

参数说明：

--it，交互式地启动容器。

--gpus，gpu数量为多少，我只用过all。

--name，指定容器名称。

根据dockerfile创建容器

我的是Windows系统，安装了wsl虚拟子系统——Ubuntu18.04LTS。

使用设置默认命令后，在wsl中输出即可进入Ubuntu子系统。由于我之前就进入了mnt文件夹，所以直接显示如此。另外，mnt文件夹是Windows系统的文件目录，所以要创建docker镜像，直接进入dockerfile文件夹中即可。

image-20240401210442689

注意，如果Windows系统可以在命令行中运行nvidia-smi，那子系统就不需要安装cudatoolkit，否则徒增空间。

dokerfile文件内容

内容包括cudatoolkit，Ubuntu系统，jupyter，ssh相关服务，requirements.txt包，senteval

from nvidia/cuda:11.0.3-cudnn8-devel-ubuntu18.04

# 安装ssh相关组件

RUN apt-get clean && apt-get update && \
    apt-get install -y openssh-client openssh-server && \
    ssh-keygen -A && \
    cat /etc/ssh/ssh_config | grep -v StrictHostKeyChecking > /etc/ssh/ssh_config.new && \
    echo "    StrictHostKeyChecking no" >> /etc/ssh/ssh_config.new && \
    mv -f /etc/ssh/ssh_config.new /etc/ssh/ssh_config && \
    cat /etc/ssh/sshd_config | grep -v PermitRootLogin > /etc/ssh/sshd_config.new && \
    echo "PermitRootLogin yes" >> /etc/ssh/sshd_config.new && \
    mv -f /etc/ssh/sshd_config.new /etc/ssh/sshd_config

COPY start.sh /start.sh
RUN chmod +x /start.sh
CMD ["/start.sh"]

# 升级apt-get
RUN apt-get update && apt-get install -y --no-install-recommends apt-utils

# 下载依赖并安装所有依赖
RUN apt-get install -y build-essential libncurses5-dev libgdbm-dev libnss3-dev \
    libssl-dev libreadline-dev libffi-dev zlib1g-dev libsqlite3-dev
    
    
# 下载并安装Python3.7
WORKDIR /home/inspur/image_components/python

RUN if [ -e /usr/bin/python ]; then rm /usr/bin/python; fi && \
    ln -s /usr/local/bin/python3.7 /usr/bin/python

RUN apt-get update && \
    apt-get install -y wget build-essential libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev libffi-dev && \
    wget https://www.python.org/ftp/python/3.7.12/Python-3.7.12.tgz && \
    tar -zxvf Python-3.7.12.tgz && \
    cd Python-3.7.12 && \
    ./configure --enable-optimizations && \
    make -j $(nproc) && \
    make altinstall && \
    ln -sf /usr/local/bin/python3.7 /usr/bin/python && \
    /usr/local/bin/python3.7 -m pip install --upgrade pip


# 将SentEval文件夹复制到镜像中
COPY SentEval /app/SentEval

# 切换到SentEval目录并安装
WORKDIR /app/SentEval
RUN python setup.py install


# 安装Jupyter
RUN pip install jupyterlab==3.2.5

# 配置Jupyter
WORKDIR /home/inspur/image_components/jupyter_configure
RUN wget https://raw.githubusercontent.com/Winowang/jupyter_gpu/master/jupyter_notebook_config.py && \
    wget https://raw.githubusercontent.com/Winowang/jupyter_gpu/master/custom.js && \
    mkdir /etc/jupyter && \
    cp -rf /home/inspur/image_components/jupyter_configure/* /etc/jupyter
    

# 设置工作目录
WORKDIR /app

# 复制 requirements.txt 到容器内
COPY requirements.txt .

# 安装 Python 包
RUN pip install --no-cache-dir -r requirements.txt


# 可以在此执行更多的配置或安装步骤

解析下这个dockerfile做了什么。

第1行，需要看清楚自己的cuda&torch版本，这个GitHub较为详细。可以参考。找好后，在docker官网找到对应tag下载Ubuntu+cudatoolkit基础环境。

第3-17行，安装ssh及其服务。

第19-42行，就是下载安装python。

第45-50行，因为这个包没办法通过requirements.txt下载，只能离线下载，所以这是我额外的操作，如果没有这个要求可以忽略。

第53-61行，安装jupyter，看服务器环境，我的平台上没有，所以需要安装jupyter及其服务。

第65-71行，安装特定深度学习环境下的python包。也可以离线安装——把torch-wheel包放在dockerfile目录下，用离线安装命令就可以。

dockerfile编写好后，直接进入wls的Linux窗口，有个mnt的文件夹，是本地电脑的目录。就能够通过build命令本地文件安装镜像了。

执行docker build -t {images-name} . 就可以了，如下：

image-20240330214244532

docker问题：

遇到问题：

①ssh配置问题

原来的dockerfile文件内容是：

# 安装ssh相关组件
RUN apt-clean && apt-get update && \
    apt-get install -y openssh-client openssh-server && \
    ssh-keygen -A && \
    cat /etc/ssh/ssh_config | grep -v StrictHostKeyChecking > /etc/ssh/ssh_config.new && \
    echo "    StrictHostKeyChecking no" >> /etc/ssh/ssh_config.new && \
    mv -f /etc/ssh/ssh_config.new /etc/ssh/ssh_config && \
    cat /etc/ssh/sshd_config | grep -v PermitRootLogin > /etc/ssh/sshd_config.new && \
    echo "PermitRootLogin yes" >> /etc/ssh/sshd_config.new && \
    mv -f /etc/ssh/sshd_config.new /etc/ssh/sshd_config && \
    /usr/sbin/sshd

报错为：

dockerfile:4
--------------------
   3 |     # 安装ssh相关组件
   4 | >>> RUN apt-get clean && apt-get update && \
   5 | >>>     apt-get install -y openssh-client openssh-server && \
   6 | >>>     ssh-keygen -A && \
   7 | >>>     cat /etc/ssh/ssh_config | grep -v StrictHostKeyChecking > /etc/ssh/ssh_config.new && \
   8 | >>>     echo "    StrictHostKeyChecking no" >> /etc/ssh/ssh_config.new && \
   9 | >>>     mv -f /etc/ssh/ssh_config.new /etc/ssh/ssh_config && \
  10 | >>>     cat /etc/ssh/sshd_config | grep -v PermitRootLogin > /etc/ssh/sshd_config.new && \
  11 | >>>     echo "PermitRootLogin yes" >> /etc/ssh/sshd_config.new && \
  12 | >>>     mv -f /etc/ssh/sshd_config.new /etc/ssh/sshd_config && \
  13 | >>>     /usr/sbin/sshd
  14 |
--------------------
ERROR: failed to solve: 
process "/bin/sh -c apt-get clean && apt-get update &&     apt-get install -y openssh-client openssh-server &&     ssh-keygen -A &&     cat /etc/ssh/ssh_config | grep -v StrictHostKeyChecking > /etc/ssh/ssh_config.new &&     echo \"    StrictHostKeyChecking no\" >> /etc/ssh/ssh_config.new &&     mv -f /etc/ssh/ssh_config.new /etc/ssh/ssh_config &&     cat /etc/ssh/sshd_config | grep -v PermitRootLogin > /etc/ssh/sshd_config.new &&     echo \"PermitRootLogin yes\" >> /etc/ssh/sshd_config.new &&     mv -f /etc/ssh/sshd_config.new /etc/ssh/sshd_config &&     /usr/sbin/sshd" 
did not complete successfully: exit code: 255

这个问题我是真看不懂，所以直接问GPT了……给出的问题以及解决方法如下：

出现此错误表明在执行RUN指令时遇到了问题，导致整个命令未能成功完成。这个错误可能由多种原因引起，但考虑到错误消息中提及的内容，我们可以针对性地分析几个可能的原因和解决方法：

可能的原因和解决方法

  1. SSH服务不能在Docker构建过程中启动： 在Dockerfile的构建过程中直接启动sshd服务（使用/usr/sbin/sshd命令）可能会失败，因为Docker构建过程不支持后台服务运行。构建过程主要用于设置环境和安装依赖，而不是运行服务。

    解决方法：不要在构建过程中启动sshd服务。相反，配置一个入口脚本，该脚本在容器启动时执行必要的初始化操作（如生成SSH密钥和启动sshd服务）。然后，使用CMD或ENTRYPOINT指令在Dockerfile的末尾调用这个脚本。

  2. 引用错误： 错误提示中显示的双引号被转义（\"），这可能是由于在Dockerfile或者某些编辑器中不正确地处理引号所导致的。

    解决方法：确保使用正确的引号，不需要在Dockerfile中额外转义双引号。

  3. 权限问题： 直接执行/usr/sbin/sshd可能由于权限不足而失败。

    解决方法：确保容器具有执行所需操作的权限。一种常见做法是使用USER指令切换到合适的用户，或者确保容器以足够权限运行相关命令。

示例修改

为了解决这个问题，您可以将启动SSH服务的部分移除出构建过程，改为在容器启动时执行。以下是修改后的一部分Dockerfile示例和一个入口脚本示例：

修改后的Dockerfile示例：
DockerfileCopy code...
RUN apt-get clean && apt-get update && \
    apt-get install -y openssh-client openssh-server && \
    ssh-keygen -A && \
    cat /etc/ssh/ssh_config | grep -v StrictHostKeyChecking > /etc/ssh/ssh_config.new && \
    echo "    StrictHostKeyChecking no" >> /etc/ssh/ssh_config.new && \
    mv -f /etc/ssh/ssh_config.new /etc/ssh/ssh_config && \
    cat /etc/ssh/sshd_config | grep -v PermitRootLogin > /etc/ssh/sshd_config.new && \
    echo "PermitRootLogin yes" >> /etc/ssh/sshd_config.new && \
    mv -f /etc/ssh/sshd_config.new /etc/ssh/sshd_config

COPY start.sh /start.sh
RUN chmod +x /start.sh
CMD ["/start.sh"]
start.sh脚本示例：
bashCopy code#!/bin/bash

# 启动SSH服务
/usr/sbin/sshd -D

确保start.sh脚本在Docker容器的文件系统中的适当位置，且具有执行权限（如示例中所示）。这样，当容器启动时，它将执行start.sh脚本，该脚本负责启动SSH服务。

通过这种方式，您可以避免在构建过程中直接启动服务的问题，同时确保容器启动后服务正常运行。

②python安装包问题

报错为：

1517.0 Looking in links: /tmp/tmpfu9f5ef7
1517.0 Processing /tmp/tmpfu9f5ef7/setuptools-47.1.0-py3-none-any.whl
1517.0 Processing /tmp/tmpfu9f5ef7/pip-20.1.1-py2.py3-none-any.whl
1517.1 Installing collected packages: setuptools, pip
1517.9 Successfully installed pip-20.1.1 setuptools-47.1.0
1517.9 rm: cannot remove '/usr/bin/python': No such file or directory
------
dockerfile:30
--------------------
  29 |     WORKDIR /home/inspur/image_components/python
  30 | >>> RUN apt-get update && \
  31 | >>>     apt-get install -y wget build-essential libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev libffi-dev && \
  32 | >>>     wget https://www.python.org/ftp/python/3.7.12/Python-3.7.12.tgz && \
  33 | >>>     tar -zxvf Python-3.7.12.tgz && \
  34 | >>>     cd Python-3.7.12 && \
  35 | >>>     ./configure --enable-optimizations && \
  36 | >>>     make -j $(nproc) && \
  37 | >>>     make altinstall && \
  38 | >>>     rm /usr/bin/python && \
  39 | >>>     ln -s /usr/local/bin/python3.7 /usr/bin/python && \
  40 | >>>     ln -s /usr/local/bin/pip3 /usr/bin/pip && \
  41 | >>>     wget https://bootstrap.pypa.io/get-pip.py && \
  42 | >>>     python3.7 get-pip.py
  43 |
--------------------
ERROR: failed to solve: process "/bin/sh -c apt-get update &&     apt-get install -y wget build-essential libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev libffi-dev &&     wget https://www.python.org/ftp/python/3.7.12/Python-3.7.12.tgz &&     tar -zxvf Python-3.7.12.tgz &&     cd Python-3.7.12 &&     ./configure --enable-optimizations &&     make -j $(nproc) &&     make altinstall &&     rm /usr/bin/python &&     ln -s /usr/local/bin/python3.7 /usr/bin/python &&     ln -s /usr/local/bin/pip3 /usr/bin/pip &&     wget https://bootstrap.pypa.io/get-pip.py &&     python3.7 get-pip.py" did not complete successfully: exit code: 1

可以看到在第6行，显示没有该文件或文件夹，对应到dockerfile中为第38行rm /usr/bin/python，询问GPT，给的原因分析为：

错误提示显示，在尝试删除/usr/bin/python时遇到问题，因为没有找到这个文件。这个问题发生在您尝试安装Python 3.7、移除现有的Python链接并创建新链接到安装的Python 3.7版本的过程中。这个错误可能意味着在尝试删除/usr/bin/python之前，该文件并不存在。

可能的原因和解决方法

原因1：预安装的Python不存在

在某些基于Ubuntu的镜像中，/usr/bin/python可能默认不存在，尤其是在一些更新的Ubuntu版本中（如18.04及以上），它们可能不包含Python 2，而是包含Python 3，且命名为python3。

解决方法：在尝试删除/usr/bin/python之前，先检查该文件是否存在。如果目的是确保python命令指向Python 3.7，可以改用更安全的方法来创建链接，只在文件存在时才删除它。例如：

DockerfileCopy codeRUN if [ -e /usr/bin/python ]; then rm /usr/bin/python; fi && \
    ln -s /usr/local/bin/python3.7 /usr/bin/python

或者，简化这个过程，直接创建一个新链接，如果旧的链接不存在，这个命令也不会出错：

DockerfileCopy code
RUN ln -sf /usr/local/bin/python3.7 /usr/bin/python
原因2：安装Python 3.7后不需要手动更新pip

安装Python 3.7时使用make altinstall避免覆盖默认的python命令，这是推荐的做法。但之后的步骤尝试手动更新pip可能是不必要的，因为altinstall安装的Python版本已包含了pip（假设是较新的Python版本）。

解决方法：可以省略手动安装pip的步骤，因为每个Python安装通常都会包含pip。如果确实需要更新pip，可以考虑使用Python自带的pip来更新：

DockerfileCopy code
RUN /usr/local/bin/python3.7 -m pip install --upgrade pip

修改后的Dockerfile示例

结合以上建议，修改相关部分如下：

DockerfileCopy codeRUN apt-get update && \
    apt-get install -y wget build-essential libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev libffi-dev && \
    wget https://www.python.org/ftp/python/3.7.12/Python-3.7.12.tgz && \
    tar -zxvf Python-3.7.12.tgz && \
    cd Python-3.7.12 && \
    ./configure --enable-optimizations && \
    make -j $(nproc) && \
    make altinstall && \
    ln -sf /usr/local/bin/python3.7 /usr/bin/python && \
    /usr/local/bin/python3.7 -m pip install --upgrade pip

这样修改后，应该能够解决构建过程中遇到的错误，并确保Python 3.7成功安装且python命令链接到正确的Python版本。

可以看到，第9-10行替换为原来的38-41行。原先命令的意思是：

修改后命令的意思是：

③nvidia-smi无法识别。导致torch无法使用。

启动命令不正确，需要加上--gpus all的参数创建容器。启动容器后，就可以正常执行nvidia-smi的命令，打开python后，torch.cuda.is_available()的命令也能显示true。

④默认启动为Ubuntu

使用wsl -d Ubuntu可以进入虚拟环境中。通过管理员权限在powershell中可以设置将wsl2的默认系统设置为Ubuntu：wslconfig /setdefault Ubuntu。

在开始学习时自己的问题

Windows下的Ubuntu和docker是什么关系？因为在Ubuntu中没法使用docker命令。

😵问题：如何下载指定版本的包？下载指定版本的包下载错了怎么办？目录是哪里的目录？入口需要写什么？

可以通过深度学习环境先导出requirements.txt，再加入到dockerfile同一目录中，在dockerfile中pip安装。

😵如何下载指定的包？

①在创建镜像时，就声明需要下载哪些包及其对应版本。本文档中的dockefile就是该操作。

②在原有镜像基础上，生成容器后，在容器中下载包，下载完成后将其打包成新的镜像。需要额外操作。

😵下载指定版本的包错了怎么办？

用本地文件导入试试。以及pypi.org找到指定包。

😵目录是哪里的目录？

Ubuntu可以直接在mnt目录下进入本地目录。

😵入口需要写什么？

这个没找到……答案

相关资料

  • cudnn+torch对应版本

  • Ubuntu+cudatoolkit基础镜像

  • wsl镜像迁移

  • Ubuntu查看系统版本

  • 查看Windows安装了哪些wsl子系统

  • 将docker上传至hub

以上是我的学习笔记，希望对你有所帮助！
如有不当之处欢迎指出！谢谢！

学吧，学无止境，太深了

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1562379.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

谷粒商城——通过接口幂等性防止重复提交订单

谷粒商城——通过接口幂等性防止重复提交订单

如果用户向后端服务提交多次相同订单的提交服务，那么后端应该只生成一条订单记录。 有一些操作天然是幂等的，如查询操作和删除操作等。 幂等性实现 1.token机制（仅这个方法适用于订单的重复提交） 后端先生成1个令牌将其记录在R…
阅读更多...
MATLAB绘制堆叠填充图--巧用句柄

MATLAB绘制堆叠填充图--巧用句柄

MATLAB绘制堆叠填充图–巧用句柄 目录 MATLAB绘制堆叠填充图--巧用句柄1. 主要原理讲解1.1 主要函数1.2 句柄原理 2. 绘图示例2.1 准备数据2.2 绘制堆叠填充图-使用句柄控制图形属性2.3 设置填充颜色和样式2.4 添加标题和标签2.5 绘图效果 3. 结语 堆叠填充图是一种常见的数据可…
阅读更多...
【2024年5月备考新增】《2024高项论文精华版（3）考试技巧》

【2024年5月备考新增】《2024高项论文精华版（3）考试技巧》

3 考试技巧 3.1 考试难度 考试难度上，越是常见的题目、越是被大家预测的题目，阅卷就会更严格。 越是大家猜测不到的，越是小众的题目，阅卷严格程度就会低。 3.2 技巧 1、记住软考论文的目的，不是为了证明你的格式严谨…
阅读更多...
中科驭数超低时延网络解决方案入选2023年度金融信创优秀解决方案

中科驭数超低时延网络解决方案入选2023年度金融信创优秀解决方案

近日，由中国人民银行领导、中国金融电子化集团有限公司牵头组建的金融信创生态实验室发布「2023年度第三期金融信创优秀解决方案」，中科驭数超低时延网络解决方案从众多方案中脱颖而出，成功入选，代表了该方案的技术创新和金融实践…
阅读更多...
使用plasmo开发浏览器插件在网页指定位置添加自定义UI

使用plasmo开发浏览器插件在网页指定位置添加自定义UI

使用plasmo开发浏览器插件的时候，有时候需要在指定网站的指定页面添加自定义的UI内容，如果通过content.js内容脚本去通过js创建的话，可就太麻烦了，要写不少的js代码。不过plasmo已经帮我们实现了这个功能，就是Content …
阅读更多...
安全防御产品—锐安盾重磅上线，助力更安全、更流畅的业务体验

安全防御产品—锐安盾重磅上线，助力更安全、更流畅的业务体验

在互联网时代，互联网技术蓬勃发展，然而，随之而来的网络安全问题也备受关注。诸如DDoS攻击、CC攻击、常见Web攻击等攻击手段突如其来，导致企业业务中断，严重影响企业业务正常运行。对此，锐成云重磅推出安全防…
阅读更多...
分布式全闪占比剧增 152%，2023 年企业存储市场报告发布

分布式全闪占比剧增 152%，2023 年企业存储市场报告发布

近日，IDC 发布了 2023 年度的中国存储市场报告。根据该报告，在 2023 年软件定义存储的市场占比进一步扩大，分布式全闪的增长尤其亮眼，其市场份额从 2022 年的 7% 剧增到 2023 年的 17.7%，增长了 152%。 01 中国企业存…
阅读更多...
提升LLM效果的几种简单方法

提升LLM效果的几种简单方法

其实这个文章想写很久了，最近一直在做大模型相关的产品，经过和团队成员一段时间的摸索，对大模型知识库做一下相关的认知和总结。希望最终形成一个系列。 对于知识库问答，现在有两种方案，一种基于llamaindex&#xff0…
阅读更多...
绝地求生：[更新周报] 4/3 不停机更新：无上新、众多物品和活动即将下架！

绝地求生：[更新周报] 4/3 不停机更新：无上新、众多物品和活动即将下架！

大家好，我闲游盒；本周三4月3号，绝地求生不会有停机时间，大家可以随便玩~ ▲本周可选地图池 亚服/东南亚服：艾伦格、荣都、萨诺、米拉玛、帕拉莫； 日服/韩服KAKAO服：艾伦格、泰戈、萨诺、荣都、…
阅读更多...
​港中文提出CLongEval中文基准测试集，准确评估大模型长上下文能力

​港中文提出CLongEval中文基准测试集，准确评估大模型长上下文能力

论文题目： ClongEval: A Chinese Benchmark for Evaluating Long-Context Large Language Models 论文地址： https://arxiv.org/abs/2403.03514 代码地址： https://github.com/zexuanqiu/CLongEval 研究背景和贡献 为了使 LLM 能够支持更复杂…
阅读更多...
STM32学习笔记（9_2）- USART串口外设

STM32学习笔记（9_2）- USART串口外设

无人问津也好，技不如人也罢，都应静下心来，去做该做的事。 最近在学STM32，所以也开贴记录一下主要内容，省的过目即忘。视频教程为江科大（改名江协科技），网站jiangxiekeji.com 在STM3…
阅读更多...
ES-7.12-官网阅读-ILM-自定义内置ILM策略

ES-7.12-官网阅读-ILM-自定义内置ILM策略

官网地址：Tutorial: Customize built-in ILM policies | Elasticsearch Guide [7.12] | Elastic 教程：自定义内置ILM策略（Customize built-in ILM policies） Elasticsearch包含如下内建ILM 策略： logs（日…
阅读更多...
【项目技术介绍篇】若依项目代码文件结构介绍

【项目技术介绍篇】若依项目代码文件结构介绍

作者介绍：本人笔名姑苏老陈，从事JAVA开发工作十多年了，带过大学刚毕业的实习生，也带过技术团队。最近有个朋友的表弟，马上要大学毕业了，想从事JAVA开发工作，但不知道从何处入手。于是&#xff0…
阅读更多...
数据可视化高级技术(Echarts)

数据可视化高级技术(Echarts)

目录 （一）数据可视化概念及Echarts基础知识 数据可视化的好处： 数据可视化的目标 数据可视化的基本流程 （二）数据图表 类别比较图表： 数据关系图表： 数据分布图表： 时间序列…
阅读更多...
增加网站搜索引擎排名的6个准则

增加网站搜索引擎排名的6个准则

怎样提高网站排名首页 在竞争激烈的网络世界中，网站的排名对于吸引流量和提升曝光至关重要。登上搜索引擎结果页面的首页，意味着更多的曝光和点击率。以下是一些方法，可以帮助您提高网站在搜索引擎中的排名，让其跻身首页&#xf…
阅读更多...
基于STC12C5A60S2系列1T 8051单片机的数码管显示IIC总线器件AT24C02记录单片机上电次数应用

基于STC12C5A60S2系列1T 8051单片机的数码管显示IIC总线器件AT24C02记录单片机上电次数应用

基于STC12C5A60S2系列1T 8051单片机的数码管显示IIC总线器件AT24C02记录单片机上电次数应用 STC12C5A60S2系列1T 8051单片机管脚图STC12C5A60S2系列1T 8051单片机I/O口各种不同工作模式及配置STC12C5A60S2系列1T 8051单片机I/O口各种不同工作模式介绍液晶显示器LCD1602简单介绍…
阅读更多...
Vmware虚拟机远程SSH连接失效解决方法及分析过程

Vmware虚拟机远程SSH连接失效解决方法及分析过程

问题描述 系统为CentOS7 64位 一向能够正常连接 在某次使用FinalShell进行远程SSH连接时 突然无法连接 对问题原因猜测及尝试 1.dns解析失效 发现显示DNS无法解析,可以得知是使用了主机名登录,而主机名无法登录. 遂查看host文件.host文件因不知名原因被清空,重新恢复后该问…
阅读更多...
每天五分钟计算机视觉：如何基于滑动窗口技术完成目标的检测？

每天五分钟计算机视觉：如何基于滑动窗口技术完成目标的检测？

汽车检测算法 现在我们想要构建一个汽车检测算法，我们希望输入到算法中一张图片，算法就可以帮助我们检测出这张图片中是否有汽车。 数据集 首先创建一个标签训练集，x是样本，y是标签。我们的训练集最好是被剪切过的图片，剪掉汽车以外的部分，使汽车居于中间位置，就是整张…
阅读更多...
学习transformer模型-broadcast广播的简明介绍

学习transformer模型-broadcast广播的简明介绍

broadcast的定义和目的： 广播发生在将较小的张量“拉伸”以具有与较大张量兼容的形状，以便执行操作时。 广播是一种有效执行张量操作而不创建重复数据的方式。 广播的处理过程： 1， 确定最右边的维度是否兼容 每…
阅读更多...
视觉信息处理与FPGA实现第八次作业——verilog实现对比度调节

视觉信息处理与FPGA实现第八次作业——verilog实现对比度调节

一、查看灰度图的数据格式 1.1 安装HxD HxD下载链接：https://download.csdn.net/download/weixin_44357071/89045331 解压直接打开exe就能使用。 将需要查看二进制数据的图片拖到软件框里就能读取 1.2 找到bmp图像的图片点阵数据起始地址，原理和例子…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023