大模型应用开发：如何在网页中嵌入3D人物

news2024/10/16 13:38:30

要实现的效果如图所示：

在这里插入图片描述

左侧是插入的3D人物，类似AI智能助手的角色。

我们这里是通过React做的。需要用到以下工具或者网站：

readyplayer.me/ 自定义3D人物
Blender 3维设计软件，3D文件格式转化，主要是fbx和glb的互转
www.mixamo.com/ 人物动画绑定
react + three + @react-three/fiber + @react-three/drei 用于web渲染3D

以下是实现步骤：

设计3D人物

打开readyplayer，可以上传图片或者选择自定义用来定义一个3D人物，这个过程跟很多游戏中的捏脸功能是差不多的。设计好之后导出这个模型，导出的格式是glb的，如果不需要模型动画，这个时候就可以直接将模型引入到react项目中。

在这里插入图片描述

模型文件格式转化

通过将模型导入到blender中，把glb格式的文件导出为fbx，导出时需要勾选保留贴图材质信息，模式选择复制。
注意：在导出前，需要将贴图进行解压到当前文件夹中，不然在把导出的fbx模型上传到mixamo网站时，显示的会是白模。

动画绑定

在这里插入图片描述
上传模型，选择动画，导出。导出的文件是fbx格式，需要再次通过blender转化为glb格式。

页面渲染

安装3D渲染组件

npm install  @react-three/fiber three @react-three/drei

3d模型方式项目文件夹中，比如src/assets/assistant.glb
导出模型文件
util.js

import assistantModel from '../assets/assistant.glb'

export const agentModel = assistantModel

5. 页面渲染
model.tsx

import {Canvas, extend, useFrame} from '@react-three/fiber';
import {OrbitControls, useAnimations, useGLTF} from '@react-three/drei';
import { agentModel } from '../../utils'
function Model({ url }) {
    const { scene, animations  } = useGLTF(url); // 加载 glTF 模型
    const { actions, mixer } = useAnimations(animations, scene); // 提取动画

    useEffect(() => {
        if (actions) {
            actions['Armature|mixamo.com|Layer0'].play(); // 播放指定动画
        }
    }, [actions]);

    useFrame((state, delta) => {
        mixer.update(delta); // 更新动画
    });
    return <primitive object={scene} position={[0, -1, 0]}/>;
}
import { PlaneGeometry } from 'three';
import {useEffect} from "react"; // 注意: PlaneGeometry 代替 PlaneBufferGeometry

// 扩展 three.js
extend({ PlaneGeometry });
export default function AgentModel() {
    return (
        <Canvas
            camera={{ position: [0, 2, 5], fov: 30 }}
            shadows>
            <OrbitControls />
            <ambientLight intensity={0.5} />
            <directionalLight position={[5, 5, 5]} />
            <Model url={agentModel}/>
        </Canvas>
    );
}

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述