wordpress全站美化,流水线 东莞网站建设,品牌网站建设怎么样,能和实体彩票店和做的彩票网站WhisperFusion 基于 WhisperLive 和 WhisperSpeech 的功能而构建#xff0c;在实时语音到文本管道之上集成了大型语言模型 Mistral (LLM)。 LLM 和 Whisper 都经过优化#xff0c;可作为 TensorRT 引擎高效运行#xff0c;从而最大限度地提高性能和实时处理能力。WhiperSpe…WhisperFusion 基于 WhisperLive 和 WhisperSpeech 的功能而构建在实时语音到文本管道之上集成了大型语言模型 Mistral (LLM)。 LLM 和 Whisper 都经过优化可作为 TensorRT 引擎高效运行从而最大限度地提高性能和实时处理能力。WhiperSpeech 是通过 torch.compile 进行优化的。 特征 实时语音转文本利用 OpenAI WhisperLive 将口语实时转换为文本。 大型语言模型集成添加大型语言模型 Mistral以增强对转录文本的理解和上下文。 TensorRT 优化LLM 和 Whisper 都经过优化可作为 TensorRT 引擎运行确保高性能和低延迟处理。 torch.compileWhisperSpeech 使用 torch.compile 来加速推理通过将 PyTorch 代码 JIT 编译到优化的内核中使 PyTorch 代码运行得更快。 入门 我们提供了一个预构建的 TensorRT-LLM docker 容器该容器将 Whisper 和 phi 转换为 TensorRT 引擎并且预先下载 WhisperSpeech 模型以快速开始与 WhisperFusion 交互。 docker run --gpus all --shm-size 64G -p 6006:6006 -p 8888:8888 -it ghcr.io/collabora/whisperfusion:latest 启动网页图形用户界面 cd examples/chatbot/htmlpython -m http.server 构建 Docker 镜像 我们提供 cuda-architecures 89 和 90 的 docker 映像。如果您有具有不同 cuda 架构的 GPU。例如使用 cuda-架构 86 为 RTX 3090 构建 bash build.sh 86-real 这应该为 RTX 3090 构建 ghcr.io/collabora/whisperfusion:latest 。 项目链接 https://github.com/collabora/WhisperFusion