网站地图用什么格式,网站后台有显示前台没有,wordpress实现网站的登陆功能,分销商城解决方案04-15 周一 GitHub仓库CI服务器配置过程文档 时间版本修改人描述2024年4月15日10:35:52V0.1宋全恒新建文档2024年4月17日10:33:20v1.0宋全恒完成github actions CI的配置和工作流配置文件解读文档的撰写 简介 一些基础概念 前提知识 仓库介绍 地址镜像介绍https://github.…04-15 周一 GitHub仓库CI服务器配置过程文档 时间版本修改人描述2024年4月15日10:35:52V0.1宋全恒新建文档2024年4月17日10:33:20v1.0宋全恒完成github actions CI的配置和工作流配置文件解读文档的撰写 简介 一些基础概念 前提知识 仓库介绍 地址镜像介绍https://github.com/CodexDive/LLMChatharbor.alkaidos.cn/wxzhang/ragllm:latest大模型应用 CI服务器介绍 (base) yangfeiubuntu:~/actions-ci$ cat /etc/os-release NAMEUbuntu VERSION20.04.6 LTS (Focal Fossa) IDubuntu ID_LIKEdebian PRETTY_NAMEUbuntu 20.04.6 LTS VERSION_ID20.04 HOME_URLhttps://www.ubuntu.com/ SUPPORT_URLhttps://help.ubuntu.com/ BUG_REPORT_URLhttps://bugs.launchpad.net/ubuntu/ PRIVACY_POLICY_URLhttps://www.ubuntu.com/legal/terms-and-policies/privacy-policy VERSION_CODENAMEfocal UBUNTU_CODENAMEfocal建议定要使用和宿主机相同的自定义镜像来运行CI作业不然可能会出现诸如GLIBC问题即如果宿主机为Ubuntu 20.04那么自定义镜像最好也是Ubuntu并且版本是20.04这样稀奇古怪的问题遇到的会少许多。 配置过程 在仓库上查看配置指令 我们以LLMChat上查看为例登录 LLMChat查看 可以先去网址下载好actions-runner的客户端也可以在安装的时候下载。在此演示基于网站上的程序下载安装器 具体的代码如下 Download # Create a folder $ mkdir actions-runner cd actions-runner# Download the latest runner package $ curl -o actions-runner-linux-x64-2.315.0.tar.gz -L https://github.com/actions/runner/releases/download/v2.315.0/actions-runner-linux-x64-2.315.0.tar.gz# Optional: Validate the hash $ echo 6362646b67613c6981db76f4d25e68e463a9af2cc8d16e31bfeabe39153606a0 actions-runner-linux-x64-2.315.0.tar.gz | shasum -a 256 -c# Extract the installer $ tar xzf ./actions-runner-linux-x64-2.315.0.tar.gzConfigure # Create the runner and start the configuration experience $ ./config.sh --url https://github.com/CodexDive/LLMs_Inference --token BCTEUWK4VPIV2M4PKIRQX2TGDXVXC# Last step, run it! $ ./run.sh注意 配置的github账户必须拥有这个仓库才能配置和查看runner对于个人账户而言 注意运行器的仓库位于GitHub actions-runner.当前最新版本为2.315.0运行器的版本默认会自动升级因此这个下载部分的链接可能会发生变化。 注意关于配置时配置的过程如指定token和标签可以参考 标签运行器 注意 如果想要同一个运行器运行多个仓库的作业需要使用组织级的账户对于个人账户一个部署了运行器的服务器只能添加到一个仓库 配置CI服务器为运行器客户端 使用XShell等工具链接CI服务器如42.将压缩包拷贝到某个目录如/home/yangfei/actions-ci以yangfei账户为CI服务启动的账户 我们首先使用./configure 命令为启动器配置组、名称和标签 ./config.sh --url https://github.com/CodexDive/LLMs_Inference --token BCTEUWK4VPIV2M4PKIRQX2TGDXVXC上述命令会交互式的提醒用户输入运行器组名个人仓库无组运行器名称zjlab-runner标签为A100,40G,8C 分别表位GPU为A100, 内存容量为40G8卡。工作目录为_work 一般配置完成之后客户端会与GitHub进行通信因此我们就可以在当前目录下执行 ./run.sh然后去网页上验证是否成功。一般没有问题暂且不表我们继续将该客户端安装成服务这样重启之后运行器服务会自动运行。 待执行的命令外: sudo ./svc.sh install yangfei服务的状态查看停止和卸载可以参见下图 关于actions-runner的服务配置也可以参见 将自托管的运行应用策划给你续配置为服务 网页验证配置是否成功 在仓库上添加workflow配置文件 在我们配置好了运行器之后可以在网页上查看运行的状态是否处于正常状态。 配置工作流 Github Actions 是GitHub的持续集成服务。持续集成由很多操作组成比如登录远程服务器发布内容到第三方服务等等GitHub把这些操作称为actions。 工作流含义 在配置好了GitHub仓库之后一般我们需要再仓库代码中添加一个工作流配置文件yaml格式来确定工作流的步骤其实就是一些列的步骤组成了一个作业。在yaml配置文件中也可以包含作业运行的基础环境可以是github提供的原始镜像也可以用自定义的镜像。在作业执行过程中就是不断的在镜像相应的容器中执行命令查看结果。 action marketplace 而且各个步骤一般会用到Action Marketplace动作市场可以看为在CI过程中可以使用的一系列动作步骤。 常见的可以包含如下的动作使用 Checkoutssh Remote CommandsBuild and push Docker imagesSetup PythonPublish Test ResultsDocker LoginSSH SCP SSH Pipelinespip-secure-install文件 ​ upload-artifact​ download-artifact 示例 功能演示 CI的示例以项目ActionsPractice为例 在该项目中演示了如下的内容 Pytest的实践即在开发过程中开发功能和开发测试在单元测试的撰写时演示了为类写测试以及普通的功能函数写测试以及mock的用法在CI时使用github提供的环境使用自定义的镜像 workflow 配置文件 注意workflow配置文件以yaml为后缀并且位于.github/workflows # This workflow will install Python dependencies, run tests and lint with a single version of Python # For more information see: https://docs.github.com/en/actions/automating-builds-and-tests/building-and-testing-pythonname: Python chenqun-docker applicationon:push:branches: [ main ]pull_request:branches: [ main ]permissions:contents: read jobs:container-run-test:runs-on: [self-hosted, linux, x64, chenqun]container:image: 10.101.12.128/framework/ubuntu:22.04-official-ali-python3.7.14options: --privilegedcredentials:username: adminpassword: adminZJ2023volumes:- /home/songquanheng:/home/songquanhengsteps: - name: show python versionrun: |python --version- uses: actions/checkoutv3- name: list the files after checkoutrun: | ls -R- name: install gitrun: |apt-get install -y git- name: Install dependenciesrun: |python -m pip install --upgrade pipif [ -f requirements.txt ]; then pip install -r requirements.txt; fi- name: Test with pytest and generate coverage report run: |pytest --covsrc --cov-reportxml- name: Upload coverage reports to Codecovuses: codecov/codecov-actionv4with:token: ${{ secrets.CODECOV_TOKEN }}file: coverage.xmlslug: yanchenmochen/ActionPracticeverbose: true 网页展示 解释 注意由于要使用容器环境因此jobs.job-name.container:下有支持的参数具体参见 Running jobs in a containerjobs.job-id.container配置容器启动时的–options参见 Use jobs.job_id.container.options to configure additional Docker container resource options. For a list of options, see “docker create options.” 效果 总结 本文详细的记录了为一个GitHub配置一个self-hosted runner的过程通过上述的过程我们可以灵活的为仓库配置自定义的运行器并且也可以使用自定义的容器进行仓库CI作业的执行提升作业环境的封装性。通过灵活的设计CI工作流的步骤我们可以方便的设计CI的各个步骤在执行某个步骤的时候我们也可以借助于GitHub Actions Marketplace所提供的常用功能组件辅助我们进行有效的工作流配置文件的编写。因此整个生态也是闭包的。