加载中,请稍等...

ktransformer推理DeepSeek-R1-Q4_K_M教程

官方部署教程

官方教程

本机安装经验

一、硬件

  • CPU:1x Intel Xeon Gold 6348
  • RAM:512GB DDR4 3200Mhz
  • GPU:8x RTX4090

二、安装环境

1. 系统版本

  • Ubuntu 20.04 LTS

2. 必备插件

  • Docker(待描述是 docker-compose 还是完整的 docker
  • Nvidia-Docker-Toolkit Ver.XX
  • Python 3.X

三、拉取镜像

1. 在 Terminal 窗口执行以下命令

拉取 modelscope 的 Docker 作为基础环境,注意修改 -v 映射路径。
确保提前安装好 nvidia-docker 相关配置。

1
docker run --gpus all -it --net=host --ipc=host --name ktransformers_env -v /media/pixel:/workspace modelscope-registry.cn-beijing.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.3.0-tf2.16.1-1.18.0 /bin/bash
  

github docker脚本 附带释放磁盘空间

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

name: DockerHub CI

on:
release:
types: [published]
env:
DOCKERHUB_REPO: ${{ secrets.DOCKERHUB_USERNAME }}/ktransformers
jobs:
build:
runs-on: ubuntu-latest
steps:
- name: Move Docker data directory
run: |
sudo systemctl stop docker
sudo mkdir -p /mnt/docker
sudo rsync -avz /var/lib/docker/ /mnt/docker
sudo rm -rf /var/lib/docker
sudo ln -s /mnt/docker /var/lib/docker
sudo systemctl start docker

-
name: Set up QEMU
uses: docker/setup-qemu-action@v3

-
name: Set up Docker Buildx
uses: docker/setup-buildx-action@v3

-
name: Login to Docker Hub
uses: docker/login-action@v3
with:
username: ${{ secrets.DOCKERHUB_USERNAME }}
password: ${{ secrets.DOCKERHUB_TOKEN }}
-
name: Build and push
uses: docker/build-push-action@v6
with:
push: true
platforms: |
linux/amd64
linux/arm64
tags: |
${{ env.DOCKERHUB_REPO }}:latest
${{ env.DOCKERHUB_REPO }}:${{ github.event.release.tag_name }}
  

如何在YAML中输入多行字符串

问题

在YAML中,我有一个非常长的字符串。我希望将其保存在编辑器的80列(大约)视图中,因此我想中断字符串。它的语法是什么?

1
Key: 'this is my very very very very very very long string'

我想要这样(或类似的效果):

1
2
Key: 'this is my very very very ' +
'long string'

我想像上面那样使用引号,所以我不需要转义字符串中的任何内容

  

删除Windows中网络名称后边的数字

Win 8 及 Win 10 重置路由器(或更换)后,再次连接路由器(还是原SSID的情况下)鼠标悬停右下角网络图标,显示的网络名称后边会跟一个数字,比如 SSID 2 或 网络 2,那么如何删除这个数字呢?

这个问题可以使用命令 regedit 打开注册表编辑器,找到如下路径:

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\NetworkList\Profiles 删除掉相关的注册子键,如图所示:

然后禁用再启用网卡即可。
如果你曾经连接过很多网络,这里可能会有很多数据,一定要看清楚再删除!

  

在Firefox浏览器中启用Windows11风格滚动条

  1. 在地址栏中输入 about:config 更改高级配置

  2. 在搜索框中输入 widget.non-native-theme.scrollbar.style 将值设为5

  3. 在搜索框中输入 ui.useOverlayScrollbars 将值设为1
    配置项作用:

widget.non-native-theme.scrollbar.style 控制滚动条样式, 0(默认)、1 (Mac)、2 (Linux)、3 (Android)、4 (Windows 10) 、5 (Windows 11)

ui.useOverlayScrollbars 使用“覆盖滚动条”(使滚动条悬浮在屏幕之上)

  

PVE 8 开启SR-IOV

什么是SR-IOV?这里引用Oracle的说明

SR-IOV 技术是一种基于硬件的虚拟化解决方案,可提高性能和可伸缩性。SR-IOV 标准允许在虚拟机之间高效共享 PCIe(Peripheral Component Interconnect Express,快速外设组件互连)设备,并且它是在硬件中实现的,可以获得能够与本机性能媲美的 I/O 性能。SR-IOV 规范定义了新的标准,根据该标准,创建的新设备可允许将虚拟机直接连接到 I/O 设备。

简单来说,允许将一个PCIe设备虚拟化成多个设备,且每个虚拟化出来的设备都可以获得与物理设备相近的性能

如果显卡开启SR-IOV就可以给多台虚拟机同时配上显卡

网卡之类的设备也支持SR-IOV,但是不如显卡这么有用(毕竟虚拟化出来的网卡性能也没差多少,还不需要自己安装驱动)

前置条件

  1. BIOS中开启VMX(VT-X)

Advanced — CPU Configuration — Intel (VMX) Virtualization Technology

  

在PVE平台上使用QEMU模拟ARM环境

环境准备

使用的版本是Proxmox VE 8.2.2 版本,首先先配置好镜像源。

需要以下组件

pve-qemu-kvm 8.0.2-7 amd64 Full virtualization on x86 hardware

qemu-efi-aarch64 2022.11-6 all UEFI firmware for 64-bit ARM virtual machines

qemu-server 8.0.7 amd64 Qemu Server Tools

qemu-system-aarch64组件进行arm模拟转换,在PVE8中目前没有内置这个组件,首先通过apt install qemu-efi-aarch64来安装

通过PVE web页面可以快速配置环境,但是仍有部分配置需要手动调整启动命令行来实现,比如spice的支持,等

  
 PVE ARM

无线电B类考试题库(六)

其中A为正确答案

[I]LK0557

[Q]某电路输出信号电压是输入信号电压的1/2,该电路的增益约为:

[A]-6dB

[B]-2dB

[C]0.5dB

[D]-0.5dB

[I]LK0558

[Q]信号依次通过增益分别为 x dB、y dB和 z dB的三个电路,总增益为:

[A](x + y + z)dB

[B](x × y × z)dB

[C](x + y + z)倍

[D](x × y × z)倍

[I]LK0559

[Q]信号依次通过增益分别为 x dB、y dB和 z dB的三个电路,总增益为:(”x^m”表示“x的m次方”)

[A]10^((x + y + z)/10) 倍

[B]10^(x × y × z) 倍

[C](x + y + z)倍

[D](x × y × z)倍

[I]LK0560

[Q]接收机的接收信号强度表每两档的信号强度相差6dB。接收某电台信号,发射功率为20dBW时读数为S9。该台减小发射功率后,接收机读数变为S4。此时该台的发射功率约为(以W为单位):

[A]0.098W

[B]10.24W

[C]0.156W

[D]1.73W

无线电B类考试题库(五)

其中A为正确答案

[I]LK0497

[Q]附图中的电路元器件符号代表的是:

[A]接地

[B]天线

[C]电阻

[D]二极管

[I]LK0498

[Q]附图中的电路元器件符号代表的是:

[A]天线

[B]接地

[C]电阻

[D]二极管

[I]LK0499

[Q]附图中的电路元器件符号代表的是:

[A]熔断器

[B]电容

[C]电阻

[D]二极管

[I]LK0500

[Q]附图中的电路元器件符号代表的是:

[A]电容器

[B]熔断器

[C]电阻

[D]二极管

[I]LK0501

[Q]附图中的电路元器件符号代表的是:

[A]电阻

[B]电容器

[C]熔断器

[D]压电晶体


:D 一言句子获取中...