转载自《rk3588部署yolov8视频目标检测教程》 1. 环境配置 1.1 训练环境和onnx（电脑端执行） #使用conda创建一个python环境 conda create -n torch python=3.9 #激活环境 conda activate torch #安装yolov8 pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple #onnx安装 pip install onnx -i https://pypi.tuna.tsinghua.edu.cn/simple 1.2 导出onnx和rknn环境（电脑端执行） 安装toolkit2-1.5.2 下载链接： 链接：百度网盘 请输入提取码 提取码：abcf 下载后对应的文件为 onxx2rknn 下载后，创建一个conda环境，python使用3.6 #创建rknn环境 conda create -n yolov8-export python=3.6 #激活环境 conda activate yolov8-export #进入下载的文件夹 安装依赖库，保证每个都能安装上，如果有安装不上的，-i后面换别的源地址进行安装 pip install -r requirements_cp36-1.5.2.txt -i https://pypi. ...继续阅读 (8)

原文转载自《rk3588对npu的再探索，yolov5使用rknn模型推理教程》 🍉零、引言 本文完成于2022-07-02 22:22:27。 博主刚开始在瑞芯微ITX-3588J-8K的开发板上跑了官方的yolov5目标检测算法，检测了ip相机rtsp视频流，但是每帧处理需要833ms左右，和放PPT一样。本来想使用tensorrt进行加速推理，但前提需要cuda，rk的板子上都是arm的手机gpu，没有nvidia的cuda，所以不能这样适配。那么转过来，使用开发板自带的NPU进行加速推理，岂不是最佳方案，因为它本身就是人工智能开发板，不用NPU相当于没有发挥它的全部能力。 🏅然后今天（2022.7.2）成功实践了转换rknn模型，并使用npu推理。为了让后面的同学少走弯路，特此花1个h记录下RKNPU2的使用教程，因为官方教程只有Android版本，所以Ubuntu系统的都是我自己摸索出来的。上一期是使用RKNN-Toolkit的教程：rk3588使用npu进行模型转换和推理，加速AI应用落地 🍍一、环境信息 PC操作系统 Ubuntu18.04(x86_64) 开发板 RK3588 开发板操作系统 Ubuntu20.04(aarch64) 本教程以 rknn_yolov5_demo 在 RK3588 Ubuntu20.04 64位 平台上运行为例，介绍如何使用RKNPU2 ...继续阅读 (8)

转载自：《rk3588使用npu进行模型转换和推理，加速AI应用落地》 🍉零、引言 博主在瑞芯微RK3588的开发板上跑了deepsort跟踪算法，从IP相机中的server拉取rtsp视频流，但是fps只有1.2，和放PPT一样卡顿，无法投入实际应用。本来想使用tensorrt进行加速推理，但是前提需要cuda，rk的板子上都是Arm的手机gpu，没有Nvidia的cuda，所以这条路行不通。那么转过来，使用开发板自带的NPU进行加速推理，岂不是更加可行，而且它本身就是深度学习嵌入式板子，不用NPU真的可惜。 🏅问题来了：怎么使用NPU？在开发板上还是在自己的PC上？要安装什么环境？怎么安装？这些问题都需要依次考虑清楚。因为我在此之前也没有接触过NPU，所以为此做了很多功课，看了很多教程，总计有10h以上。然后今天自己成功实践了下转换rknn模型，并使用npu推理。为了让后面的同学少走弯路，特此花1个h记录下这个使用过程，因为官方教程真的很不详细，很多地方都需要自己踩坑然后填好，那么开始正题！ 🍍一、主要功能 RKNN-Toolkit2 是为用户提供在 PC、 Rockchip NPU 平台上进行模型转换、推理和性能评估的开发套件,用户通过该工具提供的 Python 接口可以便捷地完成以下功能: 🏆模型转换：支持 Caffe、TensorFlow、TensorFlow Lite、 ...继续阅读 (11)

香橙派、树莓派等开发板中，一般都预留了串口用于调试 本文介绍通过CP2102串口线连接的方式 1 硬件连接 我的CP2102串口线是一端USB，另一端4个杜邦线，分别是： 红：VCC 白：RX 绿：TX 黑：GND 而香橙派上的串口依次是：GND、RX、TX 接线方法（杜邦线 <-> 板上端子）是： 黑 <-> GND 白 <-> TX 绿 <-> RX 注意上面VCC不要接否则会烧、RX和TX与板子是交叉(反接）、GND直连 2 配置 我的主机是Linux，接好后先确定设备挂在点： sudo dmesg | grep cp2 [sudo] password for coder4: [ 6338.207901] usbcore: registered new interface driver cp210x [ 6338.207908] usbserial: USB Serial support registered for cp210x [ 6338.207922] cp210x […] ...继续阅读 (4)

在YoloV5-Lite目标检测之“安装推理”中，我们完成了安装和预训练权重的推理，下面介绍自定义训练数据、模型转换(ncnn) 1 训练数据准备 . ├── train │   ├── 000000000049.jpg │   ├── 000000000049.txt ...... │   ├── 000000581880.txt │   ├── 000000581900.jpg │   └── 000000581900.txt └── val ├── 000000000139.jpg ├── 000000000139.txt ...... ├── 000000581357.jpg └── 000000581357.txt 3 directories, 46201 files 2 配置文件修改 复制要训练的yml配置 cd data cp ./data/coco128.yaml custom.yaml 修改配置，主要是目录 # path train: coco_2017/train val: coco_2017/val # number of […] ...继续阅读 (4)

1 安装 conda activate py38 git clone https://github.com/ppogg/YOLOv5-Lite pip install -r requirements.txt 2 下载预训练的权重 预训练权重可以在官网下载，我这里下载的是v5lite-s 3 推理 图片推理 python3 ./detect.py --weights ./weights/v5lite-e.pt --source ././python_demo/openvino/bike.jpg 推理结果在runs/detect/expxx中 视频推理 python3 ./detect.py --weights ./v5lite-s.pt --source ~/path/3.mp4 推理结果是直接视频合成了框生成好的   ...继续阅读 (4)

我的需求是只保留人（和没有人的副样本），抽样，其他忽略 import json import os import shutil import random def coco_to_yolo_bbox(image_width, image_height, bbox): """ Convert bbox from COCO format to YOLO format. COCO format: [top_left_x, top_left_y, width, height] YOLO format: [x_center, y_center, width, height] (normalized) """ x_tl, y_tl, width, height = bbox x_center = (x_tl + width / 2.0) / image_width y_center = (y_tl + […] ...继续阅读 (4)

在 《NanoDet目标检测之"搭建预测篇"》 中，我们搭建了NanoDet的环境，并用默认权重做了简单的预测，本节我们继续用自己的数据做微调。 1 准备数据 NanoDet支持yolo或者coco格式的标注，自行准备即可，我这里以yolo为例，目录结构如下： TODO xxx 2 配置 我们需要融合下两个配置文件，复制： cp nanodet-plus-m_320.yml nanodet-plus-m_320_face.yml 修改1，保存位置： save_dir: workspace/nanodet-plus-m_320_face 修改12，你的标注类别数： head: name: NanoDetPlusHead num_classes: 1 aux_head: name: SimpleConvHead num_classes: 1 修改3，类别标签： class_names: ['face'] 修改4，数据，注意这里是从xxx_yolo.yml节选拷贝的： data: train: name: YoloDataset img_path: yolo_data/train ann_path: yolo_data/train class_names: *class_names input_size: [320,320] #[w,h] keep_ratio: False pipeli ...继续阅读 (4)

...继续阅读 (4)

...继续阅读 (4)

...继续阅读 (4)

XXX_MAX_CONN = 5 var XXX_SEMAPHORE = make(chan struct{}, XXX_MAX_CONN) func your_func() { // 在开始处理请求时放入一个信号 XXX_SEMAPHORE <- struct{}{} defer func() { // 在完成请求后移除一个信号 <-XXX_SEMAPHORE }() }   ...继续阅读 (23)

新版Python不再建议直接pip安装了，而是要使用虚拟环境 sudo apt install -y python3-dev python3-virtualenv 创建虚拟环境 virtualenv newenv source newenv/bin/activate # 取消激活 deactivate   ...继续阅读 (36)

1 创建.desktop文件 [Desktop Entry] Type=Application Name=YourAppName Exec=/path/to/your/YourAppName.AppImage (也可以是其他binary) Icon=/path/to/your/icon.png Categories=Utility; Terminal=false 2 移动和权限 sudo mv ~/YourAppName.desktop /usr/share/applications/ sudo chown root:root /usr/share/applications/YourAppName.desktop 然后在Launcher中就有了，也可以根据需求固定在Dock上   ...继续阅读 (37)

dts配置定义：目录 arch/arm64/boot/dts/ ，一个板可以对应多个不同驱动，相当于是组合关系 大多数设备是已经有驱动的 对应驱动：部分在目录 drivers下，例如这个，和上面dts中对应节点是相对应的 ...继续阅读 (33)

备份 cp ./registries.conf ./registries.conf.bk 配置 /etc/containers/registries.conf unqualified-search-registries = ["docker.io"] [[registry]] prefix = "docker.io" location = "docker.m.daocloud.io" insecure = true   ...继续阅读 (56)

思路：使用模型的特征提取层，转化成向量，然后比对向量的距离(比如cos) import torch import torchvision.models as models import torchvision.transforms as transforms from PIL import Image # load model & feature only model = models.mobilenet_v3_small(pretrained=True) model = model.features model.eval() # pre process preprocess = transforms.Compose([ transforms.Resize(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) def image_to_feature_vector(image_path): img = Image.open(image_path) img_t = preprocess(img) batch_t = torch.unsqueeze(img_t, 0) […] ...继续阅读 (58)

import cv2 import numpy as np import onnxruntime as ort def load_model(model_path): """加载ONNX模型""" session = ort.InferenceSession(model_path) return session def preprocess_image(image_path): image = cv2.imread(image_path) image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image = cv2.resize(image, (224, 224)) image = image.astype(np.float32) / 255.0 # 归一化至0-1之间 # 标准化参数 mean_val = np.array([0.485, 0.456, 0.406], dtype=np.float32) std_val = np.array([0.229, 0.224, 0.225], dtype=np.float32) # 标准化图片 […] ...继续阅读 (53)

#include <opencv2/opencv.hpp> #include <onnxruntime/onnxruntime_cxx_api.h> #include <vector> #include <iostream> int main() { // load onnx model Ort::Env env(OrtLoggingLevel::ORT_LOGGING_LEVEL_WARNING, "test"); Ort::SessionOptions sessionOptions; sessionOptions.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_EXTENDED); const char* modelPath = "your_path/model.onnx"; Ort::Session session(env, modelPath, sessionOptions); auto start = std::chrono::high_resolution_clock::now(); // load image std::vector<int64_t> inputTensorShape = {1, 3, 224, 22 ...继续阅读 (42)

之前Docker时有个--restart always的参数，能实现开机自启(原意是挂掉后拉起） 在切换到podman后无效了，原因是podman设计的很轻量，没有守护进程，解决方案如下： 生成systemd文件： podman generate systemd --name your-container-name --files --new 上述your-container-name是你正在运行的容器，会自动提取对应参数 sudo mv container-your-container-name.service /etc/systemd/system/ sudo systemctl daemon-reload sudo systemctl enable container-your-container-name.service sudo systemctl start container-your-container-name.service 注意这么搞完后，就是系统管理了，没法在podman ps中看到 ...继续阅读 (59)

下载：https://github.com/microsoft/onnxruntime/releases sudo mkdir /usr/lib/onnxruntime sudo mkdir /usr/include/onnxruntime mv path/onnxruntime-linux-x64-1.17.3/lib/* /usr/lib/onnxruntime mv path/onnxruntime-linux-x64-1.17.3/include/* /usr/include/onnxruntime vscode可能要配置下路径，参考 https://www.coder4.com/archives/8141 编译时需要指定下位置 -L/usr/lib/onnxruntime -l onnxruntime   ...继续阅读 (48)

模型是MobileNet v3 small + 微调分类器，pyTorch训练后导出onnx模型 pom： <dependencies> <dependency> <groupId>com.microsoft.onnxruntime</groupId> <artifactId>onnxruntime</artifactId> <version>1.17.3</version> </dependency> </dependencies> 代码： package org.example; import ai.onnxruntime.OnnxTensor; import ai.onnxruntime.OrtEnvironment; import ai.onnxruntime.OrtSession; import javax.imageio.ImageIO; import java.awt.*; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import java.nio.file.Files; import ...继续阅读 (49)

之前一直用fcitx-googlepinyin，更新到Ubuntu 24.04后，绝大部分应用都是ok的，但是vscode不支持(无法输入中文） 具体原因可以参考这篇文章 Chrome/Chromium 今日 Wayland 输入法支持现状 简单来说：Electron + Wayland 在IME协议方面有兼容问题，双方都有锅 https://fcitx-im.org/wiki/Using_Fcitx_5_on_Wayland 可以禁用wayland或wayland + fcitx5-pinyin，暂时ok，另外这个fcitx5-pinyin的backend,也是google拼音，效果还是可以的。   ...继续阅读 (70)

Ubuntu 24.04亲测有效 sudo cp /snap/gnome-42-2204/current/usr/lib/x86_64-linux-gnu/libfreetype.so.6.18.1 /opt/kingsoft/wps-office/office6/libfreetype.so.6   ...继续阅读 (51)

安装 sudo apt-get install podman-docker 配置仓库 sudo tee /etc/containers/registries.conf <<-'EOF' unqualified-search-registries = ["docker.io"] [[registry]] prefix = "docker.io" location = "docker.io" [[registry.mirror]] location = "docker.mirrors.tuna.tsinghua.edu.cn" [[registry.mirror]] location= "ghcr.io" EOF   ...继续阅读 (46)

理论上所有Electron的都有问题，比如vscode，甚至chrome 一次性： sudo sysctl -w kernel.apparmor_restrict_unprivileged_userns=0 永久 echo 'kernel.apparmor_restrict_unprivileged_userns = 0' | sudo tee /etc/sysctl.d/20-apparmor-etcher.conf 更新：发现wayland也有问题，默认是开启的，导致vscode出现很多奇怪行为，禁用能解不少问题 sudo vim /etc/gdm3/custom.conf WaylandEnable=false   ...继续阅读 (53)

来源：https://www.scensmart.com/news/comparison-of-ai-model-performance-of-rockchip-mainstream-socs-such-as-rk3588-rk3576-rk3568-rv1126-etc/ ...继续阅读 (45)

# idea idea() { nohup your_path/bin/idea.sh "$(pwd)" > /dev/null 2>&1 & }   ...继续阅读 (41)

换Ubuntu24.04后，idea打开项目直接闪退，必现，调jvm堆无效 闪退可以在命令行找到 提示错误： [0509/193513.227389:FATAL:setuid_sandbox_host.cc(158)] The SUID sandbox helper binary was found, but is not configured correctly. Rather than run without sandboxing I'm aborting now. You need to make sure that /home/coder4/soft/idea-IC-233.15026.9/jbr/lib/chrome-sandbox is owned by root and has mode 4755. ff网上搜了下，在bin/idea64.vmoptions下增加一行即可： -Dide.browser.jcef.sandbox.enable=false   ...继续阅读 (53)

1 加密 ecryptfs-setup-private --nopwcheck --noautoumount 两个参数是不校验登录密码（用mount密码）、不自动卸载 (但是参数似乎不好用） 2 挂载 ecryptfs-mount-private 输入mount密码可挂载到~/Private下 3 脚本自动挂载 网上搜到的都是keyring，不好使，这里直接用了expect #!/bin/bash /usr/bin/expect > /dev/null <<EOF set timeout -1 spawn ecryptfs-mount-private expect { "Enter your login passphrase:" { send "password\r" } } expect eof EOF     ...继续阅读 (53)