2020年12月31日木曜日

ultra96v2+ros2 eloquentでorb_slam2を動かしてみた話

ultra96v2向けにORB_SLAM2をビルドした話。 ORB_SLAM2のビルドにはPangolinとimage_commonが必要だったので、レシピを作成する。
上記以外の必要なものはmeta-rosに含まれていたものでOKだった。

準備

環境は前に作成したものと同じ。以下に示すレシピもmeta-ultra96v2に追加済なのでそのままビルドすれば実行できる。

Pangolinのビルド

recipetoolを使用してPangolinのレシピを作成してビルドしてみる。

{class="prettyprint lang-sh} recipetool create -o pangolin_git.bb https://github.com/stevenlovegrove/Pangolin.git mv pangolin_git.bb ../sources/meta-ultra96v2/recipes-graphics/pangolin MACHINE=ultra96v2-zynqmp bitbake pangolin

そのままのビルドではエラーが出た。 内容はdo_package_qa: QA Issue: pangolin-dev package contains non-symlink .so ここを参考にして、 パッケージするファイルを選択すると解消する。合ってるかどうかはいまいち自信がない。

あと、ライセンスも修正しておく。

レシピは以下の通り。

LICENSE = "MIT & BSD-3-Clause"
LIC_FILES_CHKSUM = "file://LICENCE;md5=37611e574d0acc5cc68f827d28a9ce8a \
                    file://include/pangolin/utils/xml/license.txt;md5=d63ab70ba21ca0544b03284958324301 \
                    file://external/pybind11/LICENSE;md5=beb87117af69fd10fbf9fb14c22a2e62 \
                    file://external/pybind11/tools/clang/LICENSE.TXT;md5=dfabea443c6c16b6321441a8c8c19705"

SRC_URI = "gitsm://github.com/stevenlovegrove/Pangolin.git;protocol=https"

# Modify these as desired
PV = "1.0+git${SRCPV}"
SRCREV = "86eb4975fc4fc8b5d92148c2e370045ae9bf9f5d"

S = "${WORKDIR}/git"


# NOTE: unable to map the following CMake package dependencies: Pangolin Eigen
inherit cmake
inherit python3native

DEPENDS = "libeigen glew virtual/libgl"

FILES_SOLIBSDEV = ""

FILES_${PN} += " ${libdir}/libpangolin.so"
FILES_${PN} += " ${bindir}/*"
FILES_${PN}-dev += " ${includedir}/*"


# Specify any options you want to pass to cmake using EXTRA_OECMAKE:
EXTRA_OECMAKE = ""

image-commonのビルド

recipetoolを使うとエラーが出てしまったので他のrosレシピを参考に手動で作成。 inherit ros_distro_eloquentと、inherit ros_superflore_generated、 ROS_BUILD_TYPE = “ament_cmake”、inherit ros_${ROS_BUILD_TYPE}を設定すれば良い。 ROS_CNはパッケージ名、ROS_BPNにはイメージ名を記載する。 buld_dependsなどはpackage.xmlに記載された設定と同じにする。 image-commonのパッケージからは4つイメージをビルドする必要があるので、 camera-calibration-parsers,camera-info-manager,image-common,image-transportの4つのレシピを作成する。 次はimage-commonの場合。レシピ名はimage-common_git.bbとしている。

LICENSE = "BSD"
#LIC_FILES_CHKSUM = "file://"

SRC_URI = "git://github.com/ros-perception/image_common.git;protocol=https;branch=ros2"

# Modify these as desired
PV = "1.0+git${SRCPV}"
SRCREV = "4c5053ecf703a58c25a712d1d4a80012f5076a1f"

S = "${WORKDIR}/git"

inherit ros_distro_eloquent
inherit ros_superflore_generated

DESCRIPTION = ""
AUTHOR = "Patrick Mihelich and James Bowman"
ROS_AUTHOR = ""
HOMEPAGE = "https://wiki.ros.org/image_common"
SECTION = "devel"

ROS_CN = "image-common"
ROS_BPN = "image-common"

ROS_BUILD_DEPENDS = ""

ROS_BUILDTOOL_DEPENDS = " \
    ament-cmake-native \
"

ROS_EXPORT_DEPENDS = ""

ROS_BUILDTOOL_EXPORT_DEPENDS = ""

ROS_EXEC_DEPENDS = " \
    camera-calibration-parsers \
    camera-info-manager \
    image-transport \
"

# Currently informational only -- see http://www.ros.org/reps/rep-0149.html#dependency-tags.
ROS_TEST_DEPENDS = " \
    ament-lint-auto \
    ament-lint-common \
"

DEPENDS = "${ROS_BUILD_DEPENDS} ${ROS_BUILDTOOL_DEPENDS}"
# Bitbake doesn't support the "export" concept, so build them as if we needed them to build this package (even though we actually
# don't) so that they're guaranteed to have been staged should this package appear in another's DEPENDS.
DEPENDS += "${ROS_EXPORT_DEPENDS} ${ROS_BUILDTOOL_EXPORT_DEPENDS}"

RDEPENDS_${PN} += "${ROS_EXEC_DEPENDS}"

ROS_BUILD_TYPE = "ament_cmake"

inherit ros_${ROS_BUILD_TYPE}

orb-slam2のビルド

pangolinとcamera-calibration-parsers,camera-info-manager,image-common,image-transportが必要。 これは準備したので、レシピを作成する。

recipetoolを使用してPangolinのレシピを作成してビルドしてみる。 が、meta-ros向けのレシピはうまく作ってくれないので手作業。 package.xmlから以下の通り生成する。 superfloreなんかを使うとこの辺はうまくやってくれるのだと思う。

レシピ名はorb-slam2_git.bbとした。

LICENSE = "GPLv3 & BSD-3-Clause"
LIC_FILES_CHKSUM = "file://License-gpl.txt;md5=d32239bcb673463ab874e80d47fae504 \
                    file://LICENSE.txt;md5=9f7421fb91aef33332dbdfab7e243c01 \
                    file://orb_slam2/Thirdparty/DBoW2/LICENSE.txt;md5=b91b90de616800c44c9ebba46c143a70 \
                    file://orb_slam2/Thirdparty/g2o/license-bsd.txt;md5=9c0c0561478261cb090e64115139d923"

SRC_URI = "git://github.com/appliedAI-Initiative/orb_slam_2_ros.git;protocol=https;branch=ros2"

# Modify these as desired
PV = "1.0+git${SRCPV}"
SRCREV = "0f964c618a2e0b7715c1c6fc49e6b70b2ba2c904"

S = "${WORKDIR}/git"

inherit ros_distro_eloquent
inherit ros_superflore_generated

DESCRIPTION = ""
AUTHOR = "Raul Mur-Artal, Juan D. Tardos, J. M. M. Montiel and Dorian Galvez-Lopez (DBoW2)."
ROS_AUTHOR = ""
HOMEPAGE = ""
SECTION = "devel"

ROS_CN = "orb-slam2"
ROS_BPN = "orb-slam2"

ROS_BUILD_DEPENDS = " \
    rclcpp \
    std-msgs \
    geometry-msgs \
    tf2-geometry-msgs \
    cv-bridge \
    image-common \
    image-transport \
    tf2-ros \
    sensor-msgs \
    rosidl-default-generators \
"

ROS_BUILDTOOL_DEPENDS = " \
    ament-cmake-native \
    rosidl-default-generators-native \
"

ROS_EXPORT_DEPENDS = " \
    boost \
    cairo \
    ceres-solver \
    gflags \
    glog \
    libeigen \
    lua \
    protobuf \
"

ROS_BUILDTOOL_EXPORT_DEPENDS = ""

ROS_EXEC_DEPENDS = " \
    rclcpp \
    std-msgs \
    geometry-msgs \
    cv-bridge \
    image-transport \
    tf2-ros \
    sensor-msgs \
    rosidl-default-runtime \
"

# Currently informational only -- see http://www.ros.org/reps/rep-0149.html#dependency-tags.
ROS_TEST_DEPENDS = " \
    ament-lint-auto \
    ament-lint-common \
"

DEPENDS = "${ROS_BUILD_DEPENDS} ${ROS_BUILDTOOL_DEPENDS}"
# Bitbake doesn't support the "export" concept, so build them as if we needed them to build this package (even though we actually
# don't) so that they're guaranteed to have been staged should this package appear in another's DEPENDS.
DEPENDS += "${ROS_EXPORT_DEPENDS} ${ROS_BUILDTOOL_EXPORT_DEPENDS}"

RDEPENDS_${PN} += "${ROS_EXEC_DEPENDS}"

FILES_${PN} += "*"

ROS_BUILD_TYPE = "ament_cmake"

inherit ros_${ROS_BUILD_TYPE}

動作確認

hostでrviz2を起動し、point_cloudをAddする。 debug_imageは追加してもカクカクなので見ない。

  • window1
source /opt/ros/foxy/setup.sh
rviz2

テスト用にTUM1のbagファイルを再生する。

  • window2
source /opt/ros/noetic/setup.sh
source /opt/ros/foxy/setup.sh
ros2 bag play -s rosbag_v2 rgbd_dataset_freiburg1_xyz.bag --read-ahead-queue-size 1000000

bagファイルの再生には時間がかかるので、 その間にultra96v2にsshでログインしてorb_slam2を起動させる。

  • window3
root@ultra96v2-zynqmp:~# source ros_setup.sh
root@ultra96v2-zynqmp:~# ros2 launch orb_slam2_ros TUM1_mono_launch.py
[INFO] [launch]: All log files can be found below /home/root/.ros/log/2020-12-28-21-11-00-749497-ultra96v2-zynqmp-1140
[INFO] [launch]: Default logging verbosity is set to INFO
[INFO] [orb_slam2_ros_mono-1]: process started with pid [1149]
[orb_slam2_ros_mono-1] [INFO] [orb_slam2_mono]: Camera info received.
[orb_slam2_ros_mono-1]
[orb_slam2_ros_mono-1] ORB-SLAM2 Copyright (C) 2014-2016 Raul Mur-Artal, University of Zaragoza.
[orb_slam2_ros_mono-1] This program comes with ABSOLUTELY NO WARRANTY;
[orb_slam2_ros_mono-1] This is free software, and you are welcome to redistribute it
[orb_slam2_ros_mono-1] under certain conditions. See LICENSE.txt.
[orb_slam2_ros_mono-1]
[orb_slam2_ros_mono-1] OpenCV version : 3.4.3
[orb_slam2_ros_mono-1] Major version : 3
[orb_slam2_ros_mono-1] Minor version : 4
[orb_slam2_ros_mono-1] Subminor version : 3
[orb_slam2_ros_mono-1] Input sensor was set to: Monocular
[orb_slam2_ros_mono-1]
[orb_slam2_ros_mono-1] Loading ORB Vocabulary.
[orb_slam2_ros_mono-1] Vocabulary loaded!
[orb_slam2_ros_mono-1]
[orb_slam2_ros_mono-1]
[orb_slam2_ros_mono-1] Camera Parameters:
[orb_slam2_ros_mono-1] - fx: 525
[orb_slam2_ros_mono-1] - fy: 525
[orb_slam2_ros_mono-1] - cx: 319.5
[orb_slam2_ros_mono-1] - cy: 239.5
[orb_slam2_ros_mono-1] - k1: 0
[orb_slam2_ros_mono-1] - k2: 0
[orb_slam2_ros_mono-1] - p1: 0
[orb_slam2_ros_mono-1] - p2: 0
[orb_slam2_ros_mono-1] - fps: 30
[orb_slam2_ros_mono-1] - bf: 0
[orb_slam2_ros_mono-1] - color order: RGB (ignored if grayscale)
[orb_slam2_ros_mono-1]
[orb_slam2_ros_mono-1] ORB Extractor Parameters:
[orb_slam2_ros_mono-1] - Number of Features: 2000
[orb_slam2_ros_mono-1] - Scale Levels: 8
[orb_slam2_ros_mono-1] - Scale Factor: 1.2
[orb_slam2_ros_mono-1] - Initial Fast Threshold: 20
[orb_slam2_ros_mono-1] - Minimum Fast Threshold: 7
[orb_slam2_ros_mono-1] [WARN] [orb_slam2_mono]: Map point vector is empty!
[orb_slam2_ros_mono-1] [WARN] [orb_slam2_mono]: Map point vector is empty!
[orb_slam2_ros_mono-1] [WARN] [orb_slam2_mono]: Map point vector is empty!
[orb_slam2_ros_mono-1] [WARN] [orb_slam2_mono]: Map point vector is empty!
[orb_slam2_ros_mono-1] [WARN] [orb_slam2_mono]: Map point vector is empty!
[orb_slam2_ros_mono-1] [WARN] [orb_slam2_mono]: Map point vector is empty!
[orb_slam2_ros_mono-1] [WARN] [orb_slam2_mono]: Map point vector is empty!
[orb_slam2_ros_mono-1] New Map created with 237 points
[ 1284.850620] NOHZ: local_softirq_pending 08

2020年12月26日土曜日

Ubuntu 20.04 + ros2 foxyでORB_SLAM2を使ってみた

Ubuntu 20.04 + ros2 foxyでORB_SLAM2を使ってみた話。

環境

Ubuntu 20.04
ros2 foxy ros noetic(rosbag2によるデータセット再生用)

ros2はソースビルドをした場合にrosbag2_bag_v2をビルドするのがうまくできなかったので、 パッケージ版を使用する。 今回はros1で保存されているbagファイルを再生させるためにrosbag2_bag_v2プラグインを使用したいので、 noeticの環境をセットアップした後にfoxyとrosbag2の環境を準備した。

まずはnoeticのセットアップを行う。 公式ページにしたがって環境セットアップだけする。 必要なパッケージは後でインストールされるのでここでは不要。

sudo apt update && sudo apt install curl gnupg2 lsb-release
sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list'
sudo apt-key adv --keyserver 'hkp://keyserver.ubuntu.com:80' --recv-key C1CF6E31E6BADE8868B172B4F42ED6FBAB17C654

次はros2側のセットアップを行う。foxyを使用し、rosbag2とbag_v2プラグインをセットアップする。 インストールするのはros-foxy-ros2bagとros-foxy-rosbag2*なので注意。 公式ページにしたがって以下のように準備。

curl -s https://raw.githubusercontent.com/ros/rosdistro/master/ros.asc | sudo apt-key add -
sudo sh -c 'echo "deb [arch=$(dpkg --print-architecture)] http://packages.ros.org/ros2/ubuntu $(lsb_release -cs) main" > /etc/apt/sources.list.d/ros2-latest.list'
sudo apt update
sudo apt install ros-foxy-base
sudo apt update && apt-get install -y ros-foxy-ros2bag ros-foxy-rosbag2*

ORB_SLAM2のビルド

必要なソースを取得してきてビルドを行う。

cd <work-dir>
mkdir src
cd src
git clone https://github.com/ros-perception/vision_opencv.git -b ros2
git clone https://github.com/ros-perception/image_common.git -b ros2
git clone https://github.com/appliedAI-Initiative/orb_slam_2_ros.git -b ros2

今回試した際のHash値は次の通りだった。 image_common:4c5053ecf703a58c25a712d1d4a80012f5076a1f
vision_opencv:2026f6d66833e0830f9ce69004d43c9abd1e5fa4 orb_slam_2_ros:0f964c618a2e0b7715c1c6fc49e6b70b2ba2c904

orb_slam_2_rosのLaunchファイルを作成する。 なぜかは分からないけど、コマンドラインからのRemapオプションが受け付けられないので。

今回は動かすだけなので、params_fileはデフォルトのparams_d435_mono.yamlを使用する。 オリジナルのTUM1.yamlを使用しても良い。

import os
from launch import LaunchDescription
from launch.actions import DeclareLaunchArgument
from launch.substitutions import LaunchConfiguration
from launch_ros.actions import Node
from ament_index_python.packages import get_package_share_directory


def generate_launch_description():

    use_sim_time = LaunchConfiguration('use_sim_time')
    params_file = LaunchConfiguration('params_file')
    voc_file = LaunchConfiguration('voc_file')

    remappings = [
        ('/camera/image_raw', '/camera/rgb/image_color'),
        ('/camera/camera_info', '/camera/rgb/camera_info'),
    ]

    return LaunchDescription([
        DeclareLaunchArgument(
            'use_sim_time',
            default_value='false',
            description='Use simulation (Gazebo) clock if true'),

        DeclareLaunchArgument(
            'params_file',
            default_value=os.path.join(
                get_package_share_directory("orb_slam2_ros"),
                'ros', 'config', 'params_d435_mono.yaml'),
            description='Full path to the ROS2 parameters file to use for all launched nodes'),

        DeclareLaunchArgument(
            'voc_file',
            default_value=os.path.join(
                get_package_share_directory("orb_slam2_ros"),
                'orb_slam2', 'Vocabulary', 'ORBvoc.txt'),
            description='Full path to vocabulary file to use'),

        Node(
            parameters=[
              params_file,
              {"voc_file": voc_file,
               "use_sim_time": use_sim_time},
            ],
            package='orb_slam2_ros',
            node_executable='orb_slam2_ros_mono',
            node_name='orb_slam2_mono',
            output='screen',
            remappings=remappings
        )
    ])

あとは依存関係正しく無いと思われるので、orb_slam_2_rosのpackage.xmlを修正する。
image_commonを足しておく。

cd <work-dir>
source /opt/ros/foxy/setup.sh
colcon build --symlink-install

ORB_SLAM2の動作確認

  • window1
source install/setup.sh
ros2 launch orb_slam2_ros TUM1_mono_launch.py
  • window2
source /opt/ros/foxy/setup.sh
rviz2

debug_imageと、point_cloudをAddする。


bagファイルをここから取得する。 テストにはrgbd_dataset_freiburg1_xyzを使用した。

  • window3
source /opt/ros/noetic/setup.sh
source /opt/ros/foxy/setup.sh
ros2 bag play -s rosbag_v2 rgbd_dataset_freiburg1_xyz.bag --read-ahead-queue-size 1000000

以下の通りの結果が得られた。


 

2020年12月9日水曜日

ultra96v2でVitis_AIを試してみた(2020.2)

ultra96v2でVitis_AIを試してみた話。

参考ページ

sdイメージの作成はここ

MNISTの実行はここ

日本語ならここ

環境

Ubuntu 20.04
Vitis 2020.2
Vivado 2020.2
Petalinux 2020.2

準備

ここに書いてあるplatformを準備する。 petalinuxのイメージは記事から変更している。(Vitis-AI関連とparted関連) vitis-ai-devパッケージは念の為入れといたけど動かす分には不要そう。(試して無いのでリポジトリはそのまま)

Platformの作成

VItis-AIにあるDPU-TRDをultra96v2向けに設定する。

cd <path-to-work-dir>
git clone https://github.com/Xilinx/Vitis-AI.git -b v1.2.1
cd DPU-TRD/prj/Vitis

そのままだと合成できなかったので以下3つのファイルを変更した。

  • DPU-TRD/prj/Vitis/Makefile そのままの設定だとultra96v2に乗らないので、Configを変更する。 また、pre-builtの環境を使用しないので指定できるように変更する。

hwhファイルのパスが変更となっているのか、取得できなかったので合わせて修正している。

-XOCC_OPTS = -t ${TARGET} --platform ${SDX_PLATFORM} --save-temps --config ${DIR_PRJ}/config_file/prj_config_102_3dpu_LPD --xp param:compiler.userPostSysLinkOverlayTcl=${DIR_PRJ}/syslink/strip_interconnects.tcl 
+XOCC_OPTS = -t ${TARGET} --platform ${SDX_PLATFORM} --save-temps --config ${DIR_PRJ}/config_file/prj_config --xp param:compiler.userPostSysLinkOverlayTcl=${DIR_PRJ}/syslink/strip_interconnects.tcl

-   v++ -t ${TARGET} --platform ${SDX_PLATFORM} -p binary_container_1/dpu.xclbin --package.out_dir binary_container_1 --package.rootfs $(EDGE_COMMON_SW)/rootfs.ext4 --package.sd_file $(EDGE_COMMON_SW)/Image 
-   cp ./binary_*/link/vivado/vpl/prj/prj.srcs/sources_1/bd/*/hw_handoff/*.hwh ./binary_*/sd_card
+   v++ -t ${TARGET} --platform ${SDX_PLATFORM} -p binary_container_1/dpu.xclbin --package.out_dir binary_container_1 --package.rootfs $(ROOTFS) --package.sd_file $(IMAGE)
+   cp ./binary_*/link/vivado/vpl/prj/*/sources_1/bd/*/hw_handoff/*.hwh ./binary_*/sd_card
  • DPU-TRD/prj/Vitis/config_file/prj_config DPUを1個に設定する。
-freqHz=300000000:DPUCZDX8G_2.aclk
-freqHz=600000000:DPUCZDX8G_2.ap_clk_2
+#freqHz=300000000:DPUCZDX8G_2.aclk
+#freqHz=600000000:DPUCZDX8G_2.ap_clk_2

-sp=DPUCZDX8G_2.M_AXI_GP0:HPC0
-sp=DPUCZDX8G_2.M_AXI_HP0:HP2
-sp=DPUCZDX8G_2.M_AXI_HP2:HP3
+#sp=DPUCZDX8G_2.M_AXI_GP0:HPC0
+#sp=DPUCZDX8G_2.M_AXI_HP0:HP2
+#sp=DPUCZDX8G_2.M_AXI_HP2:HP3

-nk=DPUCZDX8G:2
+nk=DPUCZDX8G:1
  • DPU-TRD/prj/Vitis/dpu_conf.vh b/DPU-TRD/prj/Vitis/dpu_conf.vh DPUの型式を変更する。
-`define B4096 
+`define B512

修正したらmakeする。

source <vitis_install_path>/2020.2/settings.sh
make KERNEL=DPU_SM DEVICE=ultra96v2 SDX_PLATFORM=<path-to-platform>/ultra96v2-platform.xpfm ROOTFS=<path-to-rootfs>/petalinux-image-minimal-ultra96v2ros2-ultra96v2-zynqmp.ext4 IMAGE=<path-to-image>/Image

ビルドが終了したらsdカードを作成する。

dd if=binary_container_1/sd_card.img of=/dev/sdX

MNIST実行ファイルの作成

Vitis-AI-Tutorialを利用する。 dockerのsetupは必要。 理由は不明だが、vitis-ai-cpu:latestはdletがうまく動作しなかったので、 xilinx/vitis-ai:latestを使用。2020.2を使用しているからか?

cd <path-to-work-dir>
git clone https://github.com/Xilinx/Vitis-AI-Tutorials.git -b MNIST=Classification-TensorFlow
    cd Vitis-AI-Tutorials/files
cp <path-to-work-dir>/Vitis-AI/DPU-TRD/prj/Vitis/binary_container_1/sd_card/ultra96v2_4z.hwh .
wget https://www.fpga.co.jp/u96v2_vitisai_2020.1/u96v2.json
./docker_run xilinx/vitis-ai:latest

vitis-aiが起動したらTutorialに従い以下の通り実行する。 6_compileと7_make_targetはultra96v2向けに変更が必要。

source 0_setenv.sh
dlet -f ultra96v2_4z.hwh
export COMPILE_u96v2=${BUILD}/compile_u96v2
export TARGET_u96v2=${BUILD}/target_u96v2
source 1_train.sh
source 2_freeze.sh
source 3_eval_frozen_graph.sh
source 4_quant.sh
source 5_eval_quant_graph.sh

#source 6_compile_u96v2.sh
rm -rf ${COMPILE_u96v2}
mkdir -p ${COMPILE_u96v2}
vai_c_tensorflow --frozen_pb  ${QUANT}/deploy_model.pb --arch ./u96v2.json --output_dir ${COMPILE_u96v2} --net_name ${NET_NAME}

#source 7_make_target_u96v2.sh
# remove previous results
rm -rf ${TARGET_u96v2}
mkdir -p ${TARGET_u96v2}/model_dir

# copy application to target folder
cp ${APP}/*.py ${TARGET_u96v2}
echo "  Copied application to target folder"

# copy elf to target folder
cp ${COMPILE_u96v2}/*.elf ${TARGET_u96v2}/model_dir/.
echo "  Copied elf file(s) to target folder"

# create image files and copy to target folder
mkdir -p ${TARGET_u96v2}/images

python generate_images.py  \
    --dataset=mnist \
    --image_dir=${TARGET_u96v2}/images \
    --image_format=jpg \
    --max_images=10000

ultra96v2の電源を投入し、ログインしてSDのパーティションを広げる。 wifiを有効にしているので、wifi経由でアクセスする場合にはネットワーク接続したあと以下の通り実行する。

ssh 192.168.2.1 -l root
parted
resizepart
2
Yes
100%
quit
resize2fs /dev/mmcblk0p2

このあと、ホストから必要なファイルを転送してチュートリアルを実行する。

cd <path-to-work-dir>/Vitis-AI-Tutorials/files
tar cvfz target_u96v2.tar.gz build/target_u96v2
scp target_u96v2.tar.gz root@192.168.2.1:~/

ターゲット側で以下の通り実行して動作確認する。 2スレッド実行時は-t 2を指定する。

tar xzvf target_u96v2.tar.gz
cd build/target_u96v2
python3 app_mt.py -m model_dir/dpu_customcnn.elf

実行結果

root@ultra96v2-zynqmp:~/build/target_u96v2# python3 app_mt.py -m model_dir/dpu_customcnn.elf 
Command line options:
 --image_dir :  images
 --threads   :  1
 --model     :  model_dir/dpu_customcnn.elf
Pre-processing 10000 images...
Starting 1 threads...
FPS=2679.56, total frames = 10000 , time=3.7320 seconds
Correct: 980 Wrong: 9020 Accuracy: 0.098

root@ultra96v2-zynqmp:~/build/target_u96v2# python3 app_mt.py -m model_dir/dpu_customcnn.elf -t 2
Command line options:
 --image_dir :  images
 --threads   :  2
 --model     :  model_dir/dpu_customcnn.elf
Pre-processing 10000 images...
Starting 2 threads...
FPS=3346.35, total frames = 10000 , time=2.9883 seconds
Correct: 980 Wrong: 9020 Accuracy: 0.098

2020年12月4日金曜日

ultra96v2のembedded acceleration platformをvitis2020.2で作成してみた話その2

ultra96v2のembedded platformをvitis 2020.2で作成した話。 VitisのVecaddを動かすまで。 前回の続き。

準備

vitisで使用するlinux_bifとqemu_args.txtとpmu_args.txtを準備する。

cd <work-dir-path>
mkdir vitis_args

vitis_argsにlinux.bifとqemu_args.txtとpmu_args.txtを保存する。内容は以下の通り。

  • linux.bif
/* linux */
the_ROM_image:
{
    [fsbl_config] a53_x64
    [bootloader] <fsbl-ultra96v2-zynqmp.elf>
    [destination_device=pl] <bitstream>
    [pmufw_image] <pmu-firmware-ultra96v2-zynqmp.elf>
    [destination_cpu=a53-0, exception_level=el-3, trustzone] <arm-trusted-firmware.elf>
    [load=0x100000] <system.dtb>
    [destination_cpu=a53-0, exception_level=el-2] <u-boot.elf>
}
  • qemu_args.txt
    system.dtbは2020.1からBOOT.binで書き込むようにしている模様。
    ##work-dir-path##は環境に合わせて置き換えてください。
-M arm-generic-fdt
-net nic -net nic -net nic
-serial /dev/null -serial mon:stdio
-display none
-device loader,file=##work-dir-path##/petalinux/build/tmp/deploy/images/ultra96v2-zynqmp/arm-trusted-firmware.elf,cpu-num=0
-device loader,file=<u-boot.elf>
-device loader,file=##work-dir-path##/petalinux/build/tmp/deploy/images/ultra96v2-zynqmp/system.dtb,addr=0x100000
-drive file=##work-dir-path##/petalinux/build/tmp/deploy/images/ultra96v2-zynqmp/petalinux-image-minimal-ultra96v2ros2-ultra96v2-zynqmp.wic.qemu-sd,if=sd,id=sd0,format=raw,index=0
-boot mode=3
-global xlnx,zynqmp-boot.cpu-num=0
-global xlnx,zynqmp-boot.use-pmufw=true
-m 4G
  • pmu_args.txt
    ##work-dir-path##は環境に合わせて置き換えてください。
-M microblaze-fdt
-serial /dev/null -serial /dev/null
-display none
-device loader,file=##work-dir-path##/build/tmp/deploy/images/ultra96v2-zynqmp/pmu-ultra96v2-zynqmp.elf
-device loader,addr=0xfd1a0074,data=0x1011003,data-len=4
-device loader,addr=0xfd1a007C,data=0x1010f03,data-len=4

Platformの作成

ここを参考にplatformを作成していく。 日本語ならこちら

export LIBRARY_PATH=/usr/lib/x86_64-linux-gnu
source <path-to-vitis-installation>/2020.2/settings64.sh
cd <work-dir-path>
mkdir vitis_pfm
cd vitis_pfm
mkdir wksp1
vitis -workspace wksp1

create platformを行い、platform名はultra96v2-platform、xsaは/xsa_dir/ultra96v2_4z/ultra96v2_4z.xsaを指定する。

linux domainの設定を以下のように行う。

Bif File: <work-dir-path>/vitis_args/linux.bif
Boot Components Directory:<work-dir-path>/boot
Linux Image Directory:<work-dir-path>/boot
Linux Rootfs:<work-dir-path>/petalinux/build/tmp/deploy/images/ultra96v2-zynqmp/petalinux-image-minimal-ultra96v2ros2-ultra96v2-zynqmp.ext4
Bootmode:SD
Sysroot Directory:<work-dir-path>/sdk/sysroots/aarch64-xilinx-linux
QEMU Data:<work-dir-path>/petalinux/build/tmp/deploy/images/ultra96v2-zynqmp
QEMU Arguments:<work-dir-path>/vitis_args/qemu_args.txt
PMU QEMU Arguments:<work-dir-path>vitis_args/pmu_args.txt

platformをbuildする。Application projectを作成するところまでは同じだが、その後のUIが少し変わっている。


 

vecadd_systemを開いてActive Build Configurationを変更してAssistant上でBuildする。

また、最初にリソースファイルを作成するようになったためか、buildボタンを押してしばらく反応が無かったりする。ビルドが始まるまで気長に待つ必要があった。 ビルドの際にkernelとhw_linkとhostプログラムを分けてビルドしてくれるようになったり、変更後のビルドで影響ある部分だけビルドしてくれたりと少し賢くなったけど、初動は遅くなったイメージを持った。

Platformのテスト

ここを参考にplatformのテストを行う。 日本語ならこちら

application project nameはvecaddとした。 途中、Kernel Imageが空欄となっているので、/boot/Imageを指定しておく。

Emulation-SW

まずはvecadd_systemを開いてActive Build ConfigurationをEmulation-SWに変更してBuildする。 Launch on Emulatorを試す。 RunかDebugのボタンを押し、Launch SW Emulatorを選択する。 Application Timelineはデフォルトで有効になっていないので、有効にする場合はRun ConfigurationsからXilinx Runtime ProfilingのConfigurationをEditして、OpenCL detailed profile summary and timeline traceを選択する。


 
 

結果は以前と変化ないので省略。

また、2020.2ではEmulation-SWのLaunch on Hardwareに相当する操作はできなくなっていた。 アクセラレーション前の実行時間を計測するのに便利そうと思っていたのに。 直接動かしたり、コマンドラインからのデバッグ実行ならばいけるかもしれないので、後で試す。 (または、Emulatorが起動したとしてもTCFの接続先を実機にしておけば目的は達成されるかも)

Emulation-HW

vecadd_systemを開いてActive Build ConfigurationをEmulation-HWに変更してBuildする。 Launch Emulator in GUI modeを選択するとvivado simulatorが立ち上がるのが見える。


 

GUI modeの場合は手動で実行されるまでQEMUは実行を待機している模様。必要な信号線をaddした後にrun allすることを想定しているのかな。


 

今回Emulation-HWの動作が期待通りとなることを確認したけど、v2020.1でEmulation-HW(Launch on Hardware)は何をやっていたことになるのか謎。 Timelineあったけど、普通にHardwareの動作していただけ?

Hardware

vecadd_systemを開いてActive Build ConfigurationをHardwareに変更してBuildする。 SDの準備はv2020.1と同じ。sd_card.imgをddすれば良い。

また、これもv2020.1の時と同じであるが、Lunch Target Connectionで実機に接続できるように設定を行う。Emulation-SWのLaunch Target Connectionを参照。

実行結果はTEST PASSEDが出るだけで特別言うことも無いので省略。

Vitis Analyzer 

それぞれの実行結果を記載する。
Emulation-HWの結果がエラい長いけどこんな感じでいいのか?

Emulation-SW



 

Emulation-HW

 


Hardware



 

 

2020年12月3日木曜日

ultra96v2のembedded acceleration platformをvitis2020.2で作成してみた話その1

ultra96v2のembedded platformを作成した話。 今回はHW-ComponentとSW-Componentを作成するところまで。 やり方はは2020.1のときと同じ

準備

使用するのは以下のもの。 

  • cmake
  • make
  • repo
  • Vivado 2020.2
  • Vitis 2020.2

cmake と repoが無い場合は以下の通り入手可能。

apt install cmake
curl -k https://storage.googleapis.com/git-repo-downloads/repo > repo
chmod a+x repo
sudo mv repo /usr/local/bin/

HW-Componentの作成

ここを参考にしてブロックデザインを作成している。 日本語ならこちら

なお、Emulation-HWを実行するためにひと手間加えている。 参考にしたのは公式ドキュメントの、 “Enabling Hardware Emulation for Extensible XSA”。
明確にEmbedded環境に関する話は書いていないが、Versal向けの設定をEmbedded環境向けに適用してみたところ、 期待通りにEmulation動作したので採用した。 (公式の記載通りではないので使用する際は自己責任です) 行った内容はブロックデザインを開き以下の通りplatform_stateの設定と、 PS部のSELECTED_SIM_MODELをrtl=>tlmに変更した。 この変更をしないとEmulation-HW実行時にQEMUが動作開始できないのだと思う。

set_property platform.platform_state "pre_synth" [current_project]
set_property SELECTED_SIM_MODEL tlm [get_bd_cells /zynq_ultra_ps_e_0]

 


公式ドキュメントに記載されているwrite_hw_platformのオプション-hw_emuは2020.1以降は多分不要。(どこかで非推奨と書いてあったような気もする。つけて無くても必要なファイルは出力されるっぽい) 

ただ、2019.2だと必要と思われる。(オプションのあるなしでファイルサイズがだいぶ違ったので) 

GUIだと、Vivado File > Export > Export Platform からHardware and hardware emulationを選択すれば問題はなさそう。このときpre_synthの設定もされる。(はず。tclで設定してしまったのでよくわからない。)

以下の手順はすでに実施済のものを生成し、xsa_dirにxsaファイルをコピーする。

cd <work-dir-path>
source <path-to-vivado-installation>/2020.1/settings64.sh
git clone https://github.com/akira-nishiyama/vivado_cmake_helper.git
git clone https://github.com/akira-nishiyama/ultra96v2_4z.git -b v2020.2
source vivado_cmake_helper/setup.sh
mkdir xsa_dir
cd ultra96v2_4z
mkdir build
cd build
cmake .. -DCMAKE_INSTALL_PREFIX=../../xsa_dir
make
make install
cd ../../

buildディレクトリ以下にvivadoのプロジェクトが作られるので、これを操作してカスタマイズも可能。カスタマイズ後はscriptsフォルダにExport Blockdesignをアップデートする必要がある。また、ソース等を編集、追加した場合はsrcフォルダにRTLファイルをコピーしてバージョン管理しないと再生成できない。(ソースファイルなどはプロジェクトにインポートしておかないとxsaファイルが作成できないことが理由)

SW-Componentの作成

mkdir petalinux
mkdir sdk
mkdir boot
cd PetaLinux
repo init -u http://github.com/akira-nishiyama/petalinux-ros2-manifests -b feature-v2020.2
repo sync
source setupsdk
#edit conf/local.conf

conf/local.confを開き、下記の通りHDF設定を修正する。

HDF_EXT_ultra96v2-zynqmp = "xsa"
HDF_BASE_ultra96v2-zynqmp = "file://"
HDF_PATH_ultra96v2-zynqmp = "<work-dir-path>/xsa_dir/ultra96v2_4z/ultra96v2_4z.xsa"

bitbakeする。

MACHINE=ultra96v2-zynqmp bitbake petalinux-image-minimal-ultra96v2ros2
MACHINE=ultra96v2-zynqmp bitbake petalinux-image-minimal-ultra96v2ros2 -c do_populate_sdk

動作のためにQEMUを起動する。

cp <path-to-vitis-installation>/2020.1/data/emulation/dtbs/zynqmp/pmu_rom_qemu_sha3.elf tmp/deploy/image/tmp/deploy/images/ultra96v2-zynqmp/pmu-rom.elf
MACHINE=ultra96v2-zynqmp runqemu

起動したら以下の通り実行して動作を確認する。

root@ultra96v2-zynqmp:~# source ros_setup.sh
root@ultra96v2-zynqmp:~# (sleep 5; ros2 topic pub /chatter std_msgs/String "data: Hello world") &
root@ultra96v2-zynqmp:~# ros2 topic echo /chatter &
publisher: beginning loop
publishing #1: std_msgs.msg.String(data='Hello world')

data: Hello world
---
publishing #2: std_msgs.msg.String(data='Hello world')

data: Hello world
---
publishing #3: std_msgs.msg.String(data='Hello world')

終了するにはpoweroffを入力し、Ctrl-a, Ctrl-x。

sdkを展開する

tmp/deploy/sdk/petalinux-glibc-x86_64-petalinux-image-minimal-ultra96v2ros2-aarch64-ultra96v2-zynqmp-toolchain-2020.1.sh -d ../../sdk/

必要なデータをbootフォルダにコピーしておく。 2020.2ではVitisで絶対パス指定がうまく行かなくなっていたので、 ブートデータ作成に必要なファイルはすべてbootフォルダに保存する。

cp tmp/deploy/images/ultra96v2-zynqmp/fsbl-ultra96v2-zynqmp.elf ../../boot/
cp tmp/deploy/images/ultra96v2-zynqmp/arm-trusted-firmware.elf ../../boot/
cp tmp/deploy/images/ultra96v2-zynqmp/pmu-firmware-ultra96v2-zynqmp.elf ../../boot/
cp tmp/deploy/images/ultra96v2-zynqmp/system.dtb ../../boot/
cp tmp/deploy/images/ultra96v2-zynqmp/u-boot.elf ../../boot/
cp tmp/deploy/images/ultra96v2-zynqmp/boot.scr ../../boot/
cp tmp/deploy/images/ultra96v2-zynqmp/uEnv.txt ../../boot/
cp tmp/deploy/images/ultra96v2-zynqmp/Image ../../boot/