関心領域
関心領域(ROI)は、ユーザーが定義した関心領域外の点を除去することで、キャプチャ時間を短縮できます。ROI は、3D 空間上のボックス、カメラからの z 値の範囲、またはその両方で指定できます。
ROI は、アプリケーションがシーン全体ではなく視野の一部のみを必要とする場合に役立ちます。たとえば、ビン内の部品を検出したい場合、検出アルゴリズムは、シーン全体ではなくビンの 内部 に絞り込まれた検索スペースから恩恵を受けることができます。
ボックスとしての ROI
ROI ボックスフィルタリングの利点
ROI ボックスフィルタリングは、以下のいずれかの利点をもたらします。
- キャプチャ時間の短縮(点群の品質は同等)
転送、コピー、処理するデータ量が少なくなり、以下のいずれか、または両方で大幅な速度向上が実現します。
性能の低い GPU(Intel/Jetson)
高負荷な点群処理( Omni/Stripe 、5MP 解像度、複数取得 HDR)
- 点群の品質が向上(キャプチャ時間は同等)
さまざまな設定を使用できます。例:
Phase の代わりに Stripe/Omni エンジン
Sampling::Pixel による高解像度化
HDR での取得回数の追加
- より安価な GPU(キャプチャ時間は同等)
処理するデータ量が少ないため、処理速度が遅くても対応でき、例えば以下のような選択肢が使用可能です。
専用の Nvidia の代わりに Intel/Jetson
- より安価なネットワークカード(キャプチャ時間は同等)
転送するデータ量が少ないため、ネットワークが飽和状態になることなく、例えば以下のような選択肢が使用可能です。
2.5G/10G の代わりに 1G
10G の代わりに 2.5G
パラメータ Settings::RegionOfInterest::Box を使用すると、ROI をボックスとして使用できます。3 つの点 がボックスの基底面を定義し、2 つのエクステント が高さを定義します。
3 つの点(
Box::PointO、Box::PointA、Box::PointB)は、3D のカメラ座標系で指定され、ボックスの基底面を定義します。基底面をフレームにバインドして長方形を完成させるために、4 番目の点が自動的に検出されます。3 つの点は、次の順序で 2 つのベクトルを構成します。点 O はベクトルの原点です。
点 A は原点から最初のベクトルにまたがります。
点 B は原点から 2 番目のベクトルにまたがります。
2 つのエクステント(
Box::Extents)は、ベースフレームをボックス状に押し出します。点 O、点 A、点 B で定義されるベクトル OA と OB の外積がエクステントの方向を示します。したがって、負のエクステントは外積とは逆方向に押し出します。
ROI ボックスの図: ボックスの底面を定義するために 3 つの点 (O、A、B) が指定され、長方形を完成させるために 4 番目の点が自動的に選択されます。4 つの点で定義された境界面を上方 (+E2) と下方 (-E1) の両方に押し出し、ボックスを完成させることができます。
注釈
ボックスのベースフレームは、角が垂直な長方形に 制限されません。したがって、底面として平行四辺形を作成し、ボックスとして平行六面体を作成することができます。
Tip
経験則として 3 点を選択する場合は、次の手順を使用します。
任意のコーナーに点 O を選択します。
点 B が点 A に対して 反時計回り の位置になるように点 A を選択します。
点 A に対して反時計回りの位置に点 B を選択します。
このようにして、エクステントはカメラに向かって正の方向になります。
パフォーマンス
ROI ボックスフィルタリングにより、キャプチャ時間を大幅に短縮できます。時間短縮の大部分は、以下の表に示すコンポーネントを 1 つ以上使用した場合の点群処理によるものです。露光時間が短い場合(約 3000 マイクロ秒未満)には、さらにキャプチャ時間の短縮効果が得られます。
時間短縮 |
GPU |
Vision Engine |
Sampling::Pixel |
HDR |
|---|---|---|---|---|
大幅 |
ローエンドの Intel & Jetson |
Omni |
フル解像度 |
取得回数が多いほど時間短縮効果も大きい |
中程度 |
ハイエンドの Intel & Jetson |
Stripe |
2x2 サブサンプリング |
|
最小 |
専用の Nvidia |
Phase |
4x4 サブサンプリング |
ROI が小さいほど、キャプチャ時間は短くなります。ピクセル行数が少ない ROI は、ピクセル列数が少ない ROI に比べて、わずかに高速なキャプチャを実現します。
ロボットピッキングの例
以下は、低スペックの PC(Intel Iris Xe 統合型ノート PC GPU と 1G ネットワークカード)を使用した、ROI ボックスフィルタリングが有効な高負荷の点群処理の例です。
固定マウントされた Zivid 2+ MR130 カメラを使用して、ロボットが 600 x 400 x 300 mm のビンからアイテムをピッキングしている場面を想像してください。ロボットのクリアランスを確保するため、カメラはビン上部から 1700 mm の距離に設置され、視野は約 1000 x 800 mm となります。この距離にカメラを設置すると、視野の大部分が ROI の範囲外になるため、各辺から約 20〜25% のピクセル列/行をトリミングできます。下の表に示すように、ROI ボックスフィルタリングを使用することで、キャプチャ時間を大幅に短縮できます。
Zivid 2 - プリセット |
取得時間 |
キャプチャ時間 |
||
|---|---|---|---|---|
ROI なし |
ROI |
ROI なし |
ROI |
|
製造業 鏡面 |
0.64 s |
0.64 s |
2.1 s |
1.0 s |
消費財 品質 |
0.90 s |
0.88 s |
5.0 s |
3.0 s |
ロボット誘導 / 組立の例
以下は、低スペックの PC(Nvidia MX 250 ノート PC GPU と 1G ネットワークカード)を使用した高負荷の点群処理の例です。この例では、ROI ボックスフィルタリングが非常に有効です。
ロボット誘導(穴あけ、溶接、接着など)や組立(ペグ挿入など)といったアプリケーションによっては、ROI が撮像距離におけるカメラの視野(FOV)に比べて非常に小さくなる場合があります。このような場合、ROI は点群の点のわずか 5〜10% を占めるに過ぎないため、ROI ボックスフィルタリングを利用することでキャプチャ時間を大幅に短縮できます(下表参照)。
Zivid 2 - プリセット |
取得時間 |
キャプチャ時間 |
||
|---|---|---|---|---|
ROI なし |
ROI |
ROI なし |
ROI |
|
製造業 鏡面 |
0.65 s |
0.63 s |
1.3 s |
0.7 s |
製造業 細部形状 |
0.70 s |
0.65 s |
5.0 s |
0.8 s |
ROI ボックスを後処理として適用
ROI ボックスフィルタは、すでにキャプチャ済みの点群に対して、 PointCloud::maskByRegionOfInterest() (インプレース)または PointCloud::maskedByRegionOfInterest() (新しいコピーを返す)を使用して、後処理ステップとして適用することもできます。これにより、ROI が変更された場合に再キャプチャする必要がなくなります。例については、 ROIBoxViaArucoMarker および ROIBoxViaCheckerboard のサンプルを参照してください。
std::cout << "Creating a masked version of the point cloud based on ROI" << std::endl;
const auto roiPointCloud = pointCloud.maskedByRegionOfInterest(roiSettings);
std::cout << "Displaying the ROI-filtered point cloud" << std::endl;
visualizeZividPointCloud(roiPointCloud);
これは、ロボットベースフレームにワークスペース ROI ボックスを一度だけ定義し、カメラの視点に関係なくすべてのキャプチャに適用できる、ロボット搭載のセットアップにおいて特に有用です。 StitchUsingRobotMountedCamera サンプルでは、各点群をベースフレームに変換し、固定されたワークスペース ROI ボックスでマスキングすることで、これを実現しています。
const auto smallWorkspaceRoiBox = Zivid::Settings::RegionOfInterest::Box{
Zivid::Settings::RegionOfInterest::Box::Enabled::yes,
Zivid::Settings::RegionOfInterest::Box::PointO{ -150, 300, 50 },
Zivid::Settings::RegionOfInterest::Box::PointA{ -150, 600, 50 },
Zivid::Settings::RegionOfInterest::Box::PointB{ 150, 300, 50 },
Zivid::Settings::RegionOfInterest::Box::Extents{ -75, 40 },
};
auto pointCloud = frame.pointCloud();
pointCloud.transform(baseToCameraTransform);
pointCloud.maskByRegionOfInterest(workspaceRoiBox);
var smallWorkspaceRoiBox = new Zivid.NET.Settings.RegionOfInterestGroup.BoxGroup
{
Enabled = true,
PointO = new Zivid.NET.PointXYZ { x = -150, y = 300, z = 50 },
PointA = new Zivid.NET.PointXYZ { x = -150, y = 600, z = 50 },
PointB = new Zivid.NET.PointXYZ { x = 150, y = 300, z = 50 },
};
smallWorkspaceRoiBox.Extents = new Zivid.NET.Range<double>(-75, 40);
var pointCloud = frame.PointCloud;
pointCloud.Transform(baseToCameraTransform);
pointCloud.MaskByRegionOfInterest(workspaceRoiBox);
small_workspace_roi_box = zivid.Settings.RegionOfInterest.Box(
enabled=True,
point_o=[-150, 300, 50],
point_a=[-150, 600, 50],
point_b=[150, 300, 50],
extents=(-75, 40),
)
point_cloud = frame.point_cloud()
point_cloud.transform(base_to_camera_transform)
point_cloud.mask_by_region_of_interest(workspace_roi_box)
深度範囲としての ROI
パラメータ Settings::RegionOfInterest::Depth を使用すると、ROI をカメラからの z 値の範囲として使用でき、次のしきい値内の点が保持されます。
最小深度しきい値 (
RegionOfInterest::Depth::minValue)最大深度しきい値 (
RegionOfInterest::Depth::maxValue)
これは、シーンの前景または背景に、フィルタリングによって除去したい点がある場合に便利です。z 値はカメラの座標系で指定されるため、カメラに対して垂直方向にフィルタリングが行われます。したがって、カメラをキャプチャ対象の物体に対して垂直に設置した場合に最も効果的です。
パフォーマンス
ROI を深度範囲として使用しても、キャプチャ時間は 短縮されません。これは後処理として適用されるため、キャプチャ時間が数ミリ秒増加します。ただし、GPU に直接適用されるため、サードパーティ製の実装よりも高速である可能性があります。
ROI を深度マップとして使用すると、3D キャプチャごとに以下の処理時間が追加されます。
アプリケーションでの ROI の使用に関する詳細なチュートリアルについては 関心領域のチュートリアル を参照してください。
バージョン履歴
SDK |
変更点 |
|---|---|
2.18.0 |
再キャプチャせずに ROI ボックスを後処理として適用するための |
2.12.0 |
ROI ボックスフィルタリングにより、キャプチャ時間を短縮できます。 |
2.9.0 |
ROI API が追加されました。 |