関心領域のチュートリアル
関心領域(ROI)は、ユーザーが定義した関心領域外の点を除去することで、撮影時間を短縮できます。ROI は、3D 空間上のボックス、カメラからの z 値の範囲、またはその両方で指定できます。
ROI は、アプリケーションがシーン全体ではなく視野の一部のみを必要とする場合に役立ちます。たとえば、ビン内の一部を検出したい場合、検出アルゴリズムは、シーン全体ではなく、ビンの「内部」にある検索スペースの縮小から恩恵を受ける可能性があります。
ボックスとしての ROI
ROI ボックスフィルタリングの利点
ROI ボックスフィルタリングは、以下のいずれかの利点をもたらします。
- 取得時間の短縮(点群の品質は同等)
転送、コピー、処理するデータ量が少なくなり、以下のいずれか、または両方で大幅な速度向上が実現します。
性能の低い GPU(Intel/Jetson)
高度な点群処理(オムニ/ストライプ、5MP 解像度、複数取得 HDR)
- 点群の品質が向上しました(取得時間は同じです)
さまざまな設定を使用できます。例えば:
Phase Engineの代わりにストライプ/オムニエンジン
Sampling::Pixel による高解像度化
HDR での買収をさらに追加
- より安価な GPU(キャプチャ時間は同じ)
処理するデータ量が少ないため、処理速度は遅くなりますが、例えば以下のような処理が可能になります。
専用の Nvidia ではなく、Intel/Jetson を採用
- より安価なネットワークカード(キャプチャ時間は同じ)
転送するデータ量が少ないため、ネットワークが飽和状態になることはなく、例えば以下のようなことが可能になります。
2.5G/10G ではなく 1G
10G ではなく 2.5G
パラメータ Settings::RegionOfInterest::Box を使用すると、ROI をボックスとして使用できます。3 つの点 がボックスの基底面を定義し、2 つのエクステント が高さを定義します。
3 つの点(
Box::PointO、Box::PointA、Box::PointB)は、3D のカメラ座標系で指定され、ボックスの基底面を定義します。基底面をフレームにバインドして長方形を完成させるために、4 番目の点が自動的に検出されます。3 つの点は、次の順序で 2 つのベクトルを構成します。点 O はベクトルの原点です。
点 A は原点から最初のベクトルにまたがります。
点 B は原点から 2 番目のベクトルにまたがります。
2 つのエクステント(
Box::Extents)は、ベースフレームをボックス状に押し出します。点 O、点 A、点 B で定義されるベクトル*OA*と*OB*の外積がエクステントの方向を示します。したがって、負のエクステントは外積とは逆方向に押し出します。
ROI ボックスの図: ボックスの底面を定義するために 3 つの点 (O、A、B) が指定され、長方形を完成させるために 4 番目の点が自動的に選択されます。 4 つの点で定義された境界面を上方 (+E2) と下方 (-E1) の両方に押し出し、ボックスを完成させることができます。
注釈
ボックスのベース フレームは、角が垂直な長方形に制限されません**。したがって、底辺として平行四辺形を作成し、箱として直方体を作成することができます。
Tip
経験則として 3 点を選択する場合は、次の手順を使用します。
任意のコーナーの点 O を選択します。
点 B が点 A に対して 反時計回り の位置になるように点 A を選択します。
点 A に対して反時計回りの位置にある点 B を選択します。
このようにして、範囲はカメラに向かって正の方向になります。
Zivid Studio で ROI ボックスを設定する
Zivid Studio で ROI ボックスを作成したら、設定の YAML ファイルをエクスポートして、アプリケーションに読み込むことができます。
const auto settingsFile = "Settings.yml";
std::cout << "Loading settings from file: " << settingsFile << std::endl;
const auto settingsFromFile = Zivid::Settings(settingsFile);
ROI ボックスの例とパフォーマンス
ロボットピッキングの例
以下は、低スペックの PC(Intel Iris Xe 統合型ノート PC GPU と 1G ネットワークカード)を使用した、ROI ボックスフィルタリングが有効な、負荷の高い点群処理の例です。
ロボットが固定設置された Zivid 2+ MR130 カメラを使用して、600 x 400 x 300 mm のビンからアイテムをピックアップしている様子を想像してください。ロボットのクリアランスを確保するため、カメラはビンの上部から 1700 mm の距離に設置され、視野は約 1000 x 800 mm となります。この距離にカメラを設置すると、視野の大部分が ROI の範囲外になるため、各辺から約 20~25% のピクセル列/行を切り取ることができます。下の表からわかるように、ROI ボックスフィルタリングを使用することで、キャプチャ時間を大幅に短縮できます。
Zivid 2 - プリセット |
取得時間 |
撮影時間 |
||
|---|---|---|---|---|
ROI がない |
投資対効果(ROI) |
ROI がない |
投資対効果(ROI) |
|
製造用鏡面 |
0.64 秒 |
0.64 秒 |
2.1 秒 |
1.0 秒 |
消費財の品質 |
0.90 秒 |
0.88 秒 |
5.0 秒 |
3.0 秒 |
ロボット誘導/組立例
以下は、低スペックの PC(Nvidia MX 250 ノート PC 用 GPU と 1G ネットワークカード)を使用した、負荷の高い点群処理の例です。この例では、ROI ボックスフィルタリングが非常に有効です。
ロボット誘導(穴あけ、溶接、接着など)や組み立て(穴あけなど)といった用途によっては、ROI(関心領域)が撮像距離におけるカメラの視野(FOV)に比べて非常に小さくなる場合があります。このような場合、ROI は点群の点のわずか 5~10%を占めるに過ぎないため、ROI ボックスフィルタリングを利用することで取得時間を大幅に短縮できます(下表参照)。
Zivid 2 - プリセット |
取得時間 |
撮影時間 |
||
|---|---|---|---|---|
ROI がない |
投資対効果(ROI) |
ROI がない |
投資対効果(ROI) |
|
製造用鏡面 |
0.65 秒 |
0.63 秒 |
1.3 秒 |
0.7 秒 |
小型部品の製造 |
0.70 秒 |
0.65 秒 |
5.0 秒 |
0.8 秒 |
深度範囲としての ROI
パラメータ Settings::RegionOfInterest::Depth を使用すると、ROI をカメラからの z 値の範囲として使用できます。この場合、以下のしきい値の範囲内にある点のみが保持されます。
最小深度しきい値 (
RegionOfInterest::Depth::minValue)最大深度しきい値 (
RegionOfInterest::Depth::maxValue)
これは、シーンの前景または背景に、フィルタリングによって除去したい点がある場合に便利です。z 値はカメラの座標系で指定されるため、カメラに対して垂直方向にフィルタリングが行われます。したがって、カメラを撮影対象物に対して垂直に設置した場合に最も効果的です。
ROI API
ROI は カメラ設定 の一部であり、Zivid SDK のメイン設定オブジェクトの下に設定されます。したがって、これは*キャプチャ時に*適用され、その後の点群オブジェクトには適用されません。
Tip
ROI をボックスとして使うとキャプチャ時間が短縮されますが、ROI を深度範囲として使うと 短縮されません。
Zivid::Settings settings{
Zivid::Settings::Color{ settings2D },
Zivid::Settings::Engine::stripe,
Zivid::Settings::RegionOfInterest::Box::Enabled::yes,
Zivid::Settings::RegionOfInterest::Box::PointO{ 1000, 1000, 1000 },
Zivid::Settings::RegionOfInterest::Box::PointA{ 1000, -1000, 1000 },
Zivid::Settings::RegionOfInterest::Box::PointB{ -1000, 1000, 1000 },
Zivid::Settings::RegionOfInterest::Box::Extents{ -1000, 1000 },
Zivid::Settings::RegionOfInterest::Depth::Enabled::yes,
Zivid::Settings::RegionOfInterest::Depth::Range{ 200, 2000 },
Zivid::Settings::Processing::Filters::Cluster::Removal::Enabled::yes,
Zivid::Settings::Processing::Filters::Cluster::Removal::MaxNeighborDistance{ 10 },
Zivid::Settings::Processing::Filters::Cluster::Removal::MinArea{ 100 },
Zivid::Settings::Processing::Filters::Hole::Repair::Enabled::yes,
Zivid::Settings::Processing::Filters::Hole::Repair::HoleSize{ 0.2 },
Zivid::Settings::Processing::Filters::Hole::Repair::Strictness{ 1 },
Zivid::Settings::Processing::Filters::Noise::Removal::Enabled::yes,
Zivid::Settings::Processing::Filters::Noise::Removal::Threshold{ 7.0 },
Zivid::Settings::Processing::Filters::Noise::Suppression::Enabled::yes,
Zivid::Settings::Processing::Filters::Noise::Repair::Enabled::yes,
Zivid::Settings::Processing::Filters::Outlier::Removal::Enabled::yes,
Zivid::Settings::Processing::Filters::Outlier::Removal::Threshold{ 5.0 },
Zivid::Settings::Processing::Filters::Reflection::Removal::Enabled::yes,
Zivid::Settings::Processing::Filters::Reflection::Removal::Mode::global,
Zivid::Settings::Processing::Filters::Smoothing::Gaussian::Enabled::yes,
Zivid::Settings::Processing::Filters::Smoothing::Gaussian::Sigma{ 1.5 },
Zivid::Settings::Processing::Filters::Experimental::ContrastDistortion::Correction::Enabled::yes,
Zivid::Settings::Processing::Filters::Experimental::ContrastDistortion::Correction::Strength{ 0.4 },
Zivid::Settings::Processing::Filters::Experimental::ContrastDistortion::Removal::Enabled::no,
Zivid::Settings::Processing::Filters::Experimental::ContrastDistortion::Removal::Threshold{ 0.5 },
Zivid::Settings::Processing::Resampling::Mode::upsample2x2,
Zivid::Settings::Diagnostics::Enabled::no,
};
setSamplingPixel(settings, camera);
std::cout << settings << std::endl;
var settings = new Zivid.NET.Settings()
{
Engine = Zivid.NET.Settings.EngineOption.Stripe,
RegionOfInterest =
{
Box = {
Enabled = true,
PointO = new Zivid.NET.PointXYZ{ x = 1000, y = 1000, z = 1000 },
PointA = new Zivid.NET.PointXYZ{ x = 1000, y = -1000, z = 1000 },
PointB = new Zivid.NET.PointXYZ{ x = -1000, y = 1000, z = 1000 },
Extents = new Zivid.NET.Range<double>(-1000, 1000),
},
Depth =
{
Enabled = true,
Range = new Zivid.NET.Range<double>(200, 2000),
},
},
Processing =
{
Filters =
{
Cluster =
{
Removal = { Enabled = true, MaxNeighborDistance = 10, MinArea = 100}
},
Hole =
{
Repair = { Enabled = true, HoleSize = 0.2, Strictness = 1 },
},
Noise =
{
Removal = { Enabled = true, Threshold = 7.0 },
Suppression = { Enabled = true },
Repair = { Enabled = true },
},
Outlier =
{
Removal = { Enabled = true, Threshold = 5.0 },
},
Reflection =
{
Removal = { Enabled = true, Mode = ReflectionFilterModeOption.Global },
},
Smoothing =
{
Gaussian = { Enabled = true, Sigma = 1.5 },
},
Experimental =
{
ContrastDistortion =
{
Correction = { Enabled = true, Strength = 0.4 },
Removal = { Enabled = true, Threshold = 0.5 },
},
},
},
Resampling = { Mode = Zivid.NET.Settings.ProcessingGroup.ResamplingGroup.ModeOption.Upsample2x2 },
},
Diagnostics = { Enabled = false },
};
settings.Color = settings2D;
SetSamplingPixel(ref settings, camera);
Console.WriteLine(settings);
settings = zivid.Settings()
settings.engine = zivid.Settings.Engine.stripe
settings.region_of_interest.box.enabled = True
settings.region_of_interest.box.point_o = [1000, 1000, 1000]
settings.region_of_interest.box.point_a = [1000, -1000, 1000]
settings.region_of_interest.box.point_b = [-1000, 1000, 1000]
settings.region_of_interest.box.extents = [-1000, 1000]
settings.region_of_interest.depth.enabled = True
settings.region_of_interest.depth.range = [200, 2000]
settings.processing.filters.cluster.removal.enabled = True
settings.processing.filters.cluster.removal.max_neighbor_distance = 10
settings.processing.filters.cluster.removal.min_area = 100
settings.processing.filters.hole.repair.enabled = True
settings.processing.filters.hole.repair.hole_size = 0.2
settings.processing.filters.hole.repair.strictness = 1
settings.processing.filters.noise.removal.enabled = True
settings.processing.filters.noise.removal.threshold = 7.0
settings.processing.filters.noise.suppression.enabled = True
settings.processing.filters.noise.repair.enabled = True
settings.processing.filters.outlier.removal.enabled = True
settings.processing.filters.outlier.removal.threshold = 5.0
settings.processing.filters.reflection.removal.enabled = True
settings.processing.filters.reflection.removal.mode = (
zivid.Settings.Processing.Filters.Reflection.Removal.Mode.global_
)
settings.processing.filters.smoothing.gaussian.enabled = True
settings.processing.filters.smoothing.gaussian.sigma = 1.5
settings.processing.filters.experimental.contrast_distortion.correction.enabled = True
settings.processing.filters.experimental.contrast_distortion.correction.strength = 0.4
settings.processing.filters.experimental.contrast_distortion.removal.enabled = False
settings.processing.filters.experimental.contrast_distortion.removal.threshold = 0.5
settings.processing.resampling.mode = zivid.Settings.Processing.Resampling.Mode.upsample2x2
settings.diagnostics.enabled = False
settings.color = settings_2d
_set_sampling_pixel(settings, camera)
print(settings)
後処理として ROI ボックスを適用する
ROI ボックスフィルタは、すでにキャプチャした点群に対して、 PointCloud::maskByRegionOfInterest() (インプレース)または PointCloud::maskedByRegionOfInterest() (新しいコピーを返す)を使用して、後処理のステップとして適用することもできます。これにより、ROI が変更されても再キャプチャする必要がなくなります。例については、ROIBoxViaArucoMarker および ROIBoxViaCheckerboard のサンプルを参照してください。
std::cout << "Creating a masked version of the point cloud based on ROI" << std::endl;
const auto roiPointCloud = pointCloud.maskedByRegionOfInterest(roiSettings);
std::cout << "Displaying the ROI-filtered point cloud" << std::endl;
visualizeZividPointCloud(roiPointCloud);
これは特に、ロボット搭載のセットアップで有用です。この場合、ワークスペース ROI ボックスをロボットベースフレーム内で一度定義し、カメラの視点にかかわらずすべてのキャプチャに適用できます。StitchUsingRobotMountedCamera サンプルは、各点群をベースフレームに変換してから、固定されたワークスペース ROI ボックスでマスキングすることで、これを示しています。
const auto smallWorkspaceRoiBox = Zivid::Settings::RegionOfInterest::Box{
Zivid::Settings::RegionOfInterest::Box::Enabled::yes,
Zivid::Settings::RegionOfInterest::Box::PointO{ -150, 300, 50 },
Zivid::Settings::RegionOfInterest::Box::PointA{ -150, 600, 50 },
Zivid::Settings::RegionOfInterest::Box::PointB{ 150, 300, 50 },
Zivid::Settings::RegionOfInterest::Box::Extents{ -75, 40 },
};
auto pointCloud = frame.pointCloud();
pointCloud.transform(baseToCameraTransform);
pointCloud.maskByRegionOfInterest(workspaceRoiBox);
var smallWorkspaceRoiBox = new Zivid.NET.Settings.RegionOfInterestGroup.BoxGroup
{
Enabled = true,
PointO = new Zivid.NET.PointXYZ { x = -150, y = 300, z = 50 },
PointA = new Zivid.NET.PointXYZ { x = -150, y = 600, z = 50 },
PointB = new Zivid.NET.PointXYZ { x = 150, y = 300, z = 50 },
};
smallWorkspaceRoiBox.Extents = new Zivid.NET.Range<double>(-75, 40);
var pointCloud = frame.PointCloud;
pointCloud.Transform(baseToCameraTransform);
pointCloud.MaskByRegionOfInterest(workspaceRoiBox);
small_workspace_roi_box = zivid.Settings.RegionOfInterest.Box(
enabled=True,
point_o=[-150, 300, 50],
point_a=[-150, 600, 50],
point_b=[150, 300, 50],
extents=(-75, 40),
)
point_cloud = frame.point_cloud()
point_cloud.transform(base_to_camera_transform)
point_cloud.mask_by_region_of_interest(workspace_roi_box)
チュートリアル
ROI API の使用方法の例については、以下のチュートリアルをご覧ください。
パフォーマンス情報については、 関心領域 を参照してください。
バージョン履歴
SDK |
変更点 |
|---|---|
2.18.0 |
後処理として ROI ボックスを適用するための |
2.14.0 |
Zivid Studio の ROI ボックスに操作ツールが追加されました。 |
2.12.0 |
ROI ボックスフィルタリングにより、キャプチャ時間を短縮できます。 |
2.9.0 |
ROI API が追加されました。 |