2D + 3D キャプチャ戦略
ピースピッキングアプリケーションで一般的に使用される多くの検出アルゴリズムは、どのオブジェクトをピックするかを識別するために 2D データに依存しています。この記事では、その 2D データを取得するさまざまな方法、データ品質とサイクルタイムにおけるトレードオフ、そして外部照明が結果に与える影響について説明します。
カラー情報を気にしない場合は、 キャプチャ速度に基づく 3D および 2D 設定の選択 に進んでください。
2D データを取得するには 2 つの方法があります。
camera.capture2D(Zivid::Settings).imageRGBA()を使用して 2D キャプチャを分離します 2D 画像キャプチャプロセス 参照してください。3D キャプチャの一部
camera.capture2D3D(Zivid::Settings).pointCloud().copyImageRGBA()、 点群キャプチャプロセス 参照してください。
どちらを使用するかは、要件とマシンビジョンパイプラインによって異なります。専用の 2D キャプチャは、マルチスレッド化と最適化されたスケジューリングを利用できるため、推奨します。3D キャプチャからの 2D データを利用する方法はよりシンプルですが、目的の 2D 品質を得るために速度を妥協する必要がある場合があります。
Tip
2D を個別にキャプチャする場合は、3D キャプチャで RGB を無効にしてください。これにより、取得時間と処理時間の両方を節約できます。3D キャプチャで RGB を無効にするには、 Sampling::Color を disabled に設定します。
- 私たちの推奨事項:
フル解像度とプロジェクターをオンにした個別の 2D キャプチャ。
カラーを無効にしてサブサンプリングされた 3D キャプチャ。
カメラ解像度と 1 対 1 マッピング
正確な 2D セグメンテーションと検出のためには、高解像度のカラー画像が有益です。Zivid 3 は 8 MPx のイメージングセンサーを、Zivid 2+ は 5 MPx のセンサーを搭載しており、Zivid 2 は 2.3 MPx のセンサーを搭載しています。次の表は、2D キャプチャと 3D キャプチャの両方における各カメラの解像度出力を示しています。
2D キャプチャ |
Zivid 3 |
ジビッド 2+ |
ジビッド 2 |
|---|---|---|---|
フル解像度 |
2816 x 2816 |
2448×2048 |
1944×1200 |
2x2 サブサンプリング |
1408 x 1408 |
1224×1024 |
972×600 |
4x4 サブサンプリング |
704 x 704 |
612×512 |
利用不可 |
3D キャプチャ |
Zivid 3 |
ジビッド 2+ |
ジビッド 2 |
|---|---|---|---|
フル解像度 |
2816 x 2816 |
2448×2048 |
1944×1200 |
2x2 サブサンプリング |
1408 x 1420 |
1224×1024 |
972×600 |
4x4 サブサンプリング |
704 x 704 |
612×512 |
利用不可 |
capture2D3D() キャプチャを実行すると、結果として 2D データと 3D データの両方を含むフレームが生成されます。
2D データは 2 つの方法で抽出できます。
frame.frame2D().imageRGBA_SRGB()これは、2D 画像を個別にキャプチャした場合と同じです。
frame.pointCloud().copyImageRGBA_SRGB()これにより、設定で 2D と 3D の解像度が異なるように定義されている場合でも、1 対 1 のマッピングが保証されます。
2D キャプチャの出力解像度は Settings2D::Sampling::Pixel 設定によって制御され、3D キャプチャの出力解像度は Settings::Sampling::Pixel と Settings::Processing::Resampling 設定の組み合わせによって制御されます。 ピクセルサンプリング(2D) 、 ピクセルサンプリング(3D) 、および リサンプリング を参照してください。
正確な 2D セグメンテーションと検出のためには、一般的に高解像度の 2D データが必要となります。例えば、 消費財 向けに推奨するプリセットである Z2+ MR130 Quality プリセットでは、 Settings::Sampling::Pixel が by2x2 に設定されています。この場合、以下のいずれかの方法を取ります。
3D データをアップサンプリングして 1 対 1 の対応関係を復元するか、
2D インデックスをサブサンプリングされた 3D データのインデックスにマッピングするか、
frame.pointCloud().copyImageRGBA_SRGB()を使用して、点群から 2D データを取得します。
リサンプリング
2D キャプチャの解像度に合わせるには、サブサンプリングを元に戻すアップサンプリングを適用します。これにより、サブサンプリングされたキャプチャの速度面での利点を維持できます。例を次に示します。
auto settings2D = Zivid::Settings2D{
Zivid::Settings2D::Acquisitions{ Zivid::Settings2D::Acquisition{} },
Zivid::Settings2D::Sampling::Pixel::all,
};
auto settings = Zivid::Settings{
Zivid::Settings::Engine::stripe,
Zivid::Settings::Acquisitions{ Zivid::Settings::Acquisition{} },
Zivid::Settings::Sampling::Pixel::blueSubsample2x2,
Zivid::Settings::Sampling::Color::disabled,
Zivid::Settings::Processing::Resampling::Mode::upsample2x2,
};
settings_2d = zivid.Settings2D()
settings_2d.acquisitions.append(zivid.Settings2D.Acquisition())
settings_2d.sampling.pixel = zivid.Settings2D.Sampling.Pixel.all
settings = zivid.Settings()
settings.engine = "stripe"
settings.acquisitions.append(zivid.Settings.Acquisition())
settings.sampling.pixel = zivid.Settings.Sampling.Pixel.blueSubsample2x2
settings.sampling.color = zivid.Settings.Sampling.Color.disabled
settings.processing.resampling.mode = zivid.Settings.Processing.Resampling.Mode.upsample2x2
詳細については リサンプリング 参照してください。
もう一つの方法は、2D インデックスをサブサンプリングされた 3D データのインデックスにマッピングすることです。この方法はやや複雑ですが、より効率的である可能性があります。点群はサブサンプリングされた状態を維持できるため、メモリと処理能力の消費を抑えることができます。
高解像度 2D データとサブサンプリングされた点群との相関関係を確立するには、特定のマッピング手法が必要です。この手法では、ベイヤーグリッドの青または赤のピクセルに対応するピクセルから RGB 値を抽出します。
Zivid::Experimental::Calibration::pixelMapping(camera, settings); 使用すると、このマッピングを実行するために必要なパラメータを取得できます。以下は、この関数を使用した例です。
const auto pixelMapping = Zivid::Experimental::Calibration::pixelMapping(camera, settings);
std::cout << "Pixel mapping: " << pixelMapping << std::endl;
cv::Mat mappedBGR(
fullResolutionBGR.rows / pixelMapping.rowStride(),
fullResolutionBGR.cols / pixelMapping.colStride(),
CV_8UC3);
std::cout << "Mapped width: " << mappedBGR.cols << ", height: " << mappedBGR.rows << std::endl;
for(size_t row = 0; row < static_cast<size_t>(fullResolutionBGR.rows - pixelMapping.rowOffset());
row += pixelMapping.rowStride())
{
for(size_t col = 0; col < static_cast<size_t>(fullResolutionBGR.cols - pixelMapping.colOffset());
col += pixelMapping.colStride())
{
mappedBGR.at<cv::Vec3b>(row / pixelMapping.rowStride(), col / pixelMapping.colStride()) =
fullResolutionBGR.at<cv::Vec3b>(row + pixelMapping.rowOffset(), col + pixelMapping.colOffset());
}
}
return mappedBGR;
pixel_mapping = calibration.pixel_mapping(camera, settings)
return rgba[
int(pixel_mapping.row_offset) :: pixel_mapping.row_stride,
int(pixel_mapping.col_offset) :: pixel_mapping.col_stride,
0:3,
]
注釈
組み込みを使用し、2D キャプチャと 3D キャプチャの解像度が異なる場合は、それらを正しく使用していることを確認してください。詳細については カメラ内部パラメータ 参照してください。
外部光に関する考慮事項
2D キャプチャに最適な光源は、周囲の光の変化の影響を軽減するため強力な 効果を抑えるため拡散光です。Zivid の場合、この光源は内蔵プロジェクターから供給されます。そのため、ロボットセルに追加の照明は必要ありません。
内蔵プロジェクタを光源として使用する場合、ブルーミングが発生することがあります。カメラを傾けたり、背景を変更したり、2D 取得設定を調整したりすることで、ブルーミングを軽減できます。
昼夜の切り替わり、ドアの開閉、天井照明の変化など、周囲光の変化によって生じる露光の変動は、2D データと 3D データに異なる影響を与えます。2D データの場合、特定のデータセットで学習されている場合には、セグメンテーション性能に影響を与える可能性があります。3D データの場合、露光の変動はノイズレベルの変化によって点群の完全性に影響を与える可能性があります。Zivid カメラは、こうした露光の変動に対して高い耐性があります。
以下の表は、2D 画質に関して Zivid カメラを使用する際の長所と短所をまとめたものです。
内蔵プロジェクター |
|
|---|---|
ロボットセルのセットアップ |
単純 |
周囲光の変化に対する耐性 |
強い |
2D 画像に咲く |
おそらく |
2D カラーバランスが必要 |
いいえ |
攻略戦略
最初にどのデータ(2D データか 3D データか)が必要かによって、3 つのキャプチャ戦略があります。
3D データの前に 2D データ
3D データの一部としての 2D データ
3D データの次は 2D データ
どの戦略が最適かは、マシンビジョンアルゴリズムとパイプラインによって異なります。3D データの前に 2D データを取得すること(最初に 2D キャプチャを行い、続いてカラーを無効にした 3D キャプチャを行うこと)を推奨します。この方法により、3D データのキャプチャと並行してカラー画像の処理(セグメンテーションなど)を行うことができ、システムレベルで最高のピックレートを実現できます。
以下に、各戦略のパフォーマンスをまとめます。より詳しい理解と ZividBenchmarks については、 2D + 3D キャプチャ戦略 を参照してください。
以下は、異なるハードウェアにおける実際の測定値を示す表です。
- Zivid 3
(
Z3 XL250 Fast)- ジビッド 2+
(
Z2+ LR110 Fast)(
Z2+ L110 Fast)- ジビッド 2
(
Z2 M70 Matte)
Tip
PC 上でさまざまな 2D-3D 戦略をテストするには、YML ファイルからロードされた設定を使用して ZividBenchmark.cpp サンプルを実行できます。 サンプル に移動し、手順については C++ を選択します。
次に、 キャプチャ速度に基づく 3D および 2D 設定の選択 を参照してください。
Version History
SDK |
変更点 |
|---|---|
2.12.0 |
Zivid 2+ では、2D キャプチャで最大 50%、3D キャプチャで最大 5%の取得時間が短縮されます。Zivid One+ はサポート終了となり、販売は終了しました。 |
2.11.0 |
|