製造準備工程
Zivid SDK には、システムのセットアップと運用の準備に役立ついくつかのプロセスとツールが含まれています。導入前に実行することをお勧めする重要なことは次のとおりです。
準備し始める
内野修正
目と手の校正
これらのプロセスを使用して、製造条件を模倣して、動作温度、距離、および FOV に関してカメラを最適化したいと考えています。生産中の処理時間を短縮し、ピッキング率を最大化するのに役立つその他のツールは次のとおりです。
ダウンサンプリング
変換と ROI ボックス フィルタリング
マスキング
ロボットのキャリブレーション
生産を開始する前に、ロボットが適切に調整され、良好な位置決め精度が実証されていることを確認する必要があります。ロボットの運動学的キャリブレーションおよびロボットのマスタリング/ゼロ調整の詳細については、ロボットのサプライヤーにお問い合わせください。
ファームウェア更新
新しいカメラは、特にアプリケーションが特定の SDK バージョンに固定されている場合、アプリケーションが使用している SDK バージョンよりも新しいファームウェアを搭載して出荷されることが多くあります。新しいカメラを製造現場に導入する前に、ファームウェアをアプリケーションが使用する SDK バージョンに合わせて更新してください。
詳細については、ファームウェアのアップデート を参照してください。
準備し始める
Zivid 3D カメラをウォームアップして熱平衡に達させると、アプリケーションの全体的な精度と成功率が向上します。これは、アプリケーションで厳しい許容差が必要な場合、たとえば、カメラからの距離が 1 メートルあたり 5 mm 未満の許容差を持つアプリケーションを選択する場合に推奨されます。カメラをウォームアップすると、インフィールド補正とハンドアイキャリブレーション結果の両方が改善されます。
カメラをウォームアップするには、サイクル タイムとカメラ設定へのパスを提供するコード サンプルを実行できます。
サンプル: warmup.py
python /path/to/warmup.py --settings-path /path/to/settings.yml --capture-cycle 6.0
ウォームアップが必要な理由と、SDK を使用してウォームアップを実行する方法をよりよく理解するには、 ウォームアップ の記事を参照してください。
Tip
カメラが 10 分以上連続して撮影されない状態が続く場合は、 熱安定化 を有効にしておくと非常に効果的です。
内野修正
インフィールド補正は、Zivid カメラの寸法の正確性を検証および補正するために設計されたメンテナンス ツールです。ユーザーは、視野 (FOV) 内のさまざまな点で点群の寸法の正確さをチェックし、それがアプリケーションに許容できるかどうかを判断できます。検証の結果、カメラがアプリケーションに対して十分に正確ではないことが示された場合は、点群の寸法の正確性を高めるために補正を実行できます。複数の測定からの平均寸法真度誤差はゼロに近い (<0.1%) と予想されます。
寸法真度は、カメラの測定誤差の系統的な部分であり、正確度を構成する 2 つの要素の 1 つです。もう 1 つは点の精密度です。正確度、真度、精密度の定義とその関係については、Zivid 仕様に関する用語 を参照してください。
なぜこれが必要なのでしょうか?
当社のカメラは産業作業環境に耐えるように作られており、高品質の点群を返し続けます。ただし、ほとんどの高精度電子機器と同様に、最高のパフォーマンスを維持するために多少の調整が必要な場合があります。カメラが環境に大幅な変化を経験したり、激しい取り扱いを経験した場合、新しい設定で最適に動作するために補正が必要になる場合があります。
初めて行う場合は Infield Correction について詳しく読んでください。
インフィールド検証を実行するときは、ビンの上部と底部の両方で寸法の正確さが良好であることを確認してください。オンアーム アプリケーションの場合、インフィールド検証を行うときにロボットをキャプチャ ポーズに移動します。検証結果が良好であれば、内野修正を行う必要はありません。
Infield Correction が必要な場合は、最適な結果を得るために作業領域全体をカバーしてください。これは、Zivid calibration board (7x8 30mm, 300x300mm) を特定の距離で複数の位置に置き、ボード全体が FOV に収まるようにしながら、異なる距離でもそれを行うことを意味します。ピースピッキングでは、ビンの底部に数か所、上部に数か所で十分です。詳細については Infield Correction を実施するためのガイドライン を確認してください。
Infield Verification と Infield Correction は、カメラの正確度の系統的な要素である寸法真度を測定し、補正します。正確度、真度、精密度の定義については Zivid 仕様に関する用語 を参照してください。
カメラでインフィールド検証および/または補正を実行するには、以下を使用できます。
ジビッドスタジオ
CLI ツール
SDK
Tip
初めて内野補正を実行する場合は、Zivid Studio を使用することをお勧めします。
内野補正の実行に関するステップバイステップのガイドについては ランニングインフィールド修正 参照してください。
ハンドアイキャリブレーション
以下の表では、お客様の目標と要件に基づいて、どの手と目のキャリブレーションツールを使用するのが最適かについての推奨事項をご覧いただけます。ツールとその機能の詳細な分析については、 Zivid ハンドアイキャリブレーションの実行と統合方法 。
ゴール |
推奨ツール |
|---|---|
ガイド付き、ノーコードワークフロー |
|
最小限の統合例 |
|
既存のデータセット |
|
どんなロボットでも |
ハンドアイ GUI または :doc:` RoboDK ハンドアイ サンプル</camera/academy/applications/hand-eye/robodk-+-python-generate-dataset-and-perform-hand-eye-calibration>` |
UR ロボット |
ハンドアイ GUI または :doc:` UR ハンドアイ サンプル</camera/academy/applications/hand-eye/ur5-robot-+-python-generate-dataset-and-perform-hand-eye-calibration>` |
HALCON を使用する |
:doc:` HALCON を使用した手と目のキャリブレーション</camera/academy/applications/hand-eye/hand-eye-calibration-halcon>` |
ROS を使用する |
` ROS を使用した手と目のキャリブレーション <https://github.com/zivid/zivid-ros/blob/master/README.md#sample-hand-eye-calibration>`_ |
ハンドアイキャリブレーションが完了したら、得られた変換行列が正しく、正確度要件を満たしているかを確認することをお勧めします。推奨される方法は、ロボットでタッチテストを実行することです。これは検証用のエンドエフェクタを必要とする物理的なテストです。詳しい手順については、チュートリアル 任意のロボット + RoboDK + Python: タッチテストによるハンドアイキャリブレーション結果の検証 を参照してください。
代替オプションについて ハンドアイキャリブレーションの検証方法 ページに記載されています。
カラーバランス
SDK には、赤、緑、青の各カラーチャンネルの色バランス値を調整する機能があります。ただし、 シーンボリュームに基づくカメラセレクター に示されているように、ピースピッキングに推奨されるカメラには、固有の色バランス機能が備わっています。周囲光がかなり強く、完全に白色ではない場合でも、カラー画像の RGB 値への影響は最小限です。したがって、カメラで追加の色バランスアルゴリズムを実行する必要はありません。
下の画像は、Zivid 2+ MR130 を使用してさまざまな環境光条件下で撮影した 2D カラー画像の詳細を示しています。
300 ルクス |
1000 ルクス |
2000 ルクス |
|
3200K |
|
||
5000K |
|||
6500K |
|||
カラー画像にランダムな緑色やピンク色の色合いが現れるなどの は お住まいの地域のグリッド周波数(50 Hz または 60 Hz)のプリセットを選択してください。
ROI ボックスフィルタリング
カメラの視野は 多くの場合 関心領域 (ROI)、例えばビンよりも大きくなります。データ処理を最適化するために、ビンの周囲に ROI ボックスを設定し、それに応じて点群を切り抜き、ビンの内容のみをキャプチャすることができます。ROI ボックスによるフィルタリングは、キャプチャ時間を短縮するだけでなく、アルゴリズムで使用されるデータポイントの数も削減するため、結果として処理速度と効率が向上します。
Tip
点群のサイズが小さいほど取得が速く、検出速度が向上し、全体のピッキングサイクル時間を短縮できる。
実装例については チェッカーボードによる ROI ボックス を参照してください。このチュートリアルでは、Zivid calibration board (7x8 30mm, 300x300mm) を使用して、チェッカーボードを基準とした ROI ボックスに基づいて点群をフィルタリングする方法を示します。
事例とパフォーマンス
以下は、低スペックの PC(Intel Iris Xe 統合型ノート PC GPU と 1G ネットワークカード)を使用した、ROI ボックスフィルタリングが有効な、負荷の高い点群処理の例です。
ロボットが固定設置された Zivid 2+ MR130 カメラを使用して、600 x 400 x 300 mm のビンからアイテムをピックアップしている様子を想像してください。ロボットのクリアランスを確保するため、カメラはビンの上部から 1700 mm の距離に設置され、視野は約 1000 x 800 mm となります。この距離にカメラを設置すると、視野の大部分が ROI の範囲外になるため、各辺から約 20~25% のピクセル列/行を切り取ることができます。下の表からわかるように、ROI ボックスフィルタリングを使用することで、キャプチャ時間を大幅に短縮できます。
プリセット |
取得時間 |
撮影時間 |
||
|---|---|---|---|---|
ROI がない |
投資対効果(ROI) |
ROI がない |
投資対効果(ROI) |
|
消費財の品質 |
0.15 秒 |
0.15 秒 |
0.9 秒 |
0.35 秒 |
マスク
対象物が ROI で切り抜いた点群の一部である場合は、バイナリマスクを適用してさらに絞り込むことができます。一般的なワークフローは、2D 画像をキャプチャし、セグメンテーションアルゴリズムを実行して対象物を識別し、得られたマスクを 3D 点群に適用するというものです。これにより、セグメント化された領域外のすべての点が無効になります。
API の使用方法とコード例については、Point Cloud Tutorial の Mask セクション を参照してください。
ダウンサンプリング
注釈
プリセットを選択すると、ダウンサンプリングのオプションも選択できます。ただし、その意味を理解するには、 サンプリング(3D) を参照してください。
一部のアプリケーションは高密度の点群データを必要としません。例としては、平面をボックスの表面に当てはめることによるボックスの検出や、オブジェクトが明確で簡単に識別できる特徴を持つ場合の CAD マッチングなどがあります。さらに、この量のデータはマシン ビジョン アルゴリズムがアプリケーションに必要な速度で処理するには大きすぎることがよくあります。点群ダウンサンプリングが活躍するのはこのようなアプリケーションです。
点群コンテキストでのダウンサンプリングとは、同じ 3D 表現を維持しながら空間解像度を下げることです。通常、データをより管理しやすいサイズに変換し、ストレージと処理の要件を軽減するために使用されます。
Zivid SDK を使用して点群をダウンサンプリングする方法は 2 つあります。
Settings::Processing::Resampling設定(リサンプリング)を介して行う方法で、これはキャプチャ設定によって制御されることを意味します。API
PointCloud::downsampleを介して。
どちらの場合も、点群に対して同じ操作が適用されます。API バージョンでは、その場でダウンサンプリングを行うか、ダウンサンプリングされたデータを含む新しい点群インスタンスを取得するかを選択できます。
ダウンサンプリングはその場で実行でき、これにより現在の点群が変更されます。
ダウンサンプリングされた点群を新しい点群インスタンスとして取得することもできます。これにより、既存の点群は変更されません。
Zivid SDK は、ダウンサンプリング レート : by2x2 、 by3x3 、および by4x4 をサポートしており、ダウンサンプリングを複数回実行する可能性があります。
点群をダウンサンプリングするには、コード サンプルを実行できます。
サンプル: Downsample.cpp
./Downsample
サンプル: Downsample.cs
Downsample.exe
サンプル: downsample.py
python /path/to/downsample.py --zdf-path /path/to/file.zdf
ZDF ファイルがない場合は、次のコード サンプルを実行できます。設定を使用してキャプチャされた Zivid 点群をファイルに保存します。
サンプル: CaptureWithSettingsFromYML.cpp
./CaptureWithSettingsFromYML --settings-path /path/to/settings.yml
サンプル: CaptureWithSettingsFromYML.cs
CaptureWithSettingsFromYML.exe --settings-path=/path/to/settings.yml
サンプル: capture_with_settings_from_yml
python /path/to/capture_with_settings_from_yml.py --settings-path /path/to/settings.yml
ダウンサンプリングの詳細については、 ダウンサンプル にアクセスしてください。
おめでとうございます!これで、ピースピッキングシステムを製造現場に導入する準備として、Zivid 側で必要なすべての作業が完了しました。次に、メンテナンス を参照してください。ここでは、ピースピッキングセルの安定稼働とダウンタイムの最小化を実現するために推奨する具体的なプロセスについて説明しています。
バージョン履歴
SDK |
変更点 |
|---|---|
2.18.0 |
Point Cloud Tutorial への参照を含む Mask セクションを追加しました。 |
2.12.0 |
ROI ボックスフィルタリングによってキャプチャ時間の短縮がどのように実現されるかを示すセクションを追加しました。 |
2.10.0 |
