アプリケーション要件
ビンピッキングは、製造業界のさまざまな工場自動化プロセスに応用されています。ビンピッキングのワークピースには、さまざまなサイズ、材料、表面特性があります。オブジェクトの種類とピッキング後のアクションによって、必要な点群の品質が決まります。これらのオブジェクトを扱うには、正確なピッキングと衝突のない最適化された動作計画が不可欠です。さらに、ピック アンド プレースの動作は、割り当てられたサイクルタイム内に完了する必要があります。詳細については、アプリケーション要件を以下のセクションに分類しました。
点群の品質
半構造化ビンピッキングでは、オブジェクトを積み重ねたり、個別にしたり、レイヤーごとに分離したりできます。次のレベルの複雑さは、ランダムビンピッキングとして知られるバルクオブジェクトで発生し、一般に高品質の点群が必要です。ビンピッキングアプリケーションでは、厳しいピッキング正確度要件が必要となることがよくあります。コンベアベルト、トレイ、または箱に物体を落としたり置いたりするだけの目的であれば、正確度要件はそれほど厳しくありません。ただし、 CNC 機械などにワークピースをロードする場合は、高いピッキング正確度が不可欠になります。したがって、適切なビンピッキングソリューションを開発するには、測定、スタンピング操作、その他のアイテム操作などの後続のプロセスを可能にするために、オブジェクトを正確に配置する必要があります。
サイクルタイム
ビンピッキングでは、ロボットのサイクルは通常 10 ～ 15 秒の範囲ですが、場合によっては 1 サイクルあたり最低 5 秒に達することもあります。通常、ロボットセルは製造ラインのボトルネックではないため、ビンピッキングの時間予算はそれほど厳しくありません。したがって、カメラの時間バジェットは通常 700 ms から 1500 ms の範囲になります。
検出および姿勢推定アルゴリズム
物体ピッキングを成功させるための主な目的は、ロボットのピッキングポーズを正確に推定することです。通常使用されるアルゴリズムは、主に 3D データに依存しています。場合によっては、2D データも使用されますが、その主な目的は人間のオペレーターによる可視化とサニティチェックです。2D データが使用される場合、オブジェクトのセグメンテーションまたは認識技術、通常は円筒などの基本的な幾何学的形状に使用されます。2D データを効果的に利用するには、デフォーカス、ブルーミング、飽和アーティファクトを最小限に抑えることが重要です。このトピックの詳細については、 カラー画像の最適化 および 2D + 3D キャプチャ戦略 を参照してください。対照的に、3D データはオブジェクトのセグメンテーション、検出、姿勢推定などのタスクに活用され、多くの場合、 CAD モデルマッチングやジオメトリマッチングなどの技術が使用されます。3D データを活用する場合、誤った点や欠落した点をいかに軽減するかが重要になります。さらに、点群に明確な 3D エッジがあると、3D テンプレートマッチングなどの位置特定技術の成功が容易になります。
オブジェクトの形状と表面
特定のオブジェクトの種類と、ビンピッキングでよく遭遇するシーンに焦点を当ててみましょう。それぞれに固有の課題があるため、シーンのカテゴリを慎重に選択しました。したがって、各シーンの点群に保存することが重要なオブジェクトの特徴のリストを作成しました。以下に、ビンピッキングで頻繁に遭遇する典型的な困難なシーンの概要を示します。
特徴的な形状と幾何学形状を持つオブジェクトとシーン
薄くて重なっているオブジェクト
特徴：
形状
エッジ
深さの違い
空間解像度
2D エッジと 3D エッジを維持することは、金属板などの薄くて重なっているオブジェクトにとって非常に重要です。シャープなエッジにより深度を明確に区別できるため、オブジェクトの境界を簡単に識別できます。点群で 3D エッジを適切に表現するには、十分な空間解像度が重要な役割を果たします。さらに、3D 形状の完全性を維持することは、3D データを使用して最適なピック表面を特定することを伴う幾何学的プリミティブ（平面など）のフィッティングなどのタスクにおいて非常に重要です。3D テンプレートマッチングなどのビンピッキングで一般的に使用されるアルゴリズムは、特に部分的に遮蔽されたシナリオでの正確な認識と位置特定のために、独特の形状とエッジの特性に依存しています。
円筒状のオブジェクト
特徴：
形状
表面被覆率
円筒の検出と姿勢推定を成功させるには、良好な表面被覆率と円筒度の正確な表現が不可欠です。正しい半径を特徴とする最適な円筒度により、ピッキングポーズを正確に決定できます。主軸から離れる方向に表面被覆率を増やすと、点群の平面ではなく円筒形状への類似性が高まり、姿勢推定のパフォーマンスが向上します。したがって、特に薄い円筒の場合、表面被覆率を維持することが必要です。
小さなオブジェクトおよび細かいディテール／小さな特徴を持つオブジェクト
特徴：
形状
エッジ
深さの違い
空間解像度
多くの物体検出および姿勢推定アルゴリズムは、独特の形状とエッジ特性に依存しています。空間解像度と深さの違いは、点群のディテールを適切に表現するために重要です。したがって、特に小さなオブジェクトや複雑な特徴を持つオブジェクトを扱う場合には、鋭いエッジと適切に保存された形状が不可欠です。シャフトや車軸などの非対称な属性を示すオブジェクトは、多くの場合、向きを正確に決定するためにこれらの微細なディテールを正確に識別する必要があります。
表面が向かい合ったオブジェクトとシーン
特徴：
形状
表面被覆率
互いに面した表面を持つオブジェクトやシーンは、反射アーティファクトの影響を受けやすいため、独特の課題が生じます。この状況は、たとえば、対向する表面を持つ L 型プロファイルの場合や、ビン内の 2 つの平らなオブジェクトが表面を向かい合わせに配置されている場合など、さまざまなケースで発生します。ビンの壁に面した平らな部品もイメージングに困難を引き起こす可能性があります。したがって、上記の課題を克服し、位置特定と姿勢推定を成功させるには、十分な表面被覆率を確保しながらオブジェクトの 3D 形状を保存することが重要です。
鏡面オブジェクトと暗いオブジェクト
特徴：
形状
表面被覆率
拡散オブジェクトと比較して、鏡面オブジェクトを検出するための点群の品質に関して、特別な要件はありません。ただし、鏡のような反射により、鏡面シーンは困難になる可能性があり、その結果、さまざまな反射アーティファクトが発生します。一方、暗いオブジェクトは、カメラで見えるようにするためにより多くの光を必要とします。最後に、暗くて反射するオブジェクトは、イメージングにさらなる課題をもたらします。したがって、これらのシーンでは、オブジェクトの 3D 形状を可能な限り連続した表面被覆率で保持することが特に重要です。
グリッパーのコンプライアンス
多くの場合、点群の品質が、使用するグリッパーの種類を決定する要因となります。たとえば、点群データの正確度が高い場合は、許容誤差が狭い機械式グリッパーを利用できます。それ以外の場合は、より追従性の高い吸盤が必要になる場合があります。アプリケーションで許可されている場合は、ビンピッキングにグリッパーコンプライアンスが導入され、ピッキングの成功率の信頼性が高まります。これは、グリッパーコンプライアンスにより、オブジェクトに到達できなかったり、オブジェクトに衝突してオブジェクトやグリッパーを破壊したりする可能性が最小限に抑えられるためです。ただし、ビンピッキング用途のグリッパーは、特に正確な配置が必要な場合、多くの場合、コンプライアンスがあまり高くありません。寸法の真度、点の精密度、および平面性は、グリッパーに必要なコンプライアンスのレベルを決定するいくつかの要素です。したがって、ビンピッキング用のカメラは多くの場合、正確であることが求められます。
動作計画と衝突回避
ビンピッキングで考慮すべき追加の要素は、動作計画と衝突回避です。動作計画を使用してピッキング中のロボットの軌道を最適化し、サイクルタイムを節約します。多くの場合、ビンの壁、現在ピッキングされていないオブジェクト、その他の環境制限などの障害物への衝突を回避するために、衝突回避と組み合わせられます。ビジョンシステムによって認識された障害物は、ロボットによって回避されます。理想的な状況では、ビジョンシステムは環境をそのまま正確に重複して表現します。ただし、アーティファクトが発生する可能性があります。これらのアーティファクトは、現実世界と一致しない誤ったデータまたは欠落したデータで構成されます。たとえば、偽のデータは、現実には存在しないゴーストプレーンや浮遊ブロブとして見られますが、欠落したデータは点群の穴として見られます。後者は不完全な表面被覆率の結果であり、点群に存在するはずのデータで構成されています。アーティファクトにより、衝突回避によりロボットが目的地に到達することが妨げられる可能性があります。したがって、動作計画では、どの障害物を無視しても安全で、どの障害物が無視できないかを定義する必要があります。カメラからの 3D データ、つまりクリーンな点群の品質が向上すると、グリッパーコンプライアンスと衝突回避を伴う動作計画の複雑さを軽減できます。
このセクションでは、ピースピッキングの要件を確認しました。次のステップでは、シーン体積に基づいて 適切な Zivid カメラの選択 に進みます。