アプリケーション要件
ビンピッキングは、製造業界のさまざまな工場自動化プロセスに応用されています。ビンピッキングのワークピースには、さまざまなサイズ、材料、表面特性があります。オブジェクトの種類とピッキング後のアクションによって、必要な点群の品質が決まります。これらのオブジェクトを扱うには、正確なピッキングと衝突のない最適化された動作計画が不可欠です。さらに、ピック アンド プレースの動作は、割り当てられたサイクルタイム内に完了する必要があります。詳細については、アプリケーション要件を以下のセクションに分類しました。
点群の品質
半構造化ビンピッキングでは、オブジェクトを積み重ねたり、個別にしたり、レイヤーごとに分離したりできます。次のレベルの複雑さは、ランダムビンピッキングとして知られるバルクオブジェクトで発生し、一般に高品質の点群が必要です。ビンピッキングアプリケーションでは、厳しいピッキング正確度要件が必要となることがよくあります。コンベアベルト、トレイ、または箱に物体を落としたり置いたりするだけの目的であれば、正確度要件はそれほど厳しくありません。ただし、 CNC 機械などにワークピースをロードする場合は、高いピッキング正確度が不可欠になります。したがって、適切なビンピッキングソリューションを開発するには、測定、スタンピング操作、その他のアイテム操作などの後続のプロセスを可能にするために、オブジェクトを正確に配置する必要があります。
サイクルタイム
ビンピッキングでは、ロボットのサイクルは通常 10 ～ 15 秒の範囲ですが、場合によっては 1 サイクルあたり最低 5 秒に達することもあります。通常、ロボットセルは製造ラインのボトルネックではないため、ビンピッキングの時間予算はそれほど厳しくありません。したがって、カメラの時間バジェットは通常 700 ms から 1500 ms の範囲になります。
検出および姿勢推定アルゴリズム
物体ピッキングを成功させるための主な目的は、ロボットのピッキングポーズを正確に推定することです。通常使用されるアルゴリズムは、主に 3D データに依存しています。場合によっては、2D データも使用されますが、その主な目的は人間のオペレーターによる可視化とサニティチェックです。2D データが使用される場合、オブジェクトのセグメンテーションまたは認識技術、通常は円筒などの基本的な幾何学的形状に使用されます。2D データを効果的に利用するには、デフォーカス、ブルーミング、飽和アーティファクトを最小限に抑えることが重要です。このトピックの詳細については、 カラー画像の最適化 および 2D + 3D キャプチャ戦略 を参照してください。対照的に、3D データはオブジェクトのセグメンテーション、検出、姿勢推定などのタスクに活用され、多くの場合、 CAD モデルマッチングやジオメトリマッチングなどの技術が使用されます。3D データを活用する場合、誤った点や欠落した点をいかに軽減するかが重要になります。さらに、点群に明確な 3D エッジがあると、3D テンプレートマッチングなどの位置特定技術の成功が容易になります。
オブジェクトの形状と表面
特定のオブジェクトの種類と、ビンピッキングでよく遭遇するシーンに焦点を当ててみましょう。それぞれに固有の課題があるため、シーンのカテゴリを慎重に選択しました。したがって、各シーンの点群に保存することが重要なオブジェクトの特徴のリストを作成しました。以下に、ビンピッキングで頻繁に遭遇する典型的な困難なシーンの概要を示します。
特徴的な形状と幾何学形状を持つオブジェクトとシーン
薄くて重なっているオブジェクト
特徴：
形状
エッジ
深さの違い
空間解像度
2D エッジと 3D エッジを維持することは、金属板などの薄くて重なっているオブジェクトにとって非常に重要です。シャープなエッジにより深度を明確に区別できるため、オブジェクトの境界を簡単に識別できます。点群で 3D エッジを適切に表現するには、十分な空間解像度が重要な役割を果たします。さらに、3D 形状の完全性を維持することは、3D データを使用して最適なピック表面を特定することを伴う幾何学的プリミティブ（平面など）のフィッティングなどのタスクにおいて非常に重要です。3D テンプレートマッチングなどのビンピッキングで一般的に使用されるアルゴリズムは、特に部分的に遮蔽されたシナリオでの正確な認識と位置特定のために、独特の形状とエッジの特性に依存しています。
円筒状のオブジェクト
特徴：
形状
表面被覆率
円筒の検出と姿勢推定を成功させるには、良好な表面被覆率と円筒度の正確な表現が不可欠です。正しい半径を特徴とする最適な円筒度により、ピッキングポーズを正確に決定できます。主軸から離れる方向に表面被覆率を増やすと、点群の平面ではなく円筒形状への類似性が高まり、姿勢推定のパフォーマンスが向上します。したがって、特に薄い円筒の場合、表面被覆率を維持することが必要です。
小さなオブジェクトおよび細かいディテール／小さな特徴を持つオブジェクト
特徴：
形状
エッジ
深さの違い
空間解像度
多くの物体検出および姿勢推定アルゴリズムは、独特の形状とエッジ特性に依存しています。空間解像度と深さの違いは、点群のディテールを適切に表現するために重要です。したがって、特に小さなオブジェクトや複雑な特徴を持つオブジェクトを扱う場合には、鋭いエッジと適切に保存された形状が不可欠です。シャフトや車軸などの非対称な属性を示すオブジェクトは、多くの場合、向きを正確に決定するためにこれらの微細なディテールを正確に識別する必要があります。
表面が向かい合ったオブジェクトとシーン
特徴：
形状
表面被覆率
互いに面した表面を持つオブジェクトやシーンは、反射アーティファクトの影響を受けやすいため、独特の課題が生じます。この状況は、たとえば、対向する表面を持つ L 型プロファイルの場合や、ビン内の 2 つの平らなオブジェクトが表面を向かい合わせに配置されている場合など、さまざまなケースで発生します。ビンの壁に面した平らな部品もイメージングに困難を引き起こす可能性があります。したがって、上記の課題を克服し、位置特定と姿勢推定を成功させるには、十分な表面被覆率を確保しながらオブジェクトの 3D 形状を保存することが重要です。
鏡面オブジェクトと暗いオブジェクト
特徴：
形状
表面被覆率
拡散オブジェクトと比較して、鏡面オブジェクトを検出するための点群の品質に関して、特別な要件はありません。ただし、鏡のような反射により、鏡面シーンは困難になる可能性があり、その結果、さまざまな反射アーティファクトが発生します。一方、暗いオブジェクトは、カメラで見えるようにするためにより多くの光を必要とします。最後に、暗くて反射するオブジェクトは、イメージングにさらなる課題をもたらします。したがって、これらのシーンでは、オブジェクトの 3D 形状を可能な限り連続した表面被覆率で保持することが特に重要です。
グリッパーのコンプライアンス
The quality of the point cloud is often a determining factor for the type of gripper employed. For example, if the point cloud data is highly accurate, a mechanical gripper with narrow tolerances can be utilized. Otherwise, a suction cup, which has more compliance, might be necessary. When the application allows for it, gripper compliance is introduced in bin picking to increase confidence in the success rate of a pick. This is because gripper compliance minimizes the chance of not reaching or crashing into objects and destroying them or the gripper. However, grippers in bin picking applications often don't have much compliance, especially when accurate picking and placing is required. Dimension trueness, point precision, and planarity are some factors determining the level of compliance one needs in the gripper. Therefore, cameras for bin picking are often required to be accurate.
動作計画と衝突回避
ビンピッキングで考慮すべき追加の要素は、動作計画と衝突回避です。動作計画を使用してピッキング中のロボットの軌道を最適化し、サイクルタイムを節約します。多くの場合、ビンの壁、現在ピッキングされていないオブジェクト、その他の環境制限などの障害物への衝突を回避するために、衝突回避と組み合わせられます。ビジョンシステムによって認識された障害物は、ロボットによって回避されます。理想的な状況では、ビジョンシステムは環境をそのまま正確に重複して表現します。ただし、アーティファクトが発生する可能性があります。これらのアーティファクトは、現実世界と一致しない誤ったデータまたは欠落したデータで構成されます。たとえば、偽のデータは、現実には存在しないゴーストプレーンや浮遊ブロブとして見られますが、欠落したデータは点群の穴として見られます。後者は不完全な表面被覆率の結果であり、点群に存在するはずのデータで構成されています。アーティファクトにより、衝突回避によりロボットが目的地に到達することが妨げられる可能性があります。したがって、動作計画では、どの障害物を無視しても安全で、どの障害物が無視できないかを定義する必要があります。カメラからの 3D データ、つまりクリーンな点群の品質が向上すると、グリッパーコンプライアンスと衝突回避を伴う動作計画の複雑さを軽減できます。
This section has reviewed the requirements for bin picking. Now, the next step is to select the correct Zivid camera based on your scene volume.