このページの一部は機械翻訳であり、まだ人による確認が行われていません。

ハンドアイキャリブレーションの結果が不十分です(カメラが作動距離外です)

問題

ハンドアイキャリブレーションの結果が限界的で、タッチテスト の結果も不十分です(通常、すべての軸で限界的な誤差が生じます)。キャリブレーション結果は、以下のいずれかの組み合わせのようになります。

手と目の変形

手と目の残差

投影検証

タッチテスト

合理的

限界

貧しい

限界

合理的

良い

良い

限界

カメラが推奨作動距離外に取り付けられている場合は、推奨範囲内でデータセットを再取得し、ハンドアイキャリブレーションをやり直してください(下記の 潜在的な解決策 を参照)。

手と目のキャリブレーション結果が不十分な例

手と目の変換マトリックスは妥当であり、大まかな手動測定から予想される結果と一致しているように見える(下の表と画像を参照)。

手と目の変換マトリックス

0.999

-0.006

0.043

-59.008

0.005

1.000

0.026

-88.747

-0.044

-0.025

0.999

129.722

0

0

0

1

../../_images/eye_in_hand_approximate_hand_eye_matrix.png

較正残差は許容範囲内であり、最適化が正常に収束したことを示している。

残差

N(ポーズ)

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

14

0.099

0.259

0.344

0.823

小型ロボットの場合、残差はサブミリメートル単位になると予想されますが、大型ロボットの場合はミリメートル単位になる可能性があります。残差の回転成分については、サブ度単位になると予想されます。

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

0.080

0.229

2

0.109

0.157

3

0.043

0.142

4

0.095

0.148

5

0.122

0.553

6

0.118

0.383

7

0.028

0.610

8

0.069

0.423

9

0.125

0.277

10

0.146

0.823

11

0.260

0.229

12

0.046

0.083

13

0.057

0.628

14

0.091

0.130

投影による検証が成功しました。

../../_images/projection_verification_good.png

タッチテストの結果は不十分です。例えば、タッチテストツールの先端が ArUco マーカーの中心を外れ(x 軸と y 軸の誤差)、ArUco マーカーを押してしまう(z 軸の誤差)といった現象が見られます。

潜在的な原因

データセットは、キャリブレーションオブジェクトが カメラの推奨動作距離 の外側にある状態で取得されました。

Zivid のカメラは、動作範囲内で最高の寸法精度が得られるように調整されています。動作範囲外でも点群は良好な見た目になりますが、距離が離れるにつれて寸法精度は徐々に低下します。寸法精度が極端に低下すると、目視によるキャリブレーションでは不十分な結果しか得られず、タッチテストが失敗する可能性があります。

潜在的な解決策

  1. カメラの推奨動作距離内で、手と目のキャリブレーションデータセットを再取得してください。可能であれば、最適な動作距離内にいるようにしてください。最適な動作距離については カメラモデルの動作距離 。

  2. 新しいデータセットを使用して、手と目のキャリブレーションを再度実行します。

  3. 手と目のキャリブレーション結果(変換、残差、投影)を確認します。

  4. (手と目のキャリブレーション結果が良好な場合は)タッチテストを再度実行してください。

../../_images/touching-test-result-aruco.jpg
問題の再現手順(作業距離外での手と目のキャリブレーション)

このセクションで説明するすべての手と目のキャリブレーションは、以下の動作距離を持つ Zivid 2+ MR60 カメラを使用して実行されました。

  • 推奨作業距離:300mm~1100mm

  • 最適な作業距離:350mm~900mm

良好なデータセット(作業範囲内)

手と目のキャリブレーションデータセットを取得する際、キャリブレーション対象物はカメラから z 軸方向に約 900mm の位置に配置されました。これは、Zivid 2+ MR60 カメラの推奨動作距離である 300~1100mm の範囲内であり、最適な動作距離である 350~900mm の境界付近に位置します。

../../_images/hand-eye-calibration-optimal-distance-dataset.png
手と目の変換マトリックス

0.999

-0.004

0.043

-56.943

0.003

1.000

0.027

-90.317

-0.043

-0.027

0.999

128.422

0

0

0

1

残差

N(ポーズ)

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

14

0.056

0.115

0.270

0.383

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

0.070

0.184

2

0.051

0.295

3

0.076

0.321

4

0.049

0.383

5

0.055

0.128

6

0.030

0.328

7

0.052

0.211

8

0.020

0.337

9

0.018

0.256

10

0.088

0.345

11

0.022

0.368

12

0.111

0.093

13

0.027

0.264

14

0.115

0.344

投影による検証は技術的には成功しますが、結果として生じる誤差は依然として許容できないほど大きくなります。ハンドアイキャリブレーションが正しくない場合でも、投影検証の誤差は許容できるように見えることがあるため、合格した結果は注意して扱ってください。

../../_images/projection_verification_good.png

その後、手と目の協調性に関するキャリブレーションは、触覚テストによって検証された。

タッチテストは成功し、手と目のキャリブレーションが正しく正確であることが確認されました。

不良データセット(動作範囲外)

手と目のキャリブレーションデータセットを取得する際、キャリブレーション対象物はカメラから z 軸方向に約 1300mm の位置に配置されました。これは、Zivid 2+ MR60 カメラの推奨動作距離である 300~1100mm を超えています。

../../_images/hand-eye-calibration-far-distance-dataset.png

キャリブレーションの結果は以下のとおりです。

手と目の変換マトリックス

0.999

-0.006

0.043

-59.008

0.005

1.000

0.026

-88.747

-0.044

-0.025

0.999

129.722

0

0

0

1

残差

N(ポーズ)

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

14

0.099

0.259

0.344

0.823

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

0.080

0.229

2

0.109

0.157

3

0.043

0.142

4

0.095

0.148

5

0.122

0.553

6

0.118

0.383

7

0.028

0.610

8

0.069

0.423

9

0.125

0.277

10

0.146

0.823

11

0.260

0.229

12

0.046

0.083

13

0.057

0.628

14

0.091

0.130

投影による検証が成功しました。

../../_images/projection_verification_poor.png

タッチテストの結果は不十分でした。タッチテストツールの先端が ArUco マーカーの中心を外れ(x 軸と y 軸の誤差)、ArUco マーカーを押してしまったためです(z 軸の誤差)。

比較

以下の表では、手と目のキャリブレーション行列(並進値)と手と目のキャリブレーション残差の結果を比較しています。

手と目の変換行列における並進値

データセット

X(mm)

Y(mm)

Z(mm)

良好(作動距離内)

-56.943

-90.317

128.422

悪い(作業距離外)

-59.008

-88.747

129.722

Δ(良い-悪い)

2.065

-1.570

-1.300

残差

データセット

N

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

良好(作動距離内)

14

0.056

0.115

0.270

0.383

悪い(作業距離外)

14

0.099

0.259

0.344

0.823