このページの一部は機械翻訳であり、まだ人による確認が行われていません。

ハンドアイキャリブレーション結果が不十分です(ロボットの姿勢設定ミスによる手動操作)。

問題

手と目のキャリブレーション結果は不十分(不良またはぎりぎり)で、以下のいずれかの組み合わせのように見えます。

手と目の変形

手と目の残差

投影検証

タッチテスト

悪い

悪い

悪い

危険

合理的

悪い

悪い

悪い

合理的

限界

悪い

悪い

合理的

良い

貧しい

限界

手動で入力したロボットの姿勢にタイプミスがある場合は、値(または使用している回転規則)を再確認し、ハンドアイキャリブレーションをやり直してください(下記の Potential Solution を参照)。

手と目のキャリブレーション結果が悪い例

手と目の変換行列は正しくないように見えます。なぜなら、そのいくつかの値が物理的な測定値と非常に大きく異なっており、この設定では妥当ではないからです。

手と目の変換マトリックス

0.609

0.177

0.773

-467.320

-0.109

0.984

-0.140

17.581

-0.785

0.001

0.619

794.894

0

0

0

1

この設定では、値 794.894 はおよそ 130 mm に、値 17.581 はおよそ 90 mm になることが期待されます(期待値はカメラとキャリブレーション対象物のジオメトリによって異なります)。この段階では符号(+/-)は座標系の定義に依存するため無視し、距離のみに注目します。

../../_images/eye_in_hand_approximate_hand_eye_matrix.png

較正残差も予想よりかなり大きく、数桁高い値を示している。

残差

N(ポーズ)

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

11

2.855

10.677

102.330

405.720

小型ロボットの場合、残差はサブミリメートルの範囲になることが期待されますが、大型ロボットの場合は残差がミリメートルの範囲になることがあります。残差の回転成分については、サブ度の範囲になることが期待されます。

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

1.685

405.720

2

1.816

90.325

3

0.215

74.578

4

1.901

143.061

5

2.296

21.398

6

10.678

94.157

7

5.541

102.133

8

0.235

40.173

9

3.979

48.811

10

1.894

76.962

11

1.177

28.309

Verification by Projection が失敗しています。これはハンドアイキャリブレーションが正しくないことを示唆しており、タッチテストもひどく失敗することが予想されます。

../../_images/projection_verification_bad.png
手と目のキャリブレーション結果が不十分な例

手と目の変換マトリックスは妥当であり、大まかな手動測定から予想される結果と一致しているように見える(下の表と画像を参照)。

手と目の変換マトリックス

0.999

-0.003

0.040

-54.871

0.002

0.999

0.029

-90.920

-0.040

-0.029

0.999

128.709

0

0

0

1

../../_images/eye_in_hand_approximate_hand_eye_matrix.png

較正残差は許容範囲内であり、最適化が正常に収束したことを示している。

残差

N(ポーズ)

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

11

0.027

0.059

0.160

0.388

小型ロボットの場合、残差はサブミリメートルの範囲になることが期待されますが、大型ロボットの場合は残差がミリメートルの範囲になることがあります。残差の回転成分については、サブ度の範囲になることが期待されます。

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

0.025

0.388

2

0.016

0.270

3

0.021

0.098

4

0.028

0.197

5

0.014

0.057

6

0.056

0.154

7

0.018

0.086

8

0.019

0.230

9

0.031

0.074

10

0.059

0.167

11

0.015

0.043

Verification by Projection は技術的には成功していますが、結果として生じる誤差は依然として許容できないほど大きいです。投影検証の誤差は、ハンドアイキャリブレーションが誤っている場合でも許容範囲に見えることがあるため、合格結果であっても注意して扱ってください。

../../_images/projection_verification_poor.png

触覚テストの結果は不十分(不良またはぎりぎり合格)です。

不良なタッチテスト

タッチテストツールの先端が ArUco マーカーを強く押しすぎている。

限界的なタッチテスト

タッチテストツールの先端が ArUco マーカーを少し押します。

潜在的な原因

ロボットコントローラーから PC にロボットの姿勢をコピーする際に、人為的なミス(タイプミス)が発生しました。

ロボットの姿勢にタイプミスがあると、姿勢と画像のペアに矛盾が生じ、ハンドアイキャリブレーションに必要な幾何学的仮定が崩れてしまいます。たとえ小さな数字の誤りでも、姿勢が歪んでしまい、最適化全体が誤った方向へ進んでしまう可能性があります。その結果、残差が悪化したり、非現実的な変換が生じたり、全体的に満足のいくキャリブレーション結果が得られなかったりします。

潜在的な解決策

  1. ロボットコントローラーから PC にポーズを手動でコピーする場合は、入力ミスがないか値を二重に確認してください。

  2. ロボットコントローラからロボットの姿勢を Zivid のハンドアイキャリブレーション用の変換行列に変換する際には、正しい回転規則が使用されていることを確認してください。

  3. 同じデータセットを使用して、手と目のキャリブレーションを繰り返します。

  4. 手と目のキャリブレーション結果(変換、残差、投影)を確認します。

  5. (ハンドアイキャリブレーションの結果が良好な場合は) タッチテスト を実行します。

../../_images/touching-test-result-aruco.jpg
問題の再現(手と目のキャリブレーション不良)

良質なデータセット

以下の画像に示すデータセットを用いて、手と目のキャリブレーションが正常に実行されました。

../../_images/hand-eye-calibration-small-movements-dataset-only-11.png

キャリブレーションの結果は以下のとおりです。

手と目の変換マトリックス

0.999

-0.002

0.041

-55.598

0.001

0.999

0.028

-90.654

-0.041

-0.028

0.999

129.044

0

0

0

1

残差

N(ポーズ)

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

11

0.025

0.054

0.109

0.192

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

0.025

0.388

2

0.016

0.270

3

0.021

0.098

4

0.028

0.197

5

0.014

0.057

6

0.056

0.154

7

0.018

0.086

8

0.019

0.230

9

0.031

0.074

10

0.059

0.167

11

0.015

0.043

ハンドアイキャリブレーションは タッチテスト によって検証されました。

../../_images/touch_test_correct.png

タッチテストは成功し、手と目のキャリブレーションが正しく正確であることが確認されました。

データセットに問題があります(大きな翻訳エラー)。

ロボットの姿勢を手動で入力する際に​​人間が入力ミスをする可能性をシミュレートするため、良好なデータセット内の 1 つの姿勢に対して大きな並進誤差を導入した。並進ベクトルの X 値を-742.58mm から-142.58mm に変更した(最初の整数桁:7→1)。

キャリブレーションの結果は以下のとおりです。

手と目の変換マトリックス

0.609

0.177

0.773

-467.320

-0.109

0.984

-0.140

17.581

-0.785

0.001

0.619

794.894

0

0

0

1

残差

N(ポーズ)

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

11

2.855

10.677

102.330

405.720

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

1.685

405.720

2

1.816

90.325

3

0.215

74.578

4

1.901

143.061

5

2.296

21.398

6

10.678

94.157

7

5.541

102.133

8

0.235

40.173

9

3.979

48.811

10

1.894

76.962

11

1.177

28.309

Verification by Projection が失敗しました。これはハンドアイキャリブレーションが正しくないことを示唆しており、タッチテストもひどく失敗することが予想されます。そのため、安全上の理由からタッチテストはスキップされました。

../../_images/projection_verification_bad.png

比較

以下の表では、手と目のキャリブレーション行列(並進値)と手と目のキャリブレーション残差の結果を比較しています。

手と目の変換行列における並進値

データセット

X(mm)

Y(mm)

Z(mm)

良い

-55.598

-90.654

129.044

悪い(大きな翻訳ミス)

-467.320

17.581

794.894

Δ(良い-悪い)

411.722

-108.235

-665.850

残差

データセット

N

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

良い

11

0.025

0.054

0.109

0.192

悪い(大きな翻訳ミス)

11

2.855

10.677

102.330

405.720

問題の再現(手と目のキャリブレーションの不具合)

良質なデータセット

以下の画像に示すデータセットを用いて、手と目のキャリブレーションが正常に実行されました。

../../_images/hand-eye-calibration-small-movements-dataset-only-11.png

キャリブレーションの結果は以下のとおりです。

手と目の変換マトリックス

0.999

-0.002

0.041

-55.598

0.001

0.999

0.028

-90.654

-0.041

-0.028

0.999

129.044

0

0

0

1

残差

N(ポーズ)

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

11

0.025

0.054

0.109

0.192

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

0.025

0.388

2

0.016

0.270

3

0.021

0.098

4

0.028

0.197

5

0.014

0.057

6

0.056

0.154

7

0.018

0.086

8

0.019

0.230

9

0.031

0.074

10

0.059

0.167

11

0.015

0.043

ハンドアイキャリブレーションは タッチテスト によって検証されました。

../../_images/touch_test_correct.png

タッチテストは成功し、手と目のキャリブレーションが正しく正確であることが確認されました。

ロボットの姿勢を手動で入力する際に​​発生する人間の入力ミスをシミュレートするために、良好なデータセットに 3 つの異なる方法でエラーを導入し、3 つの新しいデータセットを作成しました。

小さな角度誤差

ロール・ピッチ・ヨー角のうちの 1 つについて、ある姿勢で小さな角度誤差("." の後の最初の桁)が発生しました。ヨーの値は 6.82°から 6.22°に変更されました("." の後の最初の桁 8 → 2)。

キャリブレーションの結果、以下のハンドアイ行列と残差が得られました。

手と目の変換マトリックス

0.999

-0.002

0.044

-57.032

0.001

1.000

0.029

-90.899

-0.044

-0.029

0.999

129.580

0

0

0

1

残差

データセット

N

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

小角度誤差

11

0.104

0.536

0.256

0.877

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

0.536334

0.877

2

0.055345

0.431

3

0.057495

0.189

4

0.064677

0.301

5

0.054738

0.115

6

0.059730

0.029

7

0.070040

0.238

8

0.062262

0.119

9

0.060767

0.069

10

0.060585

0.288

11

0.062108

0.160

良質なデータセットとの比較

手と目の変換行列における並進値

データセット

X(mm)

Y(mm)

Z(mm)

良い

-55.598

-90.654

129.044

不良(角度誤差が小さい)

-57.032

-90.899

129.580

Δ(良い-悪い)

1.434

0.244

-0.536

残差

データセット

N

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

良い

11

0.025

0.054

0.109

0.192

不良(角度誤差が小さい)

11

0.104

0.536

0.256

0.877

タッチテスト

タッチテストツールの先端が ArUco マーカーを強く押しすぎている。

大きな角度誤差

ロール・ピッチ・ヨー角のうちの 1 つにおいて、ある姿勢で大きな角度誤差(最初の桁)が発生しました。ヨー角の値が 6.93°から 3.93°に変更されました(最初の整数桁が 6→3)。

キャリブレーションの結果、以下のハンドアイ行列と残差が得られました。

手と目の変換マトリックス

0.999

0.005

0.047

-58.558

-0.006

1.000

0.029

-87.455

-0.047

-0.029

0.998

131.117

0

0

0

1

残差

データセット

N

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

大角度誤差

11

0.505

2.742

0.966

4.393

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

2.742018

4.393

2

0.280878

1.050

3

0.269892

0.750

4

0.288396

1.053

5

0.291592

0.435

6

0.247856

0.691

7

0.315325

0.886

8

0.278548

0.410

9

0.297165

0.382

10

0.262904

0.314

11

0.285421

0.262

良質なデータセットとの比較

手と目の変換行列における並進値

データセット

X(mm)

Y(mm)

Z(mm)

良い

-55.598

-90.654

129.044

不良(大きな角度誤差)

-58.558

-87.455

131.117

Δ(良い-悪い)

2.960

-3.199

-2.073

残差

データセット

N

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

良い

11

0.025

0.054

0.109

0.192

不良(大きな角度誤差)

11

0.505

2.742

0.966

4.393

タッチテスト

タッチテストツールの先端が ArUco マーカーに届かない。

小さな並進誤差

あるポーズの並進ベクトル値の 1 つにおいて、小さな並進エラー("." の後の最初の桁)が発生しました。X の値が -48.81 から -48.21 に変更されました("." の後の最初の桁 8 → 2)。

キャリブレーションの結果、以下のハンドアイ行列と残差が得られました。

手と目の変換マトリックス

0.999

-0.003

0.040

-54.871

0.002

1.000

0.029

-90.920

-0.040

-0.029

0.999

128.709

0

0

0

1

残差

データセット

N

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

小さな翻訳ミス

11

0.027

0.059

0.160

0.388

完全残余
残差

ポーズ

回転角度(°)

翻訳(mm)

1

0.025433

0.388

2

0.016149

0.270

3

0.021316

0.098

4

0.027773

0.197

5

0.013938

0.057

6

0.056120

0.154

7

0.018387

0.086

8

0.019042

0.230

9

0.031110

0.074

10

0.059334

0.167

11

0.014671

0.043

良質なデータセットとの比較

手と目の変換行列における並進値

データセット

X(mm)

Y(mm)

Z(mm)

良い

-55.598

-90.654

129.044

悪い(小さな翻訳ミス)

-54.871

-90.920

128.709

Δ(良い-悪い)

-0.727

0.265

0.335

残差

データセット

N

回転平均度(°)

最大回転角度(°)

平均転位(mm)

最大トランスミッション値(mm)

良い

11

0.025

0.054

0.109

0.192

悪い(小さな翻訳ミス)

11

0.027

0.059

0.160

0.388

タッチテスト

タッチテストツールの先端が ArUco マーカーの中心に着地します。