ハンドアイキャリブレーション結果が不十分です(ロボットの姿勢設定ミスによる手動操作)。
問題
手と目のキャリブレーション結果は不十分(不良またはぎりぎり)で、以下のいずれかの組み合わせのように見えます。
手と目の変形 |
手と目の残差 |
投影検証 |
タッチテスト |
|---|---|---|---|
悪い |
悪い |
悪い |
危険 |
合理的 |
悪い |
悪い |
悪い |
合理的 |
限界 |
悪い |
悪い |
合理的 |
良い |
貧しい |
限界 |
手動で入力したロボットの姿勢にタイプミスがある場合は、値(または使用している回転規則)を再確認し、ハンドアイキャリブレーションをやり直してください(下記の Potential Solution を参照)。
手と目のキャリブレーション結果が悪い例
手と目の変換行列は正しくないように見えます。なぜなら、そのいくつかの値が物理的な測定値と非常に大きく異なっており、この設定では妥当ではないからです。
0.609 |
0.177 |
0.773 |
-467.320 |
-0.109 |
0.984 |
-0.140 |
17.581 |
-0.785 |
0.001 |
0.619 |
794.894 |
0 |
0 |
0 |
1 |
この設定では、値 794.894 はおよそ 130 mm に、値 17.581 はおよそ 90 mm になることが期待されます(期待値はカメラとキャリブレーション対象物のジオメトリによって異なります)。この段階では符号(+/-)は座標系の定義に依存するため無視し、距離のみに注目します。
較正残差も予想よりかなり大きく、数桁高い値を示している。
N(ポーズ) |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|
11 |
2.855 |
10.677 |
102.330 |
405.720 |
小型ロボットの場合、残差はサブミリメートルの範囲になることが期待されますが、大型ロボットの場合は残差がミリメートルの範囲になることがあります。残差の回転成分については、サブ度の範囲になることが期待されます。
完全残余
ポーズ |
回転角度(°) |
翻訳(mm) |
|---|---|---|
1 |
1.685 |
405.720 |
2 |
1.816 |
90.325 |
3 |
0.215 |
74.578 |
4 |
1.901 |
143.061 |
5 |
2.296 |
21.398 |
6 |
10.678 |
94.157 |
7 |
5.541 |
102.133 |
8 |
0.235 |
40.173 |
9 |
3.979 |
48.811 |
10 |
1.894 |
76.962 |
11 |
1.177 |
28.309 |
Verification by Projection が失敗しています。これはハンドアイキャリブレーションが正しくないことを示唆しており、タッチテストもひどく失敗することが予想されます。
手と目のキャリブレーション結果が不十分な例
手と目の変換マトリックスは妥当であり、大まかな手動測定から予想される結果と一致しているように見える(下の表と画像を参照)。
0.999 |
-0.003 |
0.040 |
-54.871 |
0.002 |
0.999 |
0.029 |
-90.920 |
-0.040 |
-0.029 |
0.999 |
128.709 |
0 |
0 |
0 |
1 |
較正残差は許容範囲内であり、最適化が正常に収束したことを示している。
N(ポーズ) |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|
11 |
0.027 |
0.059 |
0.160 |
0.388 |
小型ロボットの場合、残差はサブミリメートルの範囲になることが期待されますが、大型ロボットの場合は残差がミリメートルの範囲になることがあります。残差の回転成分については、サブ度の範囲になることが期待されます。
完全残余
ポーズ |
回転角度(°) |
翻訳(mm) |
|---|---|---|
1 |
0.025 |
0.388 |
2 |
0.016 |
0.270 |
3 |
0.021 |
0.098 |
4 |
0.028 |
0.197 |
5 |
0.014 |
0.057 |
6 |
0.056 |
0.154 |
7 |
0.018 |
0.086 |
8 |
0.019 |
0.230 |
9 |
0.031 |
0.074 |
10 |
0.059 |
0.167 |
11 |
0.015 |
0.043 |
Verification by Projection は技術的には成功していますが、結果として生じる誤差は依然として許容できないほど大きいです。投影検証の誤差は、ハンドアイキャリブレーションが誤っている場合でも許容範囲に見えることがあるため、合格結果であっても注意して扱ってください。
触覚テストの結果は不十分(不良またはぎりぎり合格)です。
不良なタッチテスト
タッチテストツールの先端が ArUco マーカーを強く押しすぎている。
限界的なタッチテスト
タッチテストツールの先端が ArUco マーカーを少し押します。
潜在的な原因
ロボットコントローラーから PC にロボットの姿勢をコピーする際に、人為的なミス(タイプミス)が発生しました。
ロボットの姿勢にタイプミスがあると、姿勢と画像のペアに矛盾が生じ、ハンドアイキャリブレーションに必要な幾何学的仮定が崩れてしまいます。たとえ小さな数字の誤りでも、姿勢が歪んでしまい、最適化全体が誤った方向へ進んでしまう可能性があります。その結果、残差が悪化したり、非現実的な変換が生じたり、全体的に満足のいくキャリブレーション結果が得られなかったりします。
潜在的な解決策
ロボットコントローラーから PC にポーズを手動でコピーする場合は、入力ミスがないか値を二重に確認してください。
ロボットコントローラからロボットの姿勢を Zivid のハンドアイキャリブレーション用の変換行列に変換する際には、正しい回転規則が使用されていることを確認してください。
同じデータセットを使用して、手と目のキャリブレーションを繰り返します。
手と目のキャリブレーション結果(変換、残差、投影)を確認します。
(ハンドアイキャリブレーションの結果が良好な場合は) タッチテスト を実行します。
問題の再現(手と目のキャリブレーション不良)
良質なデータセット
以下の画像に示すデータセットを用いて、手と目のキャリブレーションが正常に実行されました。
キャリブレーションの結果は以下のとおりです。
0.999 |
-0.002 |
0.041 |
-55.598 |
0.001 |
0.999 |
0.028 |
-90.654 |
-0.041 |
-0.028 |
0.999 |
129.044 |
0 |
0 |
0 |
1 |
N(ポーズ) |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|
11 |
0.025 |
0.054 |
0.109 |
0.192 |
完全残余
ポーズ |
回転角度(°) |
翻訳(mm) |
|---|---|---|
1 |
0.025 |
0.388 |
2 |
0.016 |
0.270 |
3 |
0.021 |
0.098 |
4 |
0.028 |
0.197 |
5 |
0.014 |
0.057 |
6 |
0.056 |
0.154 |
7 |
0.018 |
0.086 |
8 |
0.019 |
0.230 |
9 |
0.031 |
0.074 |
10 |
0.059 |
0.167 |
11 |
0.015 |
0.043 |
ハンドアイキャリブレーションは タッチテスト によって検証されました。
タッチテストは成功し、手と目のキャリブレーションが正しく正確であることが確認されました。
データセットに問題があります(大きな翻訳エラー)。
ロボットの姿勢を手動で入力する際に人間が入力ミスをする可能性をシミュレートするため、良好なデータセット内の 1 つの姿勢に対して大きな並進誤差を導入した。並進ベクトルの X 値を-742.58mm から-142.58mm に変更した(最初の整数桁:7→1)。
キャリブレーションの結果は以下のとおりです。
0.609 |
0.177 |
0.773 |
-467.320 |
-0.109 |
0.984 |
-0.140 |
17.581 |
-0.785 |
0.001 |
0.619 |
794.894 |
0 |
0 |
0 |
1 |
N(ポーズ) |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|
11 |
2.855 |
10.677 |
102.330 |
405.720 |
完全残余
ポーズ |
回転角度(°) |
翻訳(mm) |
|---|---|---|
1 |
1.685 |
405.720 |
2 |
1.816 |
90.325 |
3 |
0.215 |
74.578 |
4 |
1.901 |
143.061 |
5 |
2.296 |
21.398 |
6 |
10.678 |
94.157 |
7 |
5.541 |
102.133 |
8 |
0.235 |
40.173 |
9 |
3.979 |
48.811 |
10 |
1.894 |
76.962 |
11 |
1.177 |
28.309 |
Verification by Projection が失敗しました。これはハンドアイキャリブレーションが正しくないことを示唆しており、タッチテストもひどく失敗することが予想されます。そのため、安全上の理由からタッチテストはスキップされました。
比較
以下の表では、手と目のキャリブレーション行列(並進値)と手と目のキャリブレーション残差の結果を比較しています。
データセット |
X(mm) |
Y(mm) |
Z(mm) |
|---|---|---|---|
良い |
-55.598 |
-90.654 |
129.044 |
悪い(大きな翻訳ミス) |
-467.320 |
17.581 |
794.894 |
Δ(良い-悪い) |
411.722 |
-108.235 |
-665.850 |
データセット |
N |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|---|
良い |
11 |
0.025 |
0.054 |
0.109 |
0.192 |
悪い(大きな翻訳ミス) |
11 |
2.855 |
10.677 |
102.330 |
405.720 |
問題の再現(手と目のキャリブレーションの不具合)
良質なデータセット
以下の画像に示すデータセットを用いて、手と目のキャリブレーションが正常に実行されました。
キャリブレーションの結果は以下のとおりです。
0.999 |
-0.002 |
0.041 |
-55.598 |
0.001 |
0.999 |
0.028 |
-90.654 |
-0.041 |
-0.028 |
0.999 |
129.044 |
0 |
0 |
0 |
1 |
N(ポーズ) |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|
11 |
0.025 |
0.054 |
0.109 |
0.192 |
完全残余
ポーズ |
回転角度(°) |
翻訳(mm) |
|---|---|---|
1 |
0.025 |
0.388 |
2 |
0.016 |
0.270 |
3 |
0.021 |
0.098 |
4 |
0.028 |
0.197 |
5 |
0.014 |
0.057 |
6 |
0.056 |
0.154 |
7 |
0.018 |
0.086 |
8 |
0.019 |
0.230 |
9 |
0.031 |
0.074 |
10 |
0.059 |
0.167 |
11 |
0.015 |
0.043 |
ハンドアイキャリブレーションは タッチテスト によって検証されました。
タッチテストは成功し、手と目のキャリブレーションが正しく正確であることが確認されました。
ロボットの姿勢を手動で入力する際に発生する人間の入力ミスをシミュレートするために、良好なデータセットに 3 つの異なる方法でエラーを導入し、3 つの新しいデータセットを作成しました。
小さな角度誤差
ロール・ピッチ・ヨー角のうちの 1 つについて、ある姿勢で小さな角度誤差("." の後の最初の桁)が発生しました。ヨーの値は 6.82°から 6.22°に変更されました("." の後の最初の桁 8 → 2)。
キャリブレーションの結果、以下のハンドアイ行列と残差が得られました。
0.999 |
-0.002 |
0.044 |
-57.032 |
0.001 |
1.000 |
0.029 |
-90.899 |
-0.044 |
-0.029 |
0.999 |
129.580 |
0 |
0 |
0 |
1 |
データセット |
N |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|---|
小角度誤差 |
11 |
0.104 |
0.536 |
0.256 |
0.877 |
完全残余
ポーズ |
回転角度(°) |
翻訳(mm) |
|---|---|---|
1 |
0.536334 |
0.877 |
2 |
0.055345 |
0.431 |
3 |
0.057495 |
0.189 |
4 |
0.064677 |
0.301 |
5 |
0.054738 |
0.115 |
6 |
0.059730 |
0.029 |
7 |
0.070040 |
0.238 |
8 |
0.062262 |
0.119 |
9 |
0.060767 |
0.069 |
10 |
0.060585 |
0.288 |
11 |
0.062108 |
0.160 |
良質なデータセットとの比較
データセット |
X(mm) |
Y(mm) |
Z(mm) |
|---|---|---|---|
良い |
-55.598 |
-90.654 |
129.044 |
不良(角度誤差が小さい) |
-57.032 |
-90.899 |
129.580 |
Δ(良い-悪い) |
1.434 |
0.244 |
-0.536 |
データセット |
N |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|---|
良い |
11 |
0.025 |
0.054 |
0.109 |
0.192 |
不良(角度誤差が小さい) |
11 |
0.104 |
0.536 |
0.256 |
0.877 |
タッチテスト
タッチテストツールの先端が ArUco マーカーを強く押しすぎている。
大きな角度誤差
ロール・ピッチ・ヨー角のうちの 1 つにおいて、ある姿勢で大きな角度誤差(最初の桁)が発生しました。ヨー角の値が 6.93°から 3.93°に変更されました(最初の整数桁が 6→3)。
キャリブレーションの結果、以下のハンドアイ行列と残差が得られました。
0.999 |
0.005 |
0.047 |
-58.558 |
-0.006 |
1.000 |
0.029 |
-87.455 |
-0.047 |
-0.029 |
0.998 |
131.117 |
0 |
0 |
0 |
1 |
データセット |
N |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|---|
大角度誤差 |
11 |
0.505 |
2.742 |
0.966 |
4.393 |
完全残余
ポーズ |
回転角度(°) |
翻訳(mm) |
|---|---|---|
1 |
2.742018 |
4.393 |
2 |
0.280878 |
1.050 |
3 |
0.269892 |
0.750 |
4 |
0.288396 |
1.053 |
5 |
0.291592 |
0.435 |
6 |
0.247856 |
0.691 |
7 |
0.315325 |
0.886 |
8 |
0.278548 |
0.410 |
9 |
0.297165 |
0.382 |
10 |
0.262904 |
0.314 |
11 |
0.285421 |
0.262 |
良質なデータセットとの比較
データセット |
X(mm) |
Y(mm) |
Z(mm) |
|---|---|---|---|
良い |
-55.598 |
-90.654 |
129.044 |
不良(大きな角度誤差) |
-58.558 |
-87.455 |
131.117 |
Δ(良い-悪い) |
2.960 |
-3.199 |
-2.073 |
データセット |
N |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|---|
良い |
11 |
0.025 |
0.054 |
0.109 |
0.192 |
不良(大きな角度誤差) |
11 |
0.505 |
2.742 |
0.966 |
4.393 |
タッチテスト
タッチテストツールの先端が ArUco マーカーに届かない。
小さな並進誤差
あるポーズの並進ベクトル値の 1 つにおいて、小さな並進エラー("." の後の最初の桁)が発生しました。X の値が -48.81 から -48.21 に変更されました("." の後の最初の桁 8 → 2)。
キャリブレーションの結果、以下のハンドアイ行列と残差が得られました。
0.999 |
-0.003 |
0.040 |
-54.871 |
0.002 |
1.000 |
0.029 |
-90.920 |
-0.040 |
-0.029 |
0.999 |
128.709 |
0 |
0 |
0 |
1 |
データセット |
N |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|---|
小さな翻訳ミス |
11 |
0.027 |
0.059 |
0.160 |
0.388 |
完全残余
ポーズ |
回転角度(°) |
翻訳(mm) |
|---|---|---|
1 |
0.025433 |
0.388 |
2 |
0.016149 |
0.270 |
3 |
0.021316 |
0.098 |
4 |
0.027773 |
0.197 |
5 |
0.013938 |
0.057 |
6 |
0.056120 |
0.154 |
7 |
0.018387 |
0.086 |
8 |
0.019042 |
0.230 |
9 |
0.031110 |
0.074 |
10 |
0.059334 |
0.167 |
11 |
0.014671 |
0.043 |
良質なデータセットとの比較
データセット |
X(mm) |
Y(mm) |
Z(mm) |
|---|---|---|---|
良い |
-55.598 |
-90.654 |
129.044 |
悪い(小さな翻訳ミス) |
-54.871 |
-90.920 |
128.709 |
Δ(良い-悪い) |
-0.727 |
0.265 |
0.335 |
データセット |
N |
回転平均度(°) |
最大回転角度(°) |
平均転位(mm) |
最大トランスミッション値(mm) |
|---|---|---|---|---|---|
良い |
11 |
0.025 |
0.054 |
0.109 |
0.192 |
悪い(小さな翻訳ミス) |
11 |
0.027 |
0.059 |
0.160 |
0.388 |
タッチテスト
タッチテストツールの先端が ArUco マーカーの中心に着地します。