不十分なハンドアイキャリブレーション結果(マルチマーカー ArUco ターゲット:並進は良好、回転が NaN または極端)
問題
ハンドアイキャリブレーションの結果が不十分で、複数の ArUco マーカーを持つカスタムターゲット(十字型やグリッド型のレイアウトなど)を使用している場合です。結果は次のような組み合わせになります。
ハンドアイ変換 |
ハンドアイ残差 |
投影検証 |
タッチテスト |
|---|---|---|---|
妥当 |
不良(回転: |
未実施 |
未実施 |
マルチマーカー ArUco ターゲットを使用していて、並進は良好なものの回転残差が NaN または極端な値になっている場合は、重複ポーズとマーカーの遮蔽を確認してから、ハンドアイキャリブレーションをやり直してください(以下の 考えられる解決策 を参照)。
不良なハンドアイキャリブレーション結果の例
ハンドアイ変換行列の並進部分は妥当に見えますが、回転部分はそうではありません。
並進残差は良好で、使用するマーカー数にかかわらず平均 0.3~0.5 mm 程度です。
キャリブレーションを 4 つの ArUco マーカーのうち 1~2 個のみに制限した場合、回転残差は
NaNになります。3 個または 4 個すべてのマーカーを使用した場合、回転残差は有効な値にはなるものの極端で、約 11° から 177° の範囲になります。これは、このデータセットをクリーンアップした後に得られる 1° を大きく下回る値とは対照的です。
以下の表は、管理されたテストの結果です。同じ 13 ポーズのデータセットを、表に示す各マーカー数(1、2、3、4 の順)についてそれぞれ 1 回ずつキャリブレーションにかけ直しています。各行は 1 回の実行であり、繰り返しではありません。各実行で変更したのは、4 つの ArUco マーカーのうち使用を許可する数だけです。各ポーズで実際に検出されたマーカー数は変更しておらず、これは別途後述する、実際に生じているマーカーの遮蔽パターンとは別の話です。
使用マーカー数 |
回転残差 |
並進残差 |
|---|---|---|
1 |
NaN(全ポーズ)— 未定義、点数不足 |
0.24~0.82 mm |
2 |
NaN(全ポーズ)— 未定義、点数不足 |
0.24~0.84 mm |
3 |
26°~177°(平均 114°)— 定義されているが、依然として不良 |
0.24~0.74 mm |
4(全マーカー) |
11°~153°(平均 74°)— 定義されているが、依然として不良 |
0.21~0.76 mm |
要点: NaN になるか極端な値になるかの違いは、純粋にその時点で使用可能なマーカーの数に依存するものであり、2 つのデータセットの違いによるものではありません。4 つすべてのマーカーを使用しても残差が極端なままであることこそが、以下で説明する本当の原因、すなわち重複ポーズとマーカーの遮蔽を示しています。
この実験とは別に、以下の 2 枚の画像は、4 つすべてのマーカー ID を許可した未加工の 13 ポーズデータセットにおいて、そもそもなぜ検出されるマーカーが 4 個未満になることがあるのかを示しています。
13 個の撮影ポーズのうちの 1 つ。取り付けネジがこの角度からカメラによるマーカー ID 3 の視野を物理的に遮っているため、4 個のマーカーのうち 3 個しか検出されていません。キャリブレーションからいずれかのマーカー ID が除外されているためではありません。
別の撮影ポーズ。取り付けネジがどのマーカーも遮らない角度から見ているため、4 個すべてが検出されています。
主な識別パターン: 複数の ArUco マーカーを持つターゲットを使用していて、並進は良好だが回転が不良(NaN または極端な値)という組み合わせ。
考えられる原因
ArUco ベースの姿勢推定は、チェッカーボードベースのキャリブレーションとは異なる挙動を示します。チェッカーボードは冗長性の高い多数のコーナー観測値を提供します。一方、1 つの ArUco マーカーは 1 ポーズあたり 1 点(中心点)しか情報を提供しないため、各ポーズが回転残差に与える幾何学的な情報ははるかに少なくなります。
回転残差が意味を持つためには、並進残差よりも多くの点が必要です。 1 つのポーズにおいて、同一直線上にない 3 点未満のマーカー中心しかない場合、回転残差は定義されず
NaNとして報告されます。3 点以上あっても、特に使用するマーカーが互いに近接していたり、ほぼ一直線上に並んでいたりする場合には、キャリブレーションの実際の品質ではなく点のノイズに支配されることがあります。回転残差は、キャリブレーション自体が使用するのと同じ点を使うわけではありません。 これは、キャリブレーション後にデータセット内のマーカー検出結果から計算される診断値です。キャリブレーションが使用したすべてのポーズやマーカーを必ずしも参照するわけではありません。遮蔽によってポーズごとにマーカーの可視性が変化する場合、基礎となるキャリブレーション自体は利用可能なすべての情報を使用していたとしても、回転残差は信頼できないものになることがあります。
実際には、このパターンは、同時に発生しうる 2 つの根本原因に起因することが分かっています。
データセット内のロボットポーズの重複または準重複。 2 回の撮影の間でロボットがほとんど(あるいはまったく)動いていない場合、そのポーズと画像のペアは新たな幾何拘束を追加しません。それでも、独立したポーズとしてカウントされてしまいます。
取り付け金具による 1 つ以上のマーカーの部分的な遮蔽。 ネジ、ブラケット、クランプ、ケーブルなどが、特定の視野角から特定のマーカーへの視線を遮ることがあります。これは必ずしも致命的な失敗を引き起こすわけではありません。キャリブレーションは、各ポーズで検出されたマーカーのみを使用して、何の警告もなく処理を進めてしまうことがあり、実際に完全な拘束を受けているポーズの数を気付かないうちに減らしてしまいます。
考えられる解決策
集計結果だけに頼るのではなく、データセットをポーズごとに確認してください。各ポーズについて、どの ArUco マーカー ID が検出され、どれが欠落していたかを記録します。これには ハンドアイ GUI の使用を推奨しますが、ポーズごとの検出結果を確認できるワークフローであれば何でも構いません。
重複または準重複のロボットポーズがないか確認します。すべての撮影について、画像だけでなくロボットのポーズ値を比較してください。
いずれかのマーカーに物理的な遮蔽がないか確認します。一部の視野角ではマーカーへの視線を遮るが、他の角度では遮らない取り付け金具(ネジ、ブラケット、クランプ、ケーブルなど)がないか探してください。これは致命的な失敗を引き起こすとは限らないため、見落としやすい点です。
まず重複または準重複ポーズを削除してください。これらはいくつのマーカーを示していても、新たな幾何拘束を追加しないためです。1 つのマーカーが遮蔽されている程度の部分的なマーカー可視性はそれ自体正常であり、想定内です(詳細は Zivid キャリブレーションオブジェクト を参照)。そのため、1 つのマーカーが遮蔽されたポーズはすべて破棄するのではなく、保持してください。目安として、4 つのマーカーのうち 1 つを失っても残り 3 つとなり、これは回転残差を定義するために必要な最小数です(上記の「考えられる原因」を参照)。回転残差が不良または
NaNである問題を特に調査していて、なおかつ全マーカーが見えているポーズに十分な余裕がある場合に限り、さらに絞り込んでください。その場合は、回転残差に最も多くの情報を与える、すべてのマーカーが見えているポーズを優先してください。ハンドアイ GUI が必要とする最低 6 ポーズを下回っていないこと、理想的には 10~20 のクリーンなポーズ を確保できていることを確認してください。クリーンなポーズの最小数を下回る恐れがある場合は、ぎりぎりのデータセットを再利用するのではなく、新しくより大きなデータセットを撮影してください。
クリーン化したデータセットを使用して、ハンドアイキャリブレーションをやり直します。
ハンドアイキャリブレーションの結果(変換、残差、投影)を検証します。
(ハンドアイキャリブレーションの結果が良好であれば)タッチテストを実行します。
問題の再現(マルチマーカー ArUco ターゲット、良好な並進、不良な回転)
セットアップ
ロボットフランジに取り付けたカスタムの 4 マーカー ArUco 十字型ターゲットを使用して、Zivid 2 M70 で Eye-to-Hand のハンドアイキャリブレーションを試みました。以下に、撮影した 13 ポーズすべてについて、それぞれの ArUco 検出結果を示します。
より一般的な原因を除外できた理由
実際の根本原因が判明する前に、以下の項目を確認し、原因として除外しました。
マーカーサイズと作業距離。 M70 は 400 mm の距離で 25 mm のマーカーを検出するのに十分な空間分解能を備えていました。カメラモデルと作業距離に応じた 最小マーカーサイズに関するガイダンス を参照してください。
マーカー配置の共線性。 ArUco 検出器を使用して写真から確認しました。4 つのマーカーは一直線ではなく十字パターンを形成しており、4 個のうちどの 3 個の組み合わせを選んでも、実際の 2D 領域に広がっていました。
マーカー向きの一貫性。 4 つのマーカーはすべて、一貫した向きで取り付けられていました。
判明した根本原因
重複ポーズ:13 ポーズのデータセットのうち、2 組のポーズが同一でした(ポーズ 1 とポーズ 2、およびポーズ 4 とポーズ 13)。
取り付け用締結部品によるマーカーの遮蔽:上記の サンプル画像 に示されているように、2 個の締結部品で ArUco ターゲットをロボットに固定していました。
視野角によっては、これらの締結部品が 13 ポーズ中 7 ポーズで 4 個のマーカーのうち 1 個への視線を遮っていました(常に 4 個のうち 3 個は見える状態を保ち、それ未満になることはありませんでした)。具体的にどのマーカーが遮蔽されるかは視野角によって変化しました。
13 ポーズのうち、4 個すべてのマーカーが見えていたのは 6 ポーズのみであり、そのうちの 1 つ(ポーズ 13)は別のポーズ(ポーズ 4)と重複していました。その結果、4 個すべてのマーカーが見えているユニークなポーズは 5 つとなり、ハンドアイ GUI が必要とする最低 6 ポーズを下回ります。
不良データセット(13 ポーズ、4 個すべてのマーカーを要求)
ハンドアイ変換行列は妥当に見え、おおまかな手動計測から予想される値とも一致しています。
0.998 |
-0.001 |
0.056 |
558.764 |
-0.027 |
-0.891 |
0.454 |
-707.493 |
0.049 |
-0.454 |
-0.889 |
641.606 |
0 |
0 |
0 |
1 |
キャリブレーション残差は、特に回転について、想定よりも明らかに大きくなっています。
N(ポーズ数) |
回転 平均(°) |
回転 最大(°) |
並進 平均(mm) |
並進 最大(mm) |
|---|---|---|---|---|
13 |
74.16 |
153.43 |
0.455 |
0.755 |
全残差一覧
ポーズ |
回転(°) |
並進(mm) |
|---|---|---|
1 |
11.62 |
0.612 |
2 |
77.95 |
0.547 |
3 |
38.86 |
0.713 |
4 |
52.00 |
0.230 |
5 |
113.56 |
0.432 |
6 |
153.43 |
0.566 |
7 |
13.07 |
0.523 |
8 |
134.97 |
0.247 |
9 |
85.63 |
0.345 |
10 |
30.97 |
0.755 |
11 |
39.78 |
0.210 |
12 |
124.46 |
0.441 |
13 |
88.29 |
0.294 |
この結果に対してタッチテストを試みることは、回転残差がいかに極端であったかを考えると安全ではなかったため、実施しませんでした。
クリーン化したデータセット(7 ポーズ、重複を削除)
重複を削除した後に残った 7 ポーズ:4 個すべてのマーカーが見えているユニークな 5 ポーズに加え、重複のない 2 ポーズ(うち 1 つは依然として 4 個のうち 3 個しか検出されていません)。
ハンドアイ変換行列は、上記の不良データセットの結果に非常に近い値です。
0.998 |
0.001 |
0.056 |
558.773 |
-0.025 |
-0.891 |
0.453 |
-707.074 |
0.050 |
-0.453 |
-0.890 |
641.879 |
0 |
0 |
0 |
1 |
キャリブレーション残差は許容範囲内であり、最適化が安定して収束していることを示しています。
N(ポーズ数) |
回転 平均(°) |
回転 最大(°) |
並進 平均(mm) |
並進 最大(mm) |
|---|---|---|---|---|
7 |
0.274 |
0.408 |
0.314 |
0.673 |
全残差一覧
ポーズ |
回転(°) |
並進(mm) |
|---|---|---|
1 |
0.202 |
0.673 |
2 |
0.260 |
0.074 |
3 |
0.142 |
0.496 |
4 |
0.299 |
0.472 |
5 |
0.374 |
0.199 |
6 |
0.408 |
0.248 |
7 |
0.239 |
0.036 |
このデータセットについてもタッチテストは実施しませんでした。これは、残差の数値を検証するために元の事例とは独立して再現したものであり、検証ワークフロー全体を繰り返すことが目的ではなかったためです。
比較
以下の表では、ハンドアイキャリブレーション行列(並進値)と残差の結果を比較しています。
データセット |
X(mm) |
Y(mm) |
Z(mm) |
|---|---|---|---|
不良(13 ポーズ) |
558.764 |
-707.493 |
641.606 |
クリーン化(7 ポーズ) |
558.773 |
-707.074 |
641.879 |
Δ(クリーン化 - 不良) |
0.009 |
0.419 |
0.272 |
データセット |
N |
回転 平均(°) |
回転 最大(°) |
並進 平均(mm) |
並進 最大(mm) |
|---|---|---|---|---|---|
不良(13 ポーズ) |
13 |
74.16 |
153.43 |
0.455 |
0.755 |
クリーン化(7 ポーズ) |
7 |
0.274 |
0.408 |
0.314 |
0.673 |
行列の並進部分とその残差は、2 つのデータセットの間でほとんど変化しませんが、回転残差は著しく不安定な状態から一貫して低い値へと変化しています。
注釈
回転残差は、個々のポーズが互いにどれだけ一致しているかを示す指標であり、結果として得られる変換が真のハンドアイキャリブレーションにどれだけ近いかを示すものではありません。値が大きい、または NaN である場合は、(今回のケースのように)データセットのどこかを修正する必要があるという信頼できる兆候です。しかし、値が小さいからといって、それだけで変換が正確であることの証明にはならず、その正確な大きさを異なるマーカー配置のデータセットと比較することもできません。ここでは、2 つの行列(クリーンアップの前後)は互いに比較しただけであり、独立した正解データとは比較していません。13 ポーズの結果に対してタッチテストや投影検証を試みることは、その回転残差がいかに極端であったかを考えると安全ではなかったため、その行列については独立した精度確認を行うことができませんでした。変換そのものが正確であることを確認する方法は、依然として投影またはタッチテストによる検証です。
長期的な計画としては、マーカーの遮蔽を完全に回避するようターゲットの取り付け方法を再設計し、10~20 ポーズ という一般的な推奨事項に沿って、15 ポーズ以上のクリーンなデータセットを新たに撮影し直すことでした。
カスタムのマルチマーカー ArUco ターゲット設計に関する推奨事項
一部の視野角からマーカーを遮蔽する可能性のある位置に、取り付け金具を配置しないようにしてください。
マーカーは一直線上ではなく、十字型やグリッド型などの実質的な 2D パターンで配置してください。
カメラモデルと作業距離に応じた 最小マーカーサイズに関するガイダンス に照らして、マーカーサイズを確認してください。
データ収集中は、最終的な集計結果だけに頼るのではなく、ポーズごとの残差を確認してください。これには ハンドアイ GUI の使用を推奨します。
各ポーズでどの ArUco マーカー ID が検出されたかを追跡し、どのポーズ番号でどのマーカーが欠落しているかを記録してください。これにより、遮蔽のパターンが集計結果の中に隠れることなく可視化されます。
回転残差に疑わしい点が見られる場合は常に、重複または準重複のロボットポーズがないか確認してください。
問題のあるサンプルを安全に破棄できるよう、必要最小限よりも多くのポーズを撮影してください。
正確度の判断を回転残差だけに頼らないでください。回転残差はポーズ同士がどれだけ一致しているかを反映するに過ぎないため、投影検証やタッチテストで結果を確認してください。