Zivid キャリブレーションオブジェクト
Zivid は以下のキャリブレーションオブジェクトをサポートしています。
Zivid キャリブレーションボード
ArUco マーカー
Zivid キャリブレーションボード
主な Zivid キャリブレーションボードは Zivid WebShop で購入できます。これらのボードは infield correction によるカメラメンテナンスにも使用されます。ハンドアイキャリブレーションでボードを使用するには、チェッカーボードと ArUco マーカーの両方が各キャプチャで検出可能である必要があります。
ボードの CAD ファイルは CAD Downloads からダウンロードできます。
ポーズ検出
チェッカーボード検出から返されるポーズの原点は、チェッカーボードの左上の内側コーナーにあり、軸は以下に示す向きになっています。
ポーズを推定するには、チェッカーボードを検出し、検出結果からポーズを読み取ります。
std::cout << "Detecting and estimating pose of the Zivid checkerboard in the camera frame" << std::endl;
const auto detectionResult = Zivid::Calibration::detectCalibrationBoard(frame);
if(!detectionResult.valid())
{
throw std::runtime_error("No checkerboard detected. " + detectionResult.statusDescription());
}
const auto cameraToCheckerboardTransform = detectionResult.pose().toMatrix();
Console.WriteLine("Detecting and estimating pose of the Zivid checkerboard in the camera frame");
var detectionResult = Detector.DetectCalibrationBoard(frame);
var cameraToCheckerboardTransform = new Zivid.NET.Matrix4x4(detectionResult.Pose().ToMatrix());
print("Detecting and estimating pose of the Zivid checkerboard in the camera frame")
detection_result = zivid.calibration.detect_calibration_board(frame)
if not detection_result.valid():
raise RuntimeError(f"No Checkerboard detected. {detection_result.status_description()}")
camera_to_checkerboard_transform = detection_result.pose().to_matrix()
上記の画像は、ポーズを 2D 画像に投影し、座標系の軸を描画して作成されたものです。
std::cout << "Converting to OpenCV image format" << std::endl;
const auto bgraImage = pointCloudToColorBGRA_SRGB(pointCloud);
std::cout << "Visualizing checkerboard with coordinate system" << std::endl;
cv::Mat bgrCoordinateSystem;
cv::cvtColor(bgraImage, bgrCoordinateSystem, cv::COLOR_BGRA2BGR);
drawCoordinateSystem(frame, cameraToCheckerboardTransform, bgrCoordinateSystem);
displayBGR(bgrCoordinateSystem, "Checkerboard transformation frame");
print("Converting to OpenCV image format")
bgra_image = point_cloud.copy_data("bgra_srgb")
print("Visualizing checkerboard with coordinate system")
bgr_coordinate_system = bgra_image[:, :, 0:3].copy()
_draw_coordinate_system(frame, camera_to_checkerboard_transform, bgr_coordinate_system)
display_bgr(bgr_coordinate_system, "Checkerboard transformation frame")
完全な例については、 チェッカーボードによる変換 を参照してください。
ArUco マーカー
Zivid のハンドアイキャリブレーションは、1 つまたは複数の ArUco マーカーをキャリブレーションオブジェクトとして使用することもできます。一般的に、使用するマーカーの数が多いほど精度が向上します。ArUco マーカーは https://chev.me/arucogen/ で生成および印刷できます。マーカーは平らな面に印刷してください。サポートされている OpenCV 辞書は 4x4、5x5、6x6、および 7x7 です。ハンドアイキャリブレーションに ArUco マーカーを使用する利点の 1 つは、マーカーが小さいことです。もう 1 つは、すべてのマーカーが各キャプチャで検出可能である必要がないことです。
ArUco マーカーはどのくらいの大きさが必要ですか?
最も遠い撮像距離において、ArUco ビットの辺 1 辺あたり少なくとも 7 ピクセルを確保することをお勧めします。下の画像は、ArUco マーカーを拡大した画像で、各 ArUco ビットが 8 ピクセルで表現されています。必要な最小サイズ(mm 単位)の算出方法は、以下の例で説明します。
4x4 ArUco 辞書の場合、6 ビット(内側 4 ビットと外側 2 ビット)なので、マーカーの辺ごとに最低 42 ピクセルを目指してください。
Zivid 2+ M130 カメラを最大撮影距離 2 メートルで使用していると仮定します。このカメラと撮影距離における空間分解能は 0.5 mm です( FOV と撮像距離を計算する 参照)。0.5 mm に 42 ピクセルを掛けると 21 mm になります。
したがって、Zivid 2+ M130 を最大 2 メートルの距離で使用するには、ArUco マーカーのサイズが少なくとも 21 mm である必要があります。
注釈
ArUco マーカーの周囲には、少なくとも 1 ビットの余白を設けてください。上記の例では、各辺に 3.5 mm(7 ピクセル × 0.5 mm)の余白が必要です。
複数の ArUco マーカーはどのように配置すべきですか?
複数のマーカーをカスタムターゲットに組み合わせて取り付ける場合:
マーカーは一直線上に並べるのではなく、十字形やグリッド形など、真の 2D パターンで配置してください。ハンドアイキャリブレーションに使用する 3 つ以上のマーカーは、1 つの直線上(またはその近く)に並ぶのではなく、実際の 2D 領域に広がっている必要があります。
ネジ、ブラケット、クランプ、ケーブルなどの取り付け金具は、一部の視野角からはマーカーの視界を遮るが他の角度からは遮らないような位置に配置しないでください。多くのポーズにわたって常にマーカーが隠れていると、並進残差は良好に見えても、回転残差が大きくなったり無効になったりすることがあります。
この問題が発生した場合の例については、 不十分なハンドアイキャリブレーション結果(マルチマーカー ArUco ターゲット:並進は良好、回転が NaN または極端) を参照してください。
ポーズ検出
ArUco マーカー検出から返されるポーズの原点は、マーカーの中心にあります。その z 軸は、以下に示すようにマーカーの面に対して垂直に伸びています。
ポーズを推定するには、マーカーを検出し、検出されたマーカーからポーズを読み取ります。
std::cout << "Detecting ArUco marker" << std::endl;
const auto detectionResult = Zivid::Calibration::detectMarkers(frame, markerId, markerDictionary);
std::cout << "Estimating pose of detected ArUco marker" << std::endl;
const auto cameraToMarkerTransform = detectionResult.detectedMarkers()[0].pose().toMatrix();
上記の画像は、ポーズを 2D 画像に投影し、座標系の軸を描画して作成されたものです。
std::cout << "Converting to OpenCV image format" << std::endl;
const auto bgraImage = pointCloudToColorBGRA_SRGB(pointCloud);
std::cout << "Visualizing ArUco marker with coordinate system" << std::endl;
cv::Mat bgrCoordinateSystem;
cv::cvtColor(bgraImage, bgrCoordinateSystem, cv::COLOR_BGRA2BGR);
drawCoordinateSystem(frame, cameraToMarkerTransform, bgrCoordinateSystem);
displayBGR(bgrCoordinateSystem, "ArUco marker transformation frame");
print("Converting to OpenCV image format")
bgra_image = point_cloud.copy_data("bgra_srgb")
print("Visualizing ArUco marker with coordinate system")
bgr_coordinate_system = bgra_image[:, :, 0:3].copy()
_draw_coordinate_system(frame, camera_to_marker_transform, bgr_coordinate_system)
display_bgr(bgr_coordinate_system, "ArUco marker transformation frame")
完全な例については、 ArUco マーカーによる変換 を参照してください。
どのキャリブレーションオブジェクトを使用すべきか?
可能な限り Zivid キャリブレーションボードの使用をお勧めします。以下の表に示すように、使用するカメラモデルに基づいてボードモデルを選択してください。
カメラモデル |
推奨ボード |
|---|---|
Zivid 2 M70 |
7x8 - 30 mm |
Zivid 2 L100 |
7x8 - 30 mm |
Zivid 2+ MR130 |
7x8 - 30 mm |
Zivid 2+ LR110 |
7x8 - 30 mm |
Zivid 2+ MR60 |
5x6 - 20 mm |
Zivid 3 XL250 |
7x8 - 30 mm |
ArUco マーカーは、以下の用途に使用してください。
Eye-to-hand 構成
キャリブレーションオブジェクトをロボットに恒久的に取り付ける必要がある場合
Zivid キャリブレーションボードが大きすぎる場合
キャリブレーションオブジェクトを選択したら、 Zivid ハンドアイキャリブレーションの実行と統合方法 を確認してください。
バージョン履歴
SDK |
変更点 |
|---|---|
2.18.0 |
ArUco マーカー検出を改善しました。 |
2.16.0 |
より小型のキャリブレーションボード ZVDA-CB02 (5x6 20 mm) のサポートを追加しました。 |
2.14.0 |
9x6 のグレーと白のチェッカーボードのサポートを削除しました。 |
2.13.0 |
ArUco マーカーのサポートを追加しました。 |