このページの一部は機械翻訳であり、まだ人による確認が行われていません。

マルチカメラキャリブレーションチュートリアル

このチュートリアルでは、Zivid SDK を使用して複数のカメラを相互にキャリブレーションする方法について説明します。このキャリブレーションの結果は、各カメラからプライマリカメラへの変換行列です。プライマリカメラはデフォルトでは最初に接続されたカメラですが、シリアル番号を使用して簡単に制御できます。

前提条件

Zivid SDK と C++ サンプルがインストールされている必要があります。詳細については、 zivid-cpp-samples または zivid-python-samples を参照してください。このチュートリアルでは、初期化やキャプチャなどの SDK の基本については詳しく説明しません。それらについては キャプチャチュートリアル 参照してください。

カメラに接続する

このチュートリアルでは、利用可能なすべてのカメラに接続します。接続方法は以下のとおりです。

ソースへ移動

ソース

auto cameras = zivid.cameras();
std::cout << "Number of cameras found: " << cameras.size() << std::endl;

auto connectedCameras = connectToAllAvailableCameras(cameras);
if(connectedCameras.size() < 2)
{
    throw std::runtime_error("At least two cameras need to be connected");
}
std::cout << "Number of connected cameras: " << connectedCameras.size() << std::endl;
ソースへ移動

ソース

cameras = app.cameras()
print(f"Number of cameras found: {len(cameras)}")

connected_cameras = connect_to_all_available_cameras(cameras)
if len(connected_cameras) < 2:
    raise RuntimeError("At least two cameras need to be connected")
print(f"Number of connected cameras: {len(connected_cameras)}")

キャリブレーション対象物をキャプチャする

これで校正対象物を撮影する準備が整いました。

試料中の捕捉は、専用のキャリブレーションボードの捕捉機能を用いて行われます。

ソースへ移動

ソース

const auto frame = Zivid::Calibration::captureCalibrationBoard(camera);
ソースへ移動

ソース

if settings_path is None:
    frame = zivid.calibration.capture_calibration_board(camera)
else:
    settings = zivid.Settings.load(settings_path)
    frame = camera.capture_2d_3d(settings)

ファイルから点群を読み込む際は、このコード行を次のコード行に置き換えるだけです。

ソースへ移動

ソース

const auto frame = Zivid::Frame(fileName);
ソースへ移動

ソース

frame = zivid.Frame(file_name)

市松模様の特徴点を検出する

このチュートリアルで使用するキャリブレーション対象物はチェッカーボードです。キャリブレーションを実行する前に、すべてのカメラからチェッカーボード上の特徴点を検出する必要があります。

ソースへ移動

ソース

const auto detectionResult = Zivid::Calibration::detectCalibrationBoard(frame);
ソースへ移動

ソース

detection_result = zivid.calibration.detect_calibration_board(frame)

この時点で、キャプチャの品質が十分であったかどうかを確認できます。detectionResult detectionResult 直接テスト可能な型です。この情報を提供するために、bool 演算子をオーバーロードしています。品質テストに合格すると、検出結果と使用したカメラのシリアル番号を保存します。

ソースへ移動

ソース

if(detectionResult)
{
    Detection currentDetection(serial, detectionResult);
    detectionsList.push_back(currentDetection);
}
else
{
    throw std::runtime_error(
        "Could not detect checkerboard. Please ensure it is visible from all cameras.");
}
ソースへ移動

ソース

if detection_result:
    detections_list.append(Detection(serial, detection_result))
else:
    raise RuntimeError("Could not detect checkerboard. Please ensure it is visible from all cameras.")

マルチカメラキャリブレーションを実行する

すべてのカメラで撮影されたすべての画像からすべての特徴点を検出できたので、マルチカメラキャリブレーションを実行できます。

ソースへ移動

ソース

const auto results = Zivid::Calibration::calibrateMultiCamera(detectionResultsList);
ソースへ移動

ソース

results = zivid.calibration.calibrate_multi_camera(detection_results_list)

返された results 直接確認することで、キャリブレーションが成功したかどうかを判断できます。ここでも、型はブール演算子をオーバーロードしています。

ソースへ移動

ソース

if(results)
{
    std::cout << "Multi-camera calibration OK." << std::endl;
}
else
{
    std::cout << "Multi-camera calibration FAILED." << std::endl;
}
ソースへ移動

ソース

if results:
    print("Multi-camera calibration OK.")
else:
    print("Multi-camera calibration FAILED.")

results には 2 つのベクトルが含まれています。

  1. transforms - すべての変換行列が含まれています

  2. residuals - 校正誤差の指標が含まれています

ソースへ移動

ソース

const auto &transforms = results.transforms();
const auto &residuals = results.residuals();
ソースへ移動

ソース

transforms = results.transforms()
residuals = results.residuals()

対応する API については、マルチカメラキャリブレーション を参照してください。

変換行列を YAML 形式で保存する

後で結果を使用するため、変換結果を YAML ファイルに保存します。これには、API を使用します。どの変換行列がどのカメラに対応しているかを追跡することが重要です。より正確には、キャリブレーション中のカメラの姿勢です。そのため、カメラのシリアル番号を識別子として使用し、ファイル名に含めます。

ソースへ移動

ソース

transforms[i].save(transformationMatricesSavePath + "/" + detectionsList[i].serialNumber + ".yaml");
ソースへ移動

ソース

assert_affine_matrix_and_save(
    transform, transformation_matrices_save_path / f"{detections_list[i].serial_number}.yaml"
)

結論

このチュートリアルでは、Zivid SDK を使用して複数のカメラをキャリブレーションする方法を示します。これで、変換行列を使用して複数のカメラから得られた点群をつなぎ合わせることができます。変形によるステッチチュートリアル を参照してください。