ビジュアライザー
はじめに
Zivid Motion Visualizer は、モーションプランナーとそれが動作計画を行うロボットセルのための 3D 検査ツールです。プランナーが持つセルのモデル、アプリケーションが行った API 呼び出し、および各呼び出しの結果を描画します。
本記事では、ビジュアライザーの開き方、ウィンドウの各部分が示す内容、パス、逆運動学、失敗したパスの検査方法について説明します。また、Zivid とシナリオを共有するために API ログをエクスポートする方法についても説明します。スクリーンショットにはピースピッキングセルが示されています。
注釈
ビジュアライザーは、プランナーの状態とその API 呼び出しの履歴を表示します。プランナーのセットアップは行いません。障害物を設定したり、ロボットに取り付けられているものを変更したりするためには使用できません。ライブカメラ映像ではなく、表示されるロボットはプランナーのモデルです。モデルを実際のロボットに追従させるには、アプリケーションが Motion::Visualizer::setRobotConfiguration を呼び出します。
前提条件
Zivid Motion をインストールしてください。インストール を参照してください。
セルのプランニングデータを生成してください。Generate Planning Data を参照してください。プランナーを表示するにはこれが必要ですが、セルを表示する場合は不要です。
あるいは、インストール済みのセル、生成済みのプランニングデータ、ビジュアライザーを開くサンプルが付属する Zivid Motion Sandbox を使用することもできます。Sandbox の詳細については、customersuccess@zivid.com までお問い合わせください。
ビジュアライザーを開く
ビジュアライザーは、検査したい対象に応じて 2 つのモードのいずれかで開きます。
View a planner は、実行中のプランナーの状態を検査するためのモードです。プランナーを
Motion::Visualizer::viewPlannerに渡します。ウィンドウは、アプリケーションがそのプランナーに対して行うすべての API 呼び出しを追跡し、その呼び出しを Api Log に一覧表示します。本記事の残りの部分では、このモードについて説明します。View a cell は、設定や URDF ファイルを変更した後など、プランナーなしでロボットセルを検査するためのモードです。セル名を
Motion::Visualizer::viewCellに渡します。このウィンドウには Inspection、Setup、View の各メニューがありますが、表示する API 呼び出しがないため Api Log はありません。
ウィンドウは、ユーザーが閉じるか Visualizer オブジェクトが破棄されるまで開いたままになります。ウィンドウを開いたままにするには、アプリケーションの最後で Motion::Visualizer::wait を呼び出します。ビジュアライザーは一度に 1 つしか存在できません。
auto planner = app.createPlanner(
Zivid::Motion::PlannerSettings{ "my_cell", Zivid::Motion::Profile::production });
auto visualizer = Zivid::Motion::Visualizer::viewPlanner(planner);
visualizer.wait();
planner = app.create_planner(PlannerSettings(cell_name="my_cell", profile=Profile.production))
visualizer = Visualizer.view_planner(planner)
visualizer.wait()
useVisualizer が true に設定されている場合、Basic Path Calls のサンプルは、そのプランナー用にビジュアライザーを開きます。Visualize Cell サンプルは、セル用にビジュアライザーを開きます。
ウィンドウの概要
このウィンドウには、メニューバーと 3D ビューがあります。メニューバーからは、スクリーンショットで開いて示されている Visibility や Api Log などのパネルを開くことができます。
メニューバー は、パネルを開いたり、表示オプションを設定したりします。
Visibility パネルは、Inspection メニューから開き、シーンの各部分を表示または非表示にします。
3D ビュー は、ロボット、セル、障害物、および選択されたプランナーの結果を表示します。
Api Log パネルは、Api メニューから開き、3 つの部分から構成されます。
プランナーの現在のセットアップ。
下のリストで選択された API 呼び出しの詳細。
プランナーが作成されてから行われた API 呼び出しの一覧。
Tip
ビジュアライザーは、実行間でウィンドウのレイアウト、開いているパネル、非表示のオブジェクトを記憶します。
表示内容の選択
Visibility パネルには、シーンのすべての部分が、その由来ごとにグループ化されて一覧表示されます。Inspection → Visibility から開きます。チェックボックスをオフにすると、その部分が非表示になります。非表示の部分は赤色で表示されます。
Carried Object と Replaceable Tool は、アプリケーションがこれらを設定するまでグレー表示になります。
Robot には、ロボットのリンクが一覧表示されます。
Attachments には、セルの
UserConfiguration.ymlで設定されたアタッチメントが一覧表示されます。Static Environment には、セル設定からの事前定義されたセルのジオメトリが一覧表示されます。
User Environment には、メッシュや点群など、アプリケーションが実行時に設定する障害物が一覧表示されます。
セクション名をクリックすると、展開または折りたたむことができます。A はセクション内のすべての部分を表示し、N はすべてを非表示にします。
Tip
フェンスなど、ロボットの視界を遮る障害物を非表示にします。障害物を非表示にしても、影響を受けるのはビジュアライザーのみです。プランナーは引き続きその障害物を回避します。
Api Log でプランナーの動作を追跡する
Api Log パネルには、プランナーが作成されてからアプリケーションがそのプランナーに対して行ったすべての呼び出しが記録されます。Api → Api Log から開きます。これは、プランナーに何が要求され、プランナーが何を返したかを理解するための鍵となります。
Planner Setup
上部の行には、プランナーが現在使用しているセットアップが表示されます。緑色は項目が設定されていることを意味し、黄色は設定されていないことを意味します。
Tcp is set:アプリケーションがツールセンターポイントの位置をプランナーに伝えています。
Carried object is not set:ロボットは物体を保持していません。
Replaceable tool is not set:交換可能なツールが取り付けられていません。
Attachments are set:グリッパーなどのアタッチメントが有効になっています。行にカーソルを合わせると、有効なアタッチメントの名前が表示されます。
API 呼び出しの一覧
Api Calls タブには、最新のものから順に呼び出しが一覧表示されます。各行には、インデックス、呼び出しタイプ、タイムスタンプが含まれます。
ピックアンドプレースのサイクルでは、通常次のような呼び出しが行われます。
Set Obstacles は、例えば新しい点群を使用して障害物を更新します。
Compute IK は、ピックの姿勢に到達するロボットの構成を見つけます。
Path は、例えばそれらの構成のいずれかへのパスを計画します。
Set Carried Object は、ロボットがピックした物体を保持していることをプランナーに伝えます。
Clear Carried Object は、物体が解放されたことをプランナーに伝えます。
Path - の後のテキストは、アプリケーションが各パスリクエストに付与する説明であり、例えば To Pick や To Drop のようなものです。リストの最初の呼び出し、例えば Set TCP や Set Attachments は、プランナーをセットアップします。
行をクリックすると、その呼び出しが選択されます。詳細はリストの上に表示され、3D ビューにはその結果が描画されます。呼び出しを選択しても、ロボットが動いたり、シーン内の障害物が変化したりすることはありません。
Tip
Enable Automatic Updates は、アプリケーションが呼び出しを行うたびに最新の呼び出しを選択します。アプリケーションの実行中に自分で選択した項目を維持するには、このオプションをオフにします。
パスの検査
例えば Path - To Pick のような Path 呼び出しを選択します。
ヘッダーは、計画が成功した場合は緑色、失敗した場合は赤色になります。
最初の行には、パスタイプ、結果、計画時間が示されます。例えば
TOUCH、SUCCESS、66msのようになります。Start は、パスの開始元となる関節構成です。
Goal は、プランナーが選択したゴールです。
Start または Goal の値をクリックすると、3D ビューでロボットをその構成に移動できます。
3D ビューには、ツールセンターポイントのパスが赤い線として描画されます。線に沿ったマーカーは、ウェイポイントを示します。
Computed Path スライダーを使用すると、ロボットをパスに沿って動かすことができます。0.0 はパスの開始地点、1.0 は終了地点です。スライダー上の任意の場所をクリックするとその地点にジャンプし、ドラッグすると動作を追跡できます。
パスを再生する唯一の方法はこのスライダーです。これを使用して、ロボットが障害物や点群を避けてどのように動くかを確認します。
ゴールのリスト、ここでは All 15 Goals を展開すると、プランナーが検討したすべてのゴールと、どのゴールが選択されたかを確認できます。1 つのリクエストには多数のゴールを含めることができ、プランナーは到達可能な最良のものを選択します。
executed (緑色)は、パスが向かうゴールです。
not executed, greater cost or no valid path (黄色)は、到達するためのコストが高かった、または到達不可能だったゴールです。
ゴールをクリックすると、ロボットをそのゴールに移動できます。Computed Path Waypoints には、パスの各ウェイポイントとそのブレンド半径が一覧表示されます。Path Call Arguments には、アプリケーションが送信したリクエストが表示されます。
失敗したパスを理解する
失敗したパスには、赤色のヘッダーと、スライダーの横に No Valid Trajectory が表示されます。ステータスは、計画が失敗した理由を示します。例えば BLOCKED_START は、ロボットの開始構成が何かと衝突していることを意味します。
失敗の原因を調べるには、Diagnose failures を選択し、Run Path Again をクリックします。プランナーは同じリクエストを再度計画し、その結果を新しい呼び出しとしてリストに追加します。新しい呼び出しも失敗した場合、Diagnostics セクションにパスが失敗した理由についての詳しい情報が表示されます。衝突をクリックすると、ロボットをその構成に移動できます。衝突しているロボットの部分と障害物はオレンジ色でハイライトされます。
注釈
Run Path Again は、元の呼び出し時の障害物ではなく、現在シーンにある障害物に対して計画を行います。その後障害物が変化している場合、新しい結果は元の結果と異なる可能性があります。
逆運動学の検査
Compute IK 呼び出しを選択すると、ゴールの姿勢を確認できます。3D ビューには、各ゴールの姿勢に座標フレームが描画され、X 軸は赤色、Y 軸は緑色、Z 軸は青色で示されます。
このテーブルには、各ゴールの関節構成、向き(Rpy)、位置(Xyz)が示されます。構成をクリックすると、ロボットをその構成に移動できます。No IK solution found は、ロボットがその姿勢に到達できないことを意味します。
その他の API 呼び出し
Set Obstacles には、その呼び出しに含まれるメッシュと点群の名前が一覧表示されます。3D ビューには、選択された呼び出し時のものではなく、常に現在の障害物が表示されます。
Set Carried Object は、ツールセンターポイントにある保持物体を表示します。
Set TCP は、ツールセンターポイントに座標フレームを描画します。