梗概

　近年、世界的なコロナウイルスの流行を契機に、物に触れる際は十分な注意が必要であり、人との交流においてもウイルス感染の観点から、ものを共有する際には、今まで以上に慎重さが求められるようになった。

　しかし、まだまだ世の中には接触し、操作するデバイスやものが多く存在している。現在コロナウイルスは落ち着いているが、新たなウイルスが蔓延した際に、非接触で扱えるものは必要だと考え、既存のものを非接触でも操作できるように変える必要があると考えた。

　そこで本研究では、キーボードやタブレット画面に接触して操作を必要としていた既存システムを手の動きを認識するハンドトラッキング(手の向きや動きなどを感知する技術)やジャスチャーによる操作へ改良をし、非接触インタラクション(人によるコンピュータへの非接触による操作)にすることで、ユーザエクスペリエンスを向上させることを念頭に研究を行った。

研究目的

　本研究の目的は,既存のものを非接触で操作できるように改良することである。改良のためには、既存のものが必要であるため、過去なわてんにも出場している「globARhythm!」のシステムを改良し、ハンドトラッキングの機能を用いて、手での操作を可能にすることを目標に研究を行った。

globARhythm!（グローバリズム）とは

　globARhythm!（グローバリズム）というものはVR技術やAR技術を利用した民族楽器のリズム演奏システムで、マーカとタブレット端末を用いたリズム演奏システムについて検討し、民族楽器が奏でる音楽の多様性を博物館の来場者に容易に体験させることを目的とした研究で作成されたシステムの総称です。

システムの改良点

　改良する点としては、このシステム内でマーカをタブレットのカメラで読み込ませることで、民族楽器楽器が出現し、タブレット越しにタップすることで音を鳴らすことが可能となっている部分(以下に示す画像)を改良する。展示では不特定多数がタブレットに触れるため、この部分を非接触にできないかと考えた。もちろん、デバイスを毎回拭くという手段も有るが、手間がかかり労力が割かれてしまうため、システムの改良が適切だと考えてハンドトラッキングの機能を搭載し、非接触化することを行った。

提案手法

　この既存システムの問題点は「3Dオブジェクトで出現した楽器をタップし選択、音を鳴らす」といったタップを用いた動作の一連にあるものと考え、それらを「楽器を選択」はジェスチャーに変更、「楽器をタップし、音を鳴らす」はAR空間上に出現させることで問題解決を図った。

　問題解決を図る手段のひとつとして、今回はGoogle が開発しているオープンソースの機械学習ライブラリである MediaPipe を活用し、手の情報を21ポイントに分け、XYZデータを取得し、UnityにUDP通信で送信するという一連の流れを利用した。

ジェスチャーでの選択

　以前は画面をタップしていた部分をジェスチャーで楽器を選択できるように変更を行った。変更後の画像であり、３を示すジェスチャーを行うことで、３に設定されている民族楽器の「ドゥンドゥン」が選択されている様子である。

　画面上では、数字によって楽器が選択されたことを示す、画像に切り替わる。また、再度楽器を選択する画面に戻すために、ジェスチャーで戻ることも可能としている。

仮想空間に出現した楽器に触れる

　Pythonプログラムの処理により、リアルタイムでUDP通信でUnityに送られた手のデータはハンドオブジェクトに反映し、３Dオブジェクトである楽器に触れられるようにした。

　以下に示す動画は実際の手の動きをリアルタイムで３Dオブジェクトに反映している様子を示したものである。映像では動きが伝わりやすいように楽器ではなく、丸や四角の簡易オブジェクトを使って触れられることを表現している。

　また、グランフロント大阪 北館３F The Lab. VisLabブース内にて展示を行った際に実際に複数の参加者にジェスチャーによる楽器選択と手の動きを用いて仮想空間上に出現した楽器に触れる一連の動きを試してもらった。以下に示す動画は、その一例を示したものである。

一つのカメラで距離を計測する技術

　３Dハンドオブジェクトへの反映において、カメラからの距離(奥行き)の表現は必須である。ただし、今回は同じ情報を取得するため、単一のカメラを使用することが余儀なくされた。単一のカメラで手を読み取っているため、奥行きの情報(Z 軸)が不安定になる。そこで、実際のカメラと手までの距離と、認識された手形状のポイント間の画素上の距離の関係から2次回帰分析によって得られる近似式を用いて奥行きを表現をした。このようにすることで、手の取得データの間の距離に応じて離れているか近づいているのかを判断できるように工夫が施されている。

おわりに

　需要に合わせたシステムの改良は非接触で操作は可能だとわかったため有益であると考えられる。しかし、細かい動きや動きを反映しきれていないため、課題はある。しかし、手での直接的な操作が行えるためユーザエクスペリエンスの向上につながったと考えられる。

参考文献

1. 大西克彦,田中悠策,足立尚寛,山路敦司:マーカとタブレットを利用した民族楽器のリズム演奏システムの検討;電子情報通信学会技術研究報告,vol.114, no.73,MVE2014-3,pp.51-52 (Jun. 2014)..
2. 足立尚寛:gloVaRhythm!:没入型 VR 環境による楽器演奏体験システム大阪電気通信大学総合情報学部メディアコンピューターシステム学科学科特別研究論文 2016年
3. 出典：@komakinex ,,Qiita, 【Unity】Mediapipe でハンドトラッキング + 人物切り抜き（ONNX or TouchDesigner から Spout）,最終閲覧 2023/07/12
4. 山本紘暉. “【MediaPipe】Landmark データから手のポーズを認識するため,”指の状態”を認識する（その１）”. DevelopersIO.更新日 2020/06/10 最終閲覧日2023/12/13.https://dev.classmethod.jp/articles/mediapipe-recognize-hand-posewith-multi-handtracking/
5. YouTube,Murtaza‘sWorkshop-RoboticsandAI, Hand Distance Measurement with Normal Webcam + Game | OpenCV Python.更新日 2021/12/19. 最終閲覧 2023/12/15.https://youtu.be/NGQgRH2_kq8?si=XUnvfzSoZZhyCIQQ