カテゴリー: コンピュータグラフィックス

MICSプログラム3年次の専門科目であるコンピュータグラフィックス（以下CG）の授業をVR電通大に配信する試みをしました。その報告と簡単な仕組みの紹介をします。

成見先生の担当しているこのCGでは過去にも授業のバーチャル化や配信に関して様々な取り組みを行っており、例えば5年前にはUnityで開発した独自のアプリ上でVR授業を配信しました。

また、3年前には授業をZoomで配信するにあたり、Kinectで検出した先生の位置を自動的に拡大することで黒板のその時書かれている箇所を見やすくするシステムが開発されました。

これらに続きCGの授業を実験台に新たに試みたのが、VRChatの電通大ワールドで授業を受けられるシステムです。

実は電通大が進めている「共創進化VRキャンパス」というプロジェクトでキャンパスが3Dモデルとして再現されており、それがVRChatのワールドとしてアップロードされています。

現時点では再現されている領域は一部であり、教室に入れるのはA棟だけのようです。

この教室内のスクリーンには用意したスライドを映すかYouTubeの動画またはライブを流すことができ、今回は後者の機能を用いて授業配信を行いました。

そのために授業をまずYouTubeで配信する必要があるので、全体の仕組みとしては前述のKinectを活用したZoom配信システムと組み合わせて、授業をZoomで配信→その画面をキャプチャしてYouTubeに配信→VRChat内の教室のスクリーンにライブURLを設定、という工程になっています。

このように外部のシステムをフル活用していることもあり、実際にやってみると初期設定では配信ソフトのOBS StudioでZoomの画面をキャプチャできなかったり、学生に大学から配られるGoogleアカウントではYouTubeにログインできなかったり、ポートが開いていないらしくeduroamではVRChatに接続できなかったりと工学的ではない範囲のトラブルが多発しましたが、なんとか実現できました。

Zoom等での単なる配信と比較すると、対面授業のように受講者が集まっている感を得られると同時に、こちらの声や動きは先生には分からないのでみんなで雑談したり遊んだり（？）しながら講義を聴く珍しい体験が出来そうです。空中に描けるペンも置いてありました。

事情により対面で出られないから仕方なく遠隔受講、というこれまでの概念を越えて対面では得られない新たなモチベーションを生み出すものだと感じました。

共創進化VRキャンパスは学生がキャンパスを改変・拡張していけることを特徴としており、現在進行形で「進化」が行われています。今後はもっとリッチな体験が出来るようになっていくかもしれません。

　この授業では、CGを描画するために利用されている技術を学び、習得し、それを応用する力を身につけることを目標としています。ですので、授業や課題ではOpenGLを用いてCGを描画するプログラムを作成したり、OpenGLの関数の機能を自作するなどといった実際に手を動かして取り組むものが多く、CGその周辺分野に興味を持つ学生であれば退屈しない授業だと思います。

　こちらは実際の授業の様子です。

今はVRなどでも利用されている、立体表示の仕組みの解説でしょうか。なんの変哲もない授業、、に見えますが実は普通ではないんです。

　CGの授業ではコロナ禍にある2022年現在、対面とオンラインを組み合わせたハイブリッド授業が取り入れられています。私も気分によって両者を使い分けて受講しているのですが、Zoomで行われているオンライン講義の様子がこちら。

画面の左半分には横長の黒板全体を二つに分けて表示し、右半分には先生が書いている場所が拡大表示されていることが見て取れるかと思います。Zoomの画面がこれであれば先生が書いた文字や図も見やすいですし、万が一書いているところを見逃しても全体が写っているので安心できますね。ですがこれ、カメラを操作している人がいたり、後から映像を編集して作ったものではありません。先生が開発したシステムを使って実現しています。

　仕組みをざっくりとご紹介しましょう。

一枚目の写真にも右端にすこーしだけ写り込んでいるのですが、このような機材が教室の前に置かれています。ただのカメラのようにも思えますが、Kinectという体の動きを検出できるデバイスです。下の動画はKinectを使用した別のシステムで、体の動きを綺麗に３Dアバターに反映させることができていることが分かるかと思います。

『密でも安心！卒業式でアバターと写真を撮ろう』企画も今日テストしました。卒業生の皆さん、式のあと講堂で写真を撮ってみませんか？ #仮想通信大学卒業式 pic.twitter.com/2Ae57yVje3

— 学食テレビ (@gakushokutv) March 24, 2021

これと同じようにして手の正確な位置を検出し、それに合わせてカメラの拡大位置を変更することで先ほどの動作を実現しています。

　ですがこのシステムにたどり着くまでには試行錯誤もありました。初めのうちはジェスチャを検出して黒板の映す位置を変更する仕組みになっていたのですが、ジェスチャがうまく検出されないことがあったり、逆に意図しない仕草がジェスチャとして判定されて関係のない位置が映し出されてしまうなんて事もありました。それから数回の授業を経て現在の仕様に落ち着く事になりました。

また、2019年度は下のリンクにあるような、また違う方向性の授業も行っていらっしゃったそうです。

VR授業@コンピュータグラフィックス

　それから去年度の授業から導入されたのが、、

このアバターを使った授業は今年度もあったのですがやっぱり見ていて楽しいですよね！

　このようにこれまでの大学の授業から少しずつ進化しているコンピュータグラフィックスの授業。そこのあなたもぜひ体験してみてはいかがでしょうか？

MICSで開講されている、成見先生の担当するコンピュータグラフィックスの授業では今回、UnityとKinectを利用したVR授業の試作に取り組みました。その様子と、簡単な仕組みについて紹介します。

普段のコンピュータグラフィックスの授業では三次元CGの基本的な要素技術やOpenGLのAPIを用いたプログラムの作成技術を学びます。

VR授業には、同じく成見先生が指導する学食テレビの活動の一環として開発された、電通大を舞台にしたモバイルアプリ「U Explore Canvas」（UExC）から接続します（iPhone用、Android用）。

実際のアプリ上では、以下の動画のような様子になっています（音声付き動画）。

Kinectで黒板を撮影しながら、人体の検出を行い先生を消去しています。また、骨格を取得してバーチャルなキャラクターが先生と同じ動きをしています。さらに、上の動画のリンク先で音声を確認するとわかりますが、ボイスチェンジャーによって先生の声が女声に変換されています。

また、土台となっているUExCはゲームアプリなので、もちろん周囲をゲームのように動き回ることも可能です。以下の動画では黒板の周りを歩き回ったり視野を回転しています。

このVR授業には現在学内ネットワークからでないと接続できないようになっているので、自宅からアプリ内で授業を受ける、という訳にはまだいきませんが、未来の新たな授業のあり方を感じさせてくれるのではないでしょうか。