タグ

Neural Networks

カメラパラメータを用いないNeRFの学習

こんにちは、先進技術部でアルバイトをしている上垣です。

今回はカメラ姿勢情報を用いずに写真のみからNeRF(Neural Radiance Fields)の3次元表現を獲得する手法について紹介します。

NeRF[1]とは、ニューラルネットワークを用いてNovel View Synthesis(NVS)というタスクを解く手法になります。NVSは、あるシーンについて多視点から撮影した画像群を教師データとして、別の新しい視点から見た画像を生成するタスクになります。NeRFはこのタスクにおいて、シンプルなMLPを利用しながら非常にリアルな画像の生成を可能としたため、現在注目を集めています。しかし、オリジナルNeRFの学習では撮影された画像それぞれに対して、撮影しているカメラの情報が必要となります。このカメラ情報を推定するためには、COLMAP[2][3]等の別の推定器を利用する必要がありました。それに対し、最近では事前のカメラ情報推定を行うことなくNeRFを学習させる手法が提案されています。本記事では、NeRFの前提となるカメラ情報について触れながら、事前のカメラ情報推定を必要としないNeRFの学習について紹介します。 続きを読む カメラパラメータを用いないNeRFの学習

ニューラルネットワークによるLiDAR点群データの表現

こんにちは、先進技術部でアルバイトをしている上垣です。
今回はLiDARで計測された3次元点群データを、ニューラルネットワークを用いて表現する方法について紹介します。

ニューラルネットワークを用いて3次元データそのものを表すニューラル陰関数表現(Implicit Neural Representation) についての研究は、現在注目を集めています。本記事では、実際に3次元の計測データとして広く利用されているLiDAR計測の点群データから、ニューラル陰関数表現を獲得する手法について調査と実験を行いました。 続きを読む ニューラルネットワークによるLiDAR点群データの表現

三次元空間のニューラルな表現とNeRF

はじめまして、先進技術部の山内です。入社4年目にしてついに技術ブログを書くことになりました。わたしが文章を書くとどうもペダンティックな文体になりがちなのですが、頑張って書いたので気に食わない表現には適宜目を塞ぎつつお付き合いいただければと思います。今回はニューラルネットワークによる三次元空間表現手法の紹介と NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[1] という論文の解説です。PyTorch による再現実装も公開しているのでご覧ください。 続きを読む 三次元空間のニューラルな表現とNeRF