ニューラルネットワークによるLiDAR点群データの表現

こんにちは、先進技術部でアルバイトをしている上垣です。
今回はLiDARで計測された3次元点群データを、ニューラルネットワークを用いて表現する方法について紹介します。

ニューラルネットワークを用いて3次元データそのものを表すニューラル陰関数表現(Implicit Neural Representation) についての研究は、現在注目を集めています。本記事では、実際に3次元の計測データとして広く利用されているLiDAR計測の点群データから、ニューラル陰関数表現を獲得する手法について調査と実験を行いました。 続きを読む ニューラルネットワークによるLiDAR点群データの表現

滋賀大学データサイエンス学部における演習課題コンテンツ作成及び分析プロジェクトの技術サポートを実施

データ活用で産学連携を支援

2021年1月、滋賀大学彦根キャンパスにて、河本ゼミが事業会社と協力してデータ分析を行うプロジェクトの成果報告会が開催されました。同プロジェクトは2020年10月から約4カ月間で実施されており、今年で2回目となる取り組みです。 昨年に続き、今回もALBERTの現役データサイエンティストでもある、データサイエンス教育部の巣山と長澤がアドバイザーとして参加しました。

滋賀大学は、2017年に日本で初めてデータサイエンス学部を設置し、データサイエンス実践に関する講義を担当するなど、将来のデータサイエンティストの育成に寄与しています。

今回のプロジェクトは、情報提供サービスのポータルサイトを運営する企業から提供された口コミ情報のデータをもとに、学生が自然言語処理等の手法を活用してデータ分析を実施するというものでした。参加学生は4グループに分かれ、それぞれ分析作業やレポート作成などに取り組みます。ALBERTのメンバーは、参加学生が効果的にデータ分析を行えるよう、事前の演習課題作成から携わり、また実際に分析をする際のアドバイザーとして学生のサポートを行いました。

今回実施した「自然言語処理」をテーマとした演習課題コンテンツは、滋賀大学 データサイエンス学部 教授であり、データサイエンス教育研究センター 副センター長の河本先生監修のもと、ALBERTが開発を手がけたものです。

分析プロジェクトに際して、まずは言語処理の入口である心構えのレクチャーから始まり、マーケティング分析などで用いられる構造化データの前処理アプローチとは異なる、自然言語の分析における前処理の方法を学生に体感してもらいました。これは、コンテンツ開発にあたり、正攻法のアプローチの習得に加え、そこでの躓きの経験も学生にとっては今後の大きな学びになるということが、河本先生との共通認識としてあったためです。

データの前処理が完了したところで、次は事業会社の課題解決について検討するフェーズです。「どのような視点で考えるか」を踏まえた上で、いくつかの分析アプローチを実践してもらいました。

また、分析の中間レビュー会には、ALBERTの自然言語分野のスペシャリストである平野も参加。スペシャリストならではのビジネス現場における自然言語処理の活用視点などを学生たちにレクチャーしました。

そうして、約4か月間にわたり各グループがそれぞれの課題に取り組んだ結果、1月の最終報告会では、苦戦を強いられたグループもあれば、正攻法のアプローチでビジネスの課題解決提案までできたグループもありました。さらには、正攻法とは言えないものの、独自のアプローチとアイデアで興味深い提案をしたグループなど様々な結果が報告され、盛況のうちに終了しました。


参加した学生にとっては、技術の習得にとどまらず、多様なデータが社会の課題解決にどう活用されているのかについて、理解を深めるきっかけになったのではと思います。

また、今回は河本先生のご尽力によって、事業会社からのご協力もあり、リアルに近いデータを使って、ALBERTの分析ノウハウを凝縮した自然言語処理の分析演習を提供することができました。

ALBERTは、設立以来蓄積してきたデータサイエンティストの育成ノウハウを提供してデータサイエンティストの育成を支援することで、産学連携の促進や日本社会における高度AI人材の不足解消、さらに各産業の課題解決の実現に向けて、今後も貢献していきます。


◆ 今回の演習を担当したALBERTデータサイエンティストの巣山は、2020年10月に滋賀大学データサイエンス学部のインダストリアルアドバイザーにも就任しています。
株式会社ALBERT  データサイエンス教育部
セクションマネージャー  巣山
・滋賀大学:データサイエンス学部データサイエンス研究科
 インダストリアルアドバイザー



◆ ALBERTでは、数百を超えるAI・分析プロジェクトの実績から培った、独自の実用的な育成支援を数多くの企業様へ行っており、当社のデータサイエンティスト養成講座が経済産業省「第四次産業革命スキル習得講座認定制度」 に認定される等、高い評価を得ています。
また、ALBERTの経験豊富なデータサイエンティストが講師を担当しており、座学・演習を通じて、実践的な視点・考え方やデータ分析の技術を身につけられる講義をご提供しています。

・ALBERTが提供するデータサイエンティスト育成支援講座

DGX A100 はじめました

こんにちは,先進技術部の松林です。

大学院では天体力学のN体計算を中心に、スパコンを利用した数値計算による研究を進め、銀河中心の巨大ブラックホール形成過程のシミュレーションを行ってきました。 大学院卒業後は大手通信会社の研究所に勤め、GPUなどを用いた大規模データの情報処理の研究を進めてきました。大規模グラフデータの可視化や、因子分解によるスパーステンソルデータの分析など、実装の高速化にも取り組んできましたが、2020年10月よりALBERTに新設された先進技術部∗1に参画しました。
先進技術部では、これまでもComputer Vision 系を中心に様々な案件対応や事業強化の取り組みを進めてきました ∗2が、最近では特に動画分析 ∗3や3次元データ分析 ∗4, ∗5, ∗6に力を入れ、実験環境や計算機環境の整備を進めています。 GPUサーバの計算機環境では、クラウドサービス以外にも案件ごとにスタンドアローンで切り離されたGPU搭載のワークステーションを複数台稼働させ、また先進技術部ではV100を4台搭載したDELL Power-edge C4140 を導入し、最新鋭のマルチGPUサーバの導入も積極的に進めてきました。

そしてこの度、NVIDIAのA100 GPUの発売と同時にDGX A100 の導入を進め、環境設定を終わらせ本格稼働させました。
続きを読む DGX A100 はじめました

2021年度 新卒社員内定式を行いました。


2020年10月1日、ALBERTでは2021年度新卒社員内定式を行いました。 今年はオンラインでの開催となり、11名の内定者の皆さんが参加してくれました。

—————————————————–
< 2021年度 新卒社員内定式 >

◆内定式
 ・役員からの祝辞
 ・内定者自己紹介

◆懇親会
 ・内定者 1on1
 ・ALBERTクイズ

—————————————————–
続きを読む 2021年度 新卒社員内定式を行いました。

【夏季インターン代替イベント開催!】
ALBERT勉強会の人気動画ランキングTOP5

例年ご好評いただいているALBERTの夏季インターンですが、今年はコロナ禍のため、断腸の思いで開催を取りやめました。

ですが! 代わりに安全に参加いただける今年ならではの代替企画を実施しました!

230名を超えるデータサイエンティストが在籍しているALBERTでは、毎週2~3回というペースで実施している社内勉強会と、会員制で行っている「データサイエンスカフェ@新宿」を開催しており、情報共有や意見交換などが行なわれています。今回は、その「社内勉強会」と「データサイエンスカフェ@新宿」に、特別に夏季短期インターン合格者の皆さんにもリモートで参加してもらい、現役データサイエンティストとの活発な質疑応答などが行なわれました。

さらに、8月31日~9月11日までの12日間、過去の社内勉強会動画も限定公開し、参加いただいた学生さんの方には限定特典(秘密☆)もご用意させていただき、ご好評のうちに幕を閉じました。
今回は、全部で30件以上公開された過去のALBERT社内勉強会動画の中から、特に参加学生の皆さんから人気のあった5つの動画についてご紹介します! 続きを読む 【夏季インターン代替イベント開催!】
ALBERT勉強会の人気動画ランキングTOP5

Transformerを利用した対話システムの応答制御について

こんにちは。先進技術部でアルバイトをしている上垣です。
今回は、Transformer[1]を利用した対話システムにおいて応答を制御する情報の与え方について調査と実験を行ったので、結果を紹介します。

はじめに

自然言語処理には、「人の言葉を生成する」ことを目的とした様々なタスク(言語生成タスク)があります。例えば機械翻訳、文書要約、イメージキャプショニング、対話システムなどです。最近では、これらの言語生成タスクは、ニューラルネットワークを利用して取り組まれることが多くなっています。しかし、現状ニューラルネットワークを利用した言語生成は不安定で、実用にあたって課題が残ります。学習に使ったコーパス内の単語出現頻度を元に単語選択や文生成をしているので、生成文に意味的/言葉遣い的な一貫性が無かったり、何を言い出すか分からない怖さがあったりします。これに対する解決策の一つとして、例えば、学習に使用するコーパス自体に制限をかける(ある傾向に沿うようにコーパスを作成する)ことが考えられますが、データ作成コストやデータ量不足の問題が発生します。別の解決策として、モデルへの入力データとして制御情報を渡すことで、出力を制御する方法があります。モデルが制御情報を参考に文章を生成することで、口調や言葉遣い、内容などを分岐できると考えられます。更に、この方法であれば、規模の大きなデータセットでも制御情報をアノテーションするだけで、全てのデータをモデル学習に利用できます。データセットを初めから新しく作るようなコストも減らせます。一方で、この方法では「制御情報をモデルのどの段階で参照するのが効果的なのか」という問題が残ります。そこで、本記事では、この点について比較実験を行いました。 続きを読む Transformerを利用した対話システムの応答制御について

SSAP [Proposal-freeなInstance Segmentation手法] の紹介と実験

こんにちは。先進技術部でアルバイトをしている河田です。
今回はNaiyu Gaoらによって提案されたInstance Segmentationの手法であるSSAP[1]について紹介します。本論文はICCV 2019で採択されました。
SSAPの概要は以下の通りです。
  • Instance SegmentationタスクにおいてSingle-shotでProposal-freeな手法を提案し、SOTAを達成
  • Semantic Segmentation と、ピクセル間の関係性を表すAffinity pyramidによりInstance Segmenationを実現
  • 階層構造を用いることで、5倍のスピードアップと9%のAP精度向上を達成。
PyTorchによる再現実装も公開しているのでご覧ください。 続きを読む SSAP [Proposal-freeなInstance Segmentation手法] の紹介と実験

Steerable CNNs の紹介

この画像には alt 属性が指定されておらず、ファイル名は D4_exp-1024x957.png です
こんにちは、先進技術部の古川とプロダクト開発部の中井です。今回は、Steerable CNNs と呼ばれるネットワークの論文解説と Chainer による実装 のレポートを行います。なお、この記事は前任者の実装・レポートを元に、ブログ用に追記・編集したものです。

1. 概要

Steerable CNNs とは

Steerable CNNs は、Taco S. Cohen と Max Welling が提案した、入力画像の平行移動・回転・鏡映の作用を保つような CNNs (Convolutional Neural Networks、畳み込みニューラルネットワーク) です。 このアイディアを発表した論文 [CW17] はICLR 2017 で採択されました。以下のような特徴があります。
  • 高精度である。WideResNet をベースにしたネットワークが CIFAR-100 でエラー率 18.82\% と、当時の最高精度を出した。
  • 上記の精度は、水平反転と平行移動のみのデータオーグメンテーションで達成した。
  • 少ないパラメータ数である。ResNet50 が 2000 万程度、2019 年 5 月現在最高精度の AmoebaNetB は 5.5 億程度あるのに対し、WideResNet ベースのネットワークは 920 万ほどで済んでいる (ただし、その後 EfficientNet-B0 では 400 万程度のパラメータで transfer-learning を使って より低いエラー率を出すなど CNN 自体もさらに進歩しています)。
続きを読む Steerable CNNs の紹介

ニューラルネットワークによる三次元表現手法

図の一部をStanford Computer Graphics Laboratory より引用
はじめまして、2020年新卒で入社した プロジェクト推進部 の童です。今回は新卒研修の一環として取り組んだ、ニューラルネットワークによる三次元表現手法の技術調査について書かせて頂きます。三次元とニューラルネットワークというテーマに沿って比較的近年のトピックについて解説するつもりです。特にニューラルネットワークによる三次元表現について、陰関数表現をアイディアとしたIM-NETとDeepSDFについて解説します。また今回の内容と類似したテーマで、NeRFについて解説した記事がありますので、そちらも併せてご覧ください。 続きを読む ニューラルネットワークによる三次元表現手法

物理の力学系、特に解析力学を事前知識としたニューラルネットとその応用

こんにちは、プロジェクト推進部の久良です。 2020年3月に東京大学大学院の物理学研究科にて博士号を取得し、同4月に新卒としてALBERTに入社しました。この記事を執筆している現在は、新卒研修を終えて個別のタスクにアサインされているところです。 今回は物理学における力学系を事前知識として組み込んだニューラルネット (NN) をいくつか取り上げ、そのメリットやデメリット、考えられる応用先を紹介していきます。

なお、本記事の内容は新卒研修の「技術調査課題」で調査した結果であり、同課題において提出した報告書をベースとして執筆されたものです。

続きを読む 物理の力学系、特に解析力学を事前知識としたニューラルネットとその応用