DGX A100 はじめました

アナリティクス, リサーチ, ,
こんにちは，先進技術部の松林です。

大学院では天体力学のN体計算を中心に、スパコンを利用した数値計算による研究を進め、銀河中心の巨大ブラックホール形成過程のシミュレーションを行ってきました。 大学院卒業後は大手通信会社の研究所に勤め、GPUなどを用いた大規模データの情報処理の研究を進めてきました。大規模グラフデータの可視化や、因子分解によるスパーステンソルデータの分析など、実装の高速化にも取り組んできましたが、2020年10月よりALBERTに新設された先進技術部∗1に参画しました。
先進技術部では、これまでもComputer Vision 系を中心に様々な案件対応や事業強化の取り組みを進めてきました ∗2が、最近では特に動画分析 ∗3や3次元データ分析 ∗4, ∗5, ∗6に力を入れ、実験環境や計算機環境の整備を進めています。 GPUサーバの計算機環境では、クラウドサービス以外にも案件ごとにスタンドアローンで切り離されたGPU搭載のワークステーションを複数台稼働させ、また先進技術部ではV100を4台搭載したDELL Power-edge C4140 を導入し、最新鋭のマルチGPUサーバの導入も積極的に進めてきました。

そしてこの度、NVIDIAのA100 GPUの発売と同時にDGX A100 の導入を進め、環境設定を終わらせ本格稼働させました。
  • DGX A100のフロントパネルを取り付ける
    筒井部長
  • DGX A100の背面と
    覗き込む山内君（手前）と松林（奥）
続きを読む DGX A100 はじめました →

2021年度 新卒社員内定式を行いました。

広報, ,

2020年10月1日、ALBERTでは2021年度新卒社員内定式を行いました。 今年はオンラインでの開催となり、11名の内定者の皆さんが参加してくれました。

—————————————————–
＜ 2021年度 新卒社員内定式 ＞

◆内定式
　・役員からの祝辞
　・内定者自己紹介

◆懇親会
　・内定者 1on1
　・ALBERTクイズ
—————————————————–
続きを読む 2021年度 新卒社員内定式を行いました。 →

【夏季インターン代替イベント開催！】
ALBERT勉強会の人気動画ランキングTOP５

広報, ,
例年ご好評いただいているALBERTの夏季インターンですが、今年はコロナ禍のため、断腸の思いで開催を取りやめました。

ですが！ 代わりに安全に参加いただける今年ならではの代替企画を実施しました！

230名を超えるデータサイエンティストが在籍しているALBERTでは、毎週２～３回というペースで実施している社内勉強会と、会員制で行っている「データサイエンスカフェ@新宿」を開催しており、情報共有や意見交換などが行なわれています。今回は、その「社内勉強会」と「データサイエンスカフェ@新宿」に、特別に夏季短期インターン合格者の皆さんにもリモートで参加してもらい、現役データサイエンティストとの活発な質疑応答などが行なわれました。

さらに、8月31日～9月11日までの12日間、過去の社内勉強会動画も限定公開し、参加いただいた学生さんの方には限定特典（秘密☆）もご用意させていただき、ご好評のうちに幕を閉じました。
今回は、全部で30件以上公開された過去のALBERT社内勉強会動画の中から、特に参加学生の皆さんから人気のあった５つの動画についてご紹介します！ 続きを読む 【夏季インターン代替イベント開催！】
ALBERT勉強会の人気動画ランキングTOP５ →

Transformerを利用した対話システムの応答制御について

リサーチ,
こんにちは。先進技術部でアルバイトをしている上垣です。
今回は、Transformer[1]を利用した対話システムにおいて応答を制御する情報の与え方について調査と実験を行ったので、結果を紹介します。

はじめに

自然言語処理には、「人の言葉を生成する」ことを目的とした様々なタスク(言語生成タスク)があります。例えば機械翻訳、文書要約、イメージキャプショニング、対話システムなどです。最近では、これらの言語生成タスクは、ニューラルネットワークを利用して取り組まれることが多くなっています。しかし、現状ニューラルネットワークを利用した言語生成は不安定で、実用にあたって課題が残ります。学習に使ったコーパス内の単語出現頻度を元に単語選択や文生成をしているので、生成文に意味的/言葉遣い的な一貫性が無かったり、何を言い出すか分からない怖さがあったりします。これに対する解決策の一つとして、例えば、学習に使用するコーパス自体に制限をかける(ある傾向に沿うようにコーパスを作成する)ことが考えられますが、データ作成コストやデータ量不足の問題が発生します。別の解決策として、モデルへの入力データとして制御情報を渡すことで、出力を制御する方法があります。モデルが制御情報を参考に文章を生成することで、口調や言葉遣い、内容などを分岐できると考えられます。更に、この方法であれば、規模の大きなデータセットでも制御情報をアノテーションするだけで、全てのデータをモデル学習に利用できます。データセットを初めから新しく作るようなコストも減らせます。一方で、この方法では「制御情報をモデルのどの段階で参照するのが効果的なのか」という問題が残ります。そこで、本記事では、この点について比較実験を行いました。 続きを読む Transformerを利用した対話システムの応答制御について →
Pages: 1 2

SSAP [Proposal-freeなInstance Segmentation手法] の紹介と実験

リサーチ, ,
こんにちは。先進技術部でアルバイトをしている河田です。
今回はNaiyu Gaoらによって提案されたInstance Segmentationの手法であるSSAP[1]について紹介します。本論文はICCV 2019で採択されました。
SSAPの概要は以下の通りです。
  • Instance SegmentationタスクにおいてSingle-shotでProposal-freeな手法を提案し、SOTAを達成
  • Semantic Segmentation と、ピクセル間の関係性を表すAffinity pyramidによりInstance Segmenationを実現
  • 階層構造を用いることで、５倍のスピードアップと９%のAP精度向上を達成。
PyTorchによる再現実装も公開しているのでご覧ください。 続きを読む SSAP [Proposal-freeなInstance Segmentation手法] の紹介と実験 →
Pages: 1 2

Steerable CNNs の紹介

アナリティクス, リサーチ, ,
この画像には alt 属性が指定されておらず、ファイル名は D4_exp-1024x957.png です
こんにちは、先進技術部の古川とプロダクト開発部の中井です。今回は、Steerable CNNs と呼ばれるネットワークの論文解説と Chainer による実装 のレポートを行います。なお、この記事は前任者の実装・レポートを元に、ブログ用に追記・編集したものです。

1. 概要

Steerable CNNs とは

Steerable CNNs は、Taco S. Cohen と Max Welling が提案した、入力画像の平行移動・回転・鏡映の作用を保つような CNNs (Convolutional Neural Networks、畳み込みニューラルネットワーク) です。 このアイディアを発表した論文 [CW17] はICLR 2017 で採択されました。以下のような特徴があります。
  • 高精度である。WideResNet をベースにしたネットワークが CIFAR-100 でエラー率 18.82\% と、当時の最高精度を出した。
  • 上記の精度は、水平反転と平行移動のみのデータオーグメンテーションで達成した。
  • 少ないパラメータ数である。ResNet50 が 2000 万程度、2019 年 5 月現在最高精度の AmoebaNetB は 5.5 億程度あるのに対し、WideResNet ベースのネットワークは 920 万ほどで済んでいる (ただし、その後 EfficientNet-B0 では 400 万程度のパラメータで transfer-learning を使って より低いエラー率を出すなど CNN 自体もさらに進歩しています)。
続きを読む Steerable CNNs の紹介 →
Pages: 1 2 3 4 5 6

ニューラルネットワークによる三次元表現手法

リサーチ, ,
図の一部をStanford Computer Graphics Laboratory より引用
はじめまして、2020年新卒で入社した プロジェクト推進部 の童です。今回は新卒研修の一環として取り組んだ、ニューラルネットワークによる三次元表現手法の技術調査について書かせて頂きます。三次元とニューラルネットワークというテーマに沿って比較的近年のトピックについて解説するつもりです。特にニューラルネットワークによる三次元表現について、陰関数表現をアイディアとしたIM-NETとDeepSDFについて解説します。また今回の内容と類似したテーマで、NeRFについて解説した記事がありますので、そちらも併せてご覧ください。 続きを読む ニューラルネットワークによる三次元表現手法 →

物理の力学系、特に解析力学を事前知識としたニューラルネットとその応用

リサーチ, ,

こんにちは、プロジェクト推進部の久良です。 2020年3月に東京大学大学院の物理学研究科にて博士号を取得し、同4月に新卒としてALBERTに入社しました。この記事を執筆している現在は、新卒研修を終えて個別のタスクにアサインされているところです。 今回は物理学における力学系を事前知識として組み込んだニューラルネット (NN) をいくつか取り上げ、そのメリットやデメリット、考えられる応用先を紹介していきます。

なお、本記事の内容は新卒研修の「技術調査課題」で調査した結果であり、同課題において提出した報告書をベースとして執筆されたものです。

続きを読む 物理の力学系、特に解析力学を事前知識としたニューラルネットとその応用 →

深層学習を用いた数値シミュレーション

リサーチ, ,
こんにちは。2020年に新卒としてALBERTに入社した、プロジェクト推進部の曾怡庭（チェン イーティン）です。今回で新卒研修の技術調査に関するブログは4件目になります。本稿では、「深層学習を用いた数値シミュレーション」について紹介していきたいと思います。私がこの課題を選んだのは、大学・大学院で環境科学を専攻し数値シミュレーションに触れ合う機会があり、最新の動向を知りたかったためです。

こうした深層学習と数値シミュレーションの融合はまだまだ新しいテーマです。この手法は、数値シミュレーションの解釈可能性と深層学習の汎用性を融合させるため、これから広く応用されることが期待されます。

続きを読む 深層学習を用いた数値シミュレーション →

映像に自然な音をつける技術 ～用途と技術例～

リサーチ, , , , , ,
アイキャッチ画像

はじめに

こんにちは、2020 年入社のプロダクト開発部に所属しております、渡邉です。このたび新卒研修の課題として「動画から自然な音をつける技術」というテーマで技術調査を行い、その結果をこのようにブログという形でアウトプットすることになりました。ここでは技術の詳細には立ち入らず、「この技術が現在どれぐらいの精度が出ており、現在あるいは将来的にどのような場面に応用できそうか」という点を中心に議論していきたいと考えています。どうぞよろしくお願いします。 続きを読む 映像に自然な音をつける技術 ～用途と技術例～ →