Transformerを利用した対話システムの応答制御について

リサーチ,
こんにちは。先進技術部でアルバイトをしている上垣です。
今回は、Transformer[1]を利用した対話システムにおいて応答を制御する情報の与え方について調査と実験を行ったので、結果を紹介します。

はじめに

自然言語処理には、「人の言葉を生成する」ことを目的とした様々なタスク(言語生成タスク)があります。例えば機械翻訳、文書要約、イメージキャプショニング、対話システムなどです。最近では、これらの言語生成タスクは、ニューラルネットワークを利用して取り組まれることが多くなっています。しかし、現状ニューラルネットワークを利用した言語生成は不安定で、実用にあたって課題が残ります。学習に使ったコーパス内の単語出現頻度を元に単語選択や文生成をしているので、生成文に意味的/言葉遣い的な一貫性が無かったり、何を言い出すか分からない怖さがあったりします。これに対する解決策の一つとして、例えば、学習に使用するコーパス自体に制限をかける(ある傾向に沿うようにコーパスを作成する)ことが考えられますが、データ作成コストやデータ量不足の問題が発生します。別の解決策として、モデルへの入力データとして制御情報を渡すことで、出力を制御する方法があります。モデルが制御情報を参考に文章を生成することで、口調や言葉遣い、内容などを分岐できると考えられます。更に、この方法であれば、規模の大きなデータセットでも制御情報をアノテーションするだけで、全てのデータをモデル学習に利用できます。データセットを初めから新しく作るようなコストも減らせます。一方で、この方法では「制御情報をモデルのどの段階で参照するのが効果的なのか」という問題が残ります。そこで、本記事では、この点について比較実験を行いました。 続きを読む Transformerを利用した対話システムの応答制御について →
Pages: 1 2

SSAP [Proposal-freeなInstance Segmentation手法] の紹介と実験

リサーチ, ,
こんにちは。先進技術部でアルバイトをしている河田です。
今回はNaiyu Gaoらによって提案されたInstance Segmentationの手法であるSSAP[1]について紹介します。本論文はICCV 2019で採択されました。
SSAPの概要は以下の通りです。
  • Instance SegmentationタスクにおいてSingle-shotでProposal-freeな手法を提案し、SOTAを達成
  • Semantic Segmentation と、ピクセル間の関係性を表すAffinity pyramidによりInstance Segmenationを実現
  • 階層構造を用いることで、５倍のスピードアップと９%のAP精度向上を達成。
PyTorchによる再現実装も公開しているのでご覧ください。 続きを読む SSAP [Proposal-freeなInstance Segmentation手法] の紹介と実験 →
Pages: 1 2

Steerable CNNs の紹介

アナリティクス, リサーチ, ,
この画像には alt 属性が指定されておらず、ファイル名は D4_exp-1024x957.png です
こんにちは、先進技術部の古川とプロダクト開発部の中井です。今回は、Steerable CNNs と呼ばれるネットワークの論文解説と Chainer による実装 のレポートを行います。なお、この記事は前任者の実装・レポートを元に、ブログ用に追記・編集したものです。

1. 概要

Steerable CNNs とは

Steerable CNNs は、Taco S. Cohen と Max Welling が提案した、入力画像の平行移動・回転・鏡映の作用を保つような CNNs (Convolutional Neural Networks、畳み込みニューラルネットワーク) です。 このアイディアを発表した論文 [CW17] はICLR 2017 で採択されました。以下のような特徴があります。
  • 高精度である。WideResNet をベースにしたネットワークが CIFAR-100 でエラー率 18.82\% と、当時の最高精度を出した。
  • 上記の精度は、水平反転と平行移動のみのデータオーグメンテーションで達成した。
  • 少ないパラメータ数である。ResNet50 が 2000 万程度、2019 年 5 月現在最高精度の AmoebaNetB は 5.5 億程度あるのに対し、WideResNet ベースのネットワークは 920 万ほどで済んでいる (ただし、その後 EfficientNet-B0 では 400 万程度のパラメータで transfer-learning を使って より低いエラー率を出すなど CNN 自体もさらに進歩しています)。
続きを読む Steerable CNNs の紹介 →
Pages: 1 2 3 4 5 6

ニューラルネットワークによる三次元表現手法

リサーチ, ,
図の一部をStanford Computer Graphics Laboratory より引用
はじめまして、2020年新卒で入社した プロジェクト推進部 の童です。今回は新卒研修の一環として取り組んだ、ニューラルネットワークによる三次元表現手法の技術調査について書かせて頂きます。三次元とニューラルネットワークというテーマに沿って比較的近年のトピックについて解説するつもりです。特にニューラルネットワークによる三次元表現について、陰関数表現をアイディアとしたIM-NETとDeepSDFについて解説します。また今回の内容と類似したテーマで、NeRFについて解説した記事がありますので、そちらも併せてご覧ください。 続きを読む ニューラルネットワークによる三次元表現手法 →

物理の力学系、特に解析力学を事前知識としたニューラルネットとその応用

リサーチ, ,

こんにちは、プロジェクト推進部の久良です。 2020年3月に東京大学大学院の物理学研究科にて博士号を取得し、同4月に新卒としてALBERTに入社しました。この記事を執筆している現在は、新卒研修を終えて個別のタスクにアサインされているところです。 今回は物理学における力学系を事前知識として組み込んだニューラルネット (NN) をいくつか取り上げ、そのメリットやデメリット、考えられる応用先を紹介していきます。

なお、本記事の内容は新卒研修の「技術調査課題」で調査した結果であり、同課題において提出した報告書をベースとして執筆されたものです。

続きを読む 物理の力学系、特に解析力学を事前知識としたニューラルネットとその応用 →

深層学習を用いた数値シミュレーション

リサーチ, ,
こんにちは。2020年に新卒としてALBERTに入社した、プロジェクト推進部の曾怡庭（チェン イーティン）です。今回で新卒研修の技術調査に関するブログは4件目になります。本稿では、「深層学習を用いた数値シミュレーション」について紹介していきたいと思います。私がこの課題を選んだのは、大学・大学院で環境科学を専攻し数値シミュレーションに触れ合う機会があり、最新の動向を知りたかったためです。

こうした深層学習と数値シミュレーションの融合はまだまだ新しいテーマです。この手法は、数値シミュレーションの解釈可能性と深層学習の汎用性を融合させるため、これから広く応用されることが期待されます。

続きを読む 深層学習を用いた数値シミュレーション →

映像に自然な音をつける技術 ～用途と技術例～

リサーチ, , , , , ,
アイキャッチ画像

はじめに

こんにちは、2020 年入社のプロダクト開発部に所属しております、渡邉です。このたび新卒研修の課題として「動画から自然な音をつける技術」というテーマで技術調査を行い、その結果をこのようにブログという形でアウトプットすることになりました。ここでは技術の詳細には立ち入らず、「この技術が現在どれぐらいの精度が出ており、現在あるいは将来的にどのような場面に応用できそうか」という点を中心に議論していきたいと考えています。どうぞよろしくお願いします。 続きを読む 映像に自然な音をつける技術 ～用途と技術例～ →

説明可能AIが社会から必要とされる理由、その研究動向・応用事例について

リサーチ, ,

はじめに

こんにちは。2020年4月に新卒として入社した、データソリューション本部の森西です。新卒研修の技術調査課題で調査した結果についてブログを執筆します。 この課題では、設定された10個の技術的テーマからそれぞれ好きなテーマを選択し、4日間かけて調査した結果をまとめました 。私は、10のテーマの中で「Explainable AIに関する技術調査」を選択し、今回はそのまとめた内容について紹介します。

Explainable AIについて

まず初めに、Explainable AIについて説明します。Explainable AIとは、その言葉通り、予測結果や推定結果に至るプロセスが人間によって説明可能になっている機械学習モデル、あるいはそれに関する技術や研究分野のことを指します。(引用元:AI・機械学習の用語辞典　XAI(Explainable:説明可能なAI) /解釈可能性(interpretability)とは？[23])

昨今では、AI(機械学習)の技術発展に伴い、社会実装の期待が高まっています。 一方でそれらの技術に対して不安も増加しています。その背景として、AI(機械学習)の中身の技術が非常に複雑で「ブラックボックス」となっており、AI(機械学習)の予測結果や推定結果に対する説明が十分ではないことが理由として挙げられます。医療分野など、AI(機械学習)の予測結果や推定結果に理由を求める分野も存在し、説明可能なAI(機械学習)を求める社会的機運は高いと考えられます。

本ブログでは、Explainable AIについて社会的に求められるようになった背景、最近の研究動向、応用例、展望について述べていきます。

続きを読む 説明可能AIが社会から必要とされる理由、その研究動向・応用事例について →

[2020新卒入社]株式会社ALBERTに入社しました

アナリティクス, 広報, ,
こんにちは！
2020年4月に新卒として入社した小林です。

今年は新型コロナウイルスの影響で入社式が無くなり、研修はほとんどオンラインでの研修となり、新入社員、そして研修を用意する講師陣にとって怒涛の2ヶ月間でした。

また、 2020年の新入社員は計29名が入社し、例年に比べ大人数であったため研修準備も二重、三重に大変だったのではと思います。
2020/04/01 松本社長のメッセージを新入社員29名で視聴しています
松本社長の新入社員へのメッセージを視聴した4月1日を境に、研修がオンラインに移行しました。新入社員全員分のポケットWi-Fiを用意済みであるなど、オンラインへの対応の速さに驚いた記憶があります。

オンライン研修が決まった当時は、大学生気分である自分をオフィスで鍛え上げて欲しかったので、複雑な心境でした(もちろん、素晴らしい判断だと思います)。

しかし、その不安も忘れるような密度の濃い研修を受けることができました。

これから、今年行ったオンライン研修についてご紹介します。
ALBERTに興味がある方、あるいはオンライン研修について気になる方はぜひ読んでいただけると幸いです。 続きを読む [2020新卒入社]株式会社ALBERTに入社しました →

チャットボットは個性を獲得できるのか？

リサーチ, , ,

はじめに

こんにちは。プロダクト開発部の飯田です。

2020年に新卒として入社し、AIチャットボット「スグレス」をはじめとした、自然言語処理の研究開発に取り組む予定です。

スグレスはユーザーの要望に的確に回答できるチャットボットで、対話の内容はクライアント毎に調整します。

たとえば弊社のコーポレートサイトに設置されたスグレスでは、電話番号や所在地といった会社概要のほか、採用情報や事業内容に至るまで、弊社に関連する事項を幅広く回答します。

おすすめは弊社の扱う技術要素について尋ねることです。ディープラーニングやクラスター分析など、名前はよく聞くけれども複雑で難しい……という様々な手法について、大変わかりやすく教えてもらえるので、私も頻繁にスグレスの力を借りています。

そんなスグレスですが、その口調は一貫して事務的で丁寧です。現在は質問に対する回答を返すことを目的としたシステムなので問題はありませんが、より汎用的なAIチャットボットとしての進化を考えると、TPOに応じて口調を変えられると夢が広がるでしょう。

個人的に欲しいのは、メールやSNSの返事を代筆してくれる機能です。人間関係の距離感は難しいので、どれだけ丁寧にするか、くだけた口調にするか、私はよく迷うのですが、そうした判断をスグレスに助けてもらえれば心にゆとりが生まれます。

そこでチャットボットに個性を与える研究が実現できないか？と考え、まずは世界の最先端がどこにあるのかとサーベイを行いました。本記事ではその調査結果についてまとめます。

続きを読む チャットボットは個性を獲得できるのか？ →