Azure Batch AI Trainingを利用したツイートデータ分類モデルの分散学習

はじめまして、システムソリューション部の松本です。

今回は、ディープラーニングの分散学習を可能にするサービス「Azure Batch AI Training」を用いて、Twitterの投稿に対する分類モデルを分散学習させてみようと思います。

アウトライン

  1.  Azure Batch AI Trainingとは
  2.  Azure Batch AI Training APIを使用してディープラーニング分散処理を行う流れ(Python&Tensorflowを使用した例)
  3. Tensorflowによるリツイート数でのツイートCNN2値分類
  4. 結果
  5. まとめ
  6. Appendix:独自Dockerコンテナssh設定

続きを読む Azure Batch AI Trainingを利用したツイートデータ分類モデルの分散学習

AzureのデータサイエンスVMを用いたニューラルネットワーク機械翻訳

初めまして。
システムソリューション部の長田と申します。

昨今では「AI」や「Deep Learning」などのキーワードとともに、データ分析が注目されています。 データ分析を行うためのツールは数多く存在し、それらをインストールするには意外と手間がかかります。 特にDeep LearningのアルゴリズムをGPUで計算する際に使われるcuda周りのインストールはノウハウがないと面倒です。

本記事では、データ分析で用いる主要なツールがプレインストールされているAzureのデータサイエンス仮想マシン(DSVM)を使ってDeep Learningを行ってみた感想について書いていきます。

続きを読む AzureのデータサイエンスVMを用いたニューラルネットワーク機械翻訳

ベイズ統計によるアイオワ・ギャンブリング課題のモデリング方法

こんにちは。データ分析部の長尾です。

今回は心理学において有名な実験である「アイオワ・ギャンブリング課題」を題材として,ベイズ統計によるモデリング方法を紹介します。

突然ですが、パチンコのホールを思い浮かべてください。パチンコではまず,出玉の多そうな台を野生の勘で選び,その台でしばらく様子を見ます。出玉が少ないようであれば,他の台に移り,またしばらく打ちます。個人差はありますが,上述の探索行動を繰り返し,最終的には,一番期待できそうな台に落ち着いて,利益を最大化するよう努めます。このような意思決定のプロセスを模倣した実験のひとつにアイオワ・ギャンブリング課題(Iowa Gambling Tasks, IGT; Bechara, Damasio, Damasio & Anderson, 1994)があります。

続きを読む ベイズ統計によるアイオワ・ギャンブリング課題のモデリング方法

コーポレートサイトをリニューアルいたしました!

すでにご覧いただいた方もいらっしゃるかと思いますが、
今月初めにALBERTのコーポレートサイトをリニューアルいたしました!

以前に比べ、ALBERTの理念や提供している分析・技術、サービスについてのボリュームを増やし、お客様はもちろんのこと、投資家の皆様、就職を希望する皆様など、あらゆる方々にALBERTをより深く知っていただけるサイトを目指しました。

他社の企業サイトではあまり見られない少し変わった試みとしては、経営理念のページに設けたVISIONです。


続きを読む コーポレートサイトをリニューアルいたしました!

Semi-Supervised Learning

はじめまして、データ分析部のシャオです。今回は半教師あり学習(Semi-supervised Learning)を英語で紹介します。

This blog introduces representative methods in section 2, including Generative Model, Support Vector Machines, Graph-Based Model and co-training. In section 3, the demonstration of text classification by R is presented. The co-training exmaple is in section 3.2.1 and generative model is in section 3.2.2.

続きを読む Semi-Supervised Learning

学生向けディープラーニング実践イベントを開催しました

こんにちは。人事・広報の小國です。

以前techtalkへ参加させていただいたときに、
学生の皆さまと触れ合う機会を是非自社でも開催したい!と熱望し、
今回実行に移すことができましたー☆

イベントのテーマは「ディープラーニングを体験してみよう」です。
ディープラーニングとChainerの簡単な解説と、MNISTの数字分類のネットワークで、
精度を落とさずにどれだけ学習を高速化できるか・・・
参加いただいた学生の皆さまに競っていただきました♪

続きを読む 学生向けディープラーニング実践イベントを開催しました

バンディットアルゴリズム 基本編

データ分析部の中村、中野です。
今回から2回に分けてバンディットアルゴリズムをご紹介いたします。

今回は基本編ということで「バンディットアルゴリズム」の基本的な思想と代表的な方策について簡単にご説明します。

バンディットアルゴリズムはWEB広告配信やレコメンドシステム、はたまたトップ棋士に勝ち越したことで有名なアルファ碁にもその技術が応用されたことで注目を集めています。

そもそも、バンディットアルゴリズムとはどういったものでしょうか。まずは少しややこしいその問題設定を丁寧に見ていきます。

続きを読む バンディットアルゴリズム 基本編

AWS Data Pipeline の 稀によくあるQ&A

システムソリューション部の佐藤奏です。

業務でAWS Data Pipelineを結構ヘビーに使ったので、調べにくいところやハマりどころをQ&A形式でご紹介します。

サービスの概要について少しだけコメントします。その後はひたすら細かい話になります。なお、以下はもっぱらリソースとしてEC2を使う場合の記述です(EC2の他に、EMRクラスタを起動することもできますが、筆者は使ったことがありません)。

続きを読む AWS Data Pipeline の 稀によくあるQ&A

スタッフお仕事ぶり取材 第8回「データ分析部アルバイト まえた君」の巻

こんにちは!広報担当の大森です。
今回は、2年ぶりのALBERTスタッフお仕事ぶり取材です。
(以前のものはこちらからご覧いただけます。)

「分析力」をコアとして事業を展開するALBERTでは、正社員は全員、統計検定の受験が義務づけられています。
もちろん、業務により必須で取得する級は異なりますが、管理部門であっても全正社員が受験をします。

データ分析部のまえた君は、その統計検定の2級・準1級に合格し、2級の成績優秀者に選ばれたと小耳に挟み、大変めでたい!というわけで、早速取材にお邪魔しました☆

突然の取材&撮影にも関わらず、快く応対してくれたまえた君です。

img_5520
続きを読む スタッフお仕事ぶり取材 第8回「データ分析部アルバイト まえた君」の巻