AI班日誌

「ゼロから作るDeep Learning」輪読会を開催しました

AI班で8月7日〜10日にかけて「ゼロから作るDeep Learning」の輪読会を行いました。
全員が自分で読んできて、各自の担当範囲をスライドでまとめて発表するという形式で開催しました。
時間の都合で実装はできませんでしたが、コードを読むだけでも理解が深まったので良い本だったと思います。

dlscratch

深層学習の初心者がほとんどでしたが、一冊読んだことで概観が分かってくれたと思います。
誤差逆伝播法やCNNなどは初めてだと分かりにくいかと思いましたが、本の解説が分かりやすいこともあり順調に進めることもできました。
分からないところを輪読会で質問しあって解決できたことも多くあったので、この形式は良かったと思います。

今後は三田祭に向けてTensorflowを用いた実装の勉強をして行く予定です。

AI班の記録(2017年5月10日)

AI班では4月から主に新入生向けにAI入門講習会を開催しています。
今日は講習会を一休みして、現在のAI技術の発展やAIの勉強方法について知ってもらう回になりました。

ai20170510

また、今年度はAI班も三田祭に向けて制作を行うことになりました。

最近の深層学習の紹介

以下のような深層学習の成果に関するYoutubeの動画を紹介しました。

  • モーションキャプチャ
  • セグメンテーション
  • モーション生成
  • 物体認識
  • 音声認識
  • GAN
  • 画風変換
  • SLAM
  • 自動彩色
  • 注視GAN
  • 超解像
  • トラッキング

AIの勉強の楽しさ

理論と実装を並行して学ぶ方法や、最新の論文を実装した例などを紹介しました。

講習会後の活動について

AI講習会後は主に画像認識に関する勉強をしていくことにしました。

AI班の紹介

慶応義塾大学のコンピュータサークルKCSのAI班では人工知能の理論や実装を勉強をしています。4月からは初心者向けAI講習会も開催中です。

AI班のTwitterはこちら
他のAI班の記録は「Tagged: AI班日誌
人工知能に関する記事は「Tagged: 人工知能

AI班の記録(2017/03/29)

今回はハミルトニアンモンテカルロ法の説明のために、サンプリングの基礎から詳しく説明がされました。

ai20170331

ある確率分布に従うようにサンプルを取得する方法です。アイデアは単純ですが、複雑な確率分布についてサンプリングを行うことは非常に難しい課題です。多次元に対応したり計算効率を向上するために様々な手法が提案されてきました。


AI班の紹介

慶応義塾大学のコンピュータサークルKCSのAI班では人工知能の理論や実装を勉強をしています。4月からは初心者向けAI講習会も行います!新入部員募集中です!

AI班のTwitterはこちら
他のAI班の記録は「Tagged: AI班日誌
人工知能に関する記事は「Tagged: 人工知能

AI班の記録(2017/03/22)

今日は3つの発表がありました。

ai20170322

Random forest の解説

代表的な集団学習の手法であるランダムフォレストの解説です。


Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Data Trainingの紹介

声質変換においてパラレルデータ(同じ内容を話している音声データ)が必要とせずに、あらゆる人の声をある一人の声に変換する手法の紹介です。


Outrageously Large Neural Networks:The Sparsely-Gated Mixture-of-Experts Layerの紹介

巨大なニューラルネットワークを構成するときに疎のゲートと大量のエキスパートを持つ混合エキスパート層を導入することで計算量を少なくする手法の紹介です。


AI班の紹介

慶応義塾大学のコンピュータサークルKCSのAI班では人工知能の理論や実装を勉強をしています。4月からは初心者向けAI講習会も行います!新入部員募集中です!

AI班のTwitterはこちら
他のAI班の記録は「Tagged: AI班日誌
人工知能に関する記事は「Tagged: 人工知能

AI班の記録(2017/03/13)

今回は2人が発表しました。

ai20170313

AI班ハードウェア領域

慶應大学天野研究室が参加しているプロジェクトの紹介を通じて、近年のトレンドであるハードウェアの最適化による学習の高速化・省電力化について紹介されました。


Unsupervised Image-to-Image Translation Networksの紹介

論文はこちら

教師データを必要としないGANの手法について説明されました。


AI班の紹介

慶応義塾大学のコンピュータサークルKCSのAI班では人工知能の理論や実装を勉強をしています。4月からは初心者向けAI講習会も行います!新入部員募集中です!

AI班のTwitterはこちら
他のAI班の記録は「Tagged: AI班日誌
人工知能に関する記事は「Tagged: 人工知能

AI班の記録(2017/03/06)

今回は3人が発表しました。また、商学部1年の方が1名見学に来てくれました!

ai20170306

U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介

論文はこちら

Image-to-ImageのCNNを改良したU-Netの提案論文。生物分野ではデータが小さいことが良くあり、これを克服することを目的として提案されました。現在は様々な分野に適用されています。


TDAの概要と適用・有用性

TDA(Topological Data Analysis・位相的データ解析)の概要と、位相幾何学によってデータ解析や機械学習がどのような恩恵を受けるのかを紹介しました。


Depth Creates No Bad Local Minimaの紹介

論文はこちら

ニューラルネットワークの損失関数の非凸性を生む「深さ」と「非線形性」のうち、「深さ」に注目した論文です。線形の活性化関数で結ばれた層をどれだけ深くしても、全ての局所解は大域最適解と一致することが説明されています。


AI班の紹介

慶応義塾大学のコンピュータサークルKCSのAI班では人工知能の理論や実装を勉強をしています。4月からは初心者向けAI講習会も行います!新入部員募集中です!

AI班のTwitterはこちら
他のAI班の記録は「Tagged: AI班日誌
人工知能に関する記事は「Tagged: 人工知能

AI班の記録(2017/03/01)

今回はGANの論文と、PRMLの10章が紹介されました。

ai20170301

Image-to-Image Translation with Conditional Adversarial Networksの紹介

論文はこちら

話題のGAN(Generative Adversarial Nets、敵対的生成ネットワーク)の複数の手法を比較し、
手法を組合せたり改良したりすることによって精度の向上を試みた論文です。


PRML10.1〜10.4 大域的変分推論法の紹介

PRMLの10章は変分法を用いた近似推論である変分近似法について書かれています。
変文近似法のうち、変分推論法(変分ベイズ)と呼ばれる手法の中の大域的変分推論法の紹介をしました。


AI班の紹介

慶応義塾大学のコンピュータサークルKCSのAI班では人工知能の理論や実装を勉強をしています。4月からは初心者向けAI講習会も行います!新入部員募集中です!

AI班のTwitterはこちら
他のAI班の記録は「Tagged: AI班日誌
人工知能に関する記事は「Tagged: 人工知能

AI班の記録(2017/02/22)

入試期間が明け、春季休暇初めてのAI班の活動でした。
AI班の主な活動の1つは各部員が読んだ論文の紹介です。
今回は2つの論文が紹介されました。

ai20170222_1

“Why Should I Trust You?” Explaining the Predictions of Any Classifierの紹介

機械学習のモデルの解釈可能な根拠を提示する手法「LIME」の論文の紹介です。元の論文はこちら

一般的に機械学習は「ブラックボックス」と言われるように分類等の基準が人間には分からないため、学習データについてうまく学習されているように見えても期待していない的はずれな基準が用いられている可能性があります(これをData Leakageという)。
「LIME」はData Leakageなどを防ぐために以下のように人間が解釈できる形で基準を表すための仕組みです。

  • 文書分類問題で、分類の基準としている単語
  • 画像物体認識問題で、ある物体であると決める根拠とする画像範囲


Show and Tell: A Neural Image Caption Generatorの紹介

画像を入力すると、画像の内容を説明してくれるという手法の紹介です。


AI班の紹介

KCSは慶應義塾大学で唯一人工知能(情報論的学習)の理論や実装を勉強しているサークルです。4月からは初心者向けAI講習会も行います!新入部員募集中です!

AI班のTwitterはこちら
他のAI班の記録は「Tagged: AI班日誌
人工知能に関する記事は「Tagged: 人工知能

DeeperBind: Enhancing Prediction of Sequence Specificities of DNA Binding Proteins他(AI班の記録)

2017/1/18のAI班の記録です。

発表したもの:

・DeeperBind: Enhancing Prediction of Sequence Specificities of DNA Binding Proteins

LSTMとCNNを用いて特定の転写因子との親和性(affinity)が高いDNA領域を発見する論文を紹介。

DeepBindよりも高い精度を出せるらしい。名前が安直。

・強化学習ベースの言語モデル(独自)

環境と強化学習するエージェント2台がある系において、エージェントが状態と語の関係性を獲得する過程をモデル化し、実装して考察したことについて発表。(時間があったら後日詳細について書きます)

 

AI班のきろく(2017/1/11)

記録を残しておいたほうがいいということになったのでAI班の活動記録.

2017/1/13にやったこと

トピックモデル

トピックモデルの話.

ユニグラムモデル,混合ユニグラムモデル,潜在的ディリクレ配分法,の流れで説明.膨大な文書データから潜在的トピックを抽出するためのモデル.pLSAの話もした.混合ユニグラムモデルと潜在的ディリクレ配分法のグラフィカルモデルの違いなど.

Detection of phase transition via convolutional neural network

CNNで二次元イジング模型の相転移に関する情報を抽出したいという感じの論文.理論的な解析とCNNによって得られる情報がかなり一致するのでよい.らしい.

参考文献:Tanaka, Akinori, and Akio Tomiya. “Detection of phase transition via convolutional neural network.” arXiv preprint arXiv:1609.09087 (2016).

宣伝

KCSは慶應義塾大学で唯一人工知能(情報論的学習)の理論や実装を勉強しているサークルです.興味のある方は是非声をかけてください.