講義「人工知能概論」(3年次選択科目)

第１回　　第2回　　第3回　　第4回　　第5回　　第6回　　第7回　　第8回　　第9回　　第10回　　第11回　　第12回　　第13回　　第14回　　第15回　　

8月1日(試験期間): 試験に代えて最終レポートの提出を求める
提出日時は2019年8月1日4限目、提出場所は524教室である。
レポートは、A4サイズの用紙を使い、きれいに書いた手書き、もしくは11ポイントの大きさ(余白は「標準」）、 1ページ36行程度で印刷すること。
1ページ目には題目、レポート提出の年月日、学籍番号、氏名を明記し、 2ページ目以降に本文を書くこと。レポートの左上端をホッチキス止めすること。
レポートの課題: (注意: 確定) 講義では古典的な人工知能についての紹介から始め、現在活発に研究されている深層学習までの道のりを述べた。この講義を踏まえて、
1. 未来(10年後〜30年後程度を想定)にむけて、人工知能が人間社会に対してどのような恩恵をもたらすか(またそれはどのような技術、応用分野によるものか）、逆にどのような害悪をもたらすか(またそれはどのような技術、応用分野によるものか）という二つの点から分析を行え。
2. この分析を踏まえて、これからの人工知能(の研究)はどうあるべきと考えるか、またあなたはどのようにそれと関わっていく(開発者でもユーザーとしてでも)と考えるか、考えを述べよ。
注意: 一般にレポートとして、ウェブ記事などの抜き書き(よくてそれを編集したもの)が提出されることが多い。しかしそれは本来の意味の「レポート」ではなく、単なる人の書いたもののコピーでしかない。
ウェブ記事などを引用することは許されているが、その場合、レポートのどの部分が「引用」であるかを明示し、かつ引用元の文献は「参考文献」としてレポートの最後に明記した場合に限られる。
レポートの本体は、実験、調査、文献などを踏まえた「自分の考えや主張」(その根拠を明示することが大事)である。その議論の展開において論理的に矛盾がないことは必須条件であり、その上で説得力をどのようにもたせるかがポイントである。
なお、レポートの共同作成は認めない。そのため、同じ内容と判断されるものがあれば、両方とも不可とする。
参考資料: Sejnowski, T. (2018) The deep learning revolution. MIT Press (銅谷賢治監訳(2019)「ディープラーニング革命」Newton Press)
片岡ら (2019) CVPR 2019 速報
7月25日(第15回): 深層学習入門(3)、総合議論
- 講義内容:MANABOにおいたIntro2DeepLearning4AILecture, 物体検出、 GAN概説
- 参考: 上原賢祐(2019)画像処理でよく使われる畳み込みニューラルネットとは
- 参考: 吉川友也(2018)画像キャプションと動作認識の最前線〜データセットに注目して〜
- 宿題：講義のまとめ、15回の講義を通して得られたものや疑問などを書く。
7月18日(第14回): 深層学習入門(2)
- 電気電子工学概論の資料
- Chollet, F. (2017) Deep Learning with Python. Manning. (株式会社クィープ訳. (2018)「PythonとKerasによるディープラーニング」マイナビ), 原著者のコード
- Colaborator: ブラウザで使えるPython実行環境
- 宿題：講義で理解できたこと、理解できなかったことを書く。理解できなかったことについて自分で調べてみる。
- 予習宿題: 資料を読み進める。
7月11日(第13回): パターン認識、深層学習入門(1)
- 宿題: 11章講義用スライド(最後の「予習」を除く）中の演習、講義のまとめ、予習(GANについて調べる、Manaboにおいた資料の一部をColaboratorで動かしてみる)
- 11章講義用スライド, 最小二乗法詳解 (プログラム: HTML, Jupyter notebook) 最小二乗法の今と昔 - 国立情報学研究所
   Raschka, S. (2017) Python Machine Learning (2nd Ed.), Packt. の10章: 回帰分析資料
- 深層学習の講義資料: 次の資料に基づくもの (Manaboに置いてある)
- Colaborator: ブラウザで使えるPython実行環境
7月4日(第12回): 学習と認識(2): パターン認識
- 前回の宿題(粒子フィルタで6/20の宿題を解く)の資料: HTML版, Jupyter notebook版
  Colaboratoryから次のようにしてnotebookをアップロードする
```
!wget http://lang.sist.chukyo-u.ac.jp/Classes/AI/2019/Bayes_Particle_Filter_Again.ipynb
```
  注: 自分のPCにあるファイルをColaboratoryにコピーするのが「アップロード」、逆にColaboratoryにあるファイルを自分のPCにコピーするのが「ダウンロード」
  Google drive にファイルを置いておくとColaboratoryで参照できる
- Colaborator: ブラウザで使えるPython実行(Jupyter notebook)環境
- 10章講義用スライド
- 11章講義用スライド, 最小二乗法詳解, 最小二乗法の今と昔 - 国立情報学研究所
- 宿題: 講義用スライド(「最小二乗法」のスライドにも演習問題あり)中の演習（11-11と11-2), 講義のまとめ、以下の予習
- 予習: Manaboに登録した資料(ipynbとhtmlの2種類がある)をダウンロードしておく(Jupyter notebookを使わなくても読めるのはhtmlの方)、それに目を通してくる、 PythonとNumpy入門をみてPythonの感覚をつける (できる範囲で良い) (参考: Jupyter notebookで走らせるための一式(zipファイル))
- 参考: 最小二乗法のPythonプログラム
6月27日(第11回): 学習と認識(1): クラスタリング　
- 10章講義用スライド
- 参考: K-means法の視覚化, 「Pythonでデータサイエンス」の記事(scikit-learnでクラスタ分析))
  拙作: Pythonによるプログラム例 (そのnotebook版)
- 参考2: データマイニング入門第6章, 主成分分析
- 参考3: 日経XTECH記事「環境構築から分析まで10分、「Pythonで機械学習」の手軽さに驚いた」
- 今回の宿題: 6/20の宿題「追加問題」を粒子フィルタを用いて解く(20日の「サンプリング生成」に従い、Pythonのプログラムを使用すること)、講義スライドの演習10-2, 11章の予習、講義のまとめ
6月20日(第10回): 位置推定: ベイズフィルタ、粒子フィルタ
- 8章講義用スライド, 8章プログラム, (そのnotebook版)
- 9章講義用スライド, Pythonによるプログラム例( そのnotebook版)
- Pythonによる乱数生成、サンプリング手法
```
import numpy as np
# 乱数生成(一様乱数、[0.0, 1.0]の範囲)
np.random.random()
# 多項分布からサンプリング
#  Case 1.  サイコロを20回振る
np.random.multinomial(20, [1/6.]*6)
#  Case 2.  4個の粒子を[1/2, 1/6, 1/6, 1/6]の確率でサンプリングする（状態数4)
np.random.multinomial(4, [1/2, 1/6, 1/6, 1/6])
```
- 参考: ベイズフィルターと粒子フィルターの比較
- 宿題: 講義のまとめ(ベイズフィルタと粒子フィルタの比較), 講義用スライド中の演習9-2, 9-3, 9-4,予習問題
- 宿題の追加問題: 部屋がA, B, C, Dと4つあり、ロボットは最初部屋Aにいる。そこで「停留」コマンドを選択した。このコマンドによりロボットは確率 1/2で同じ部屋にとどまるが、1/6の確率でそれぞれ別な部屋に飛ばされる。そこでロボットAは光を感知した。光を感知できる確率はA, B, C, D　それぞれ 1/10, 1/5, 2/5, 1/10 とする。
  1. 部屋Aにいる確率を求めよ.
  2. 再度「停留」コマンドを選択した後に、光を感知した。部屋Aにいる確率を求めよ。
  解答
6月13日(第9回):位置推定: ベイズフィルタ(8章)、粒子フィルタ(9章)
- 「ベイズフィルタ」の続き: 8章スライド, 112ページの式変形の解説
   8章プログラム改変 (そのnotebook版)
- 9章スライド,
- numpy.random.multinomial: 多項分布からサンプル抽出するためのメソッド)
```
import numpy
# モンテカルロ法による円周率の計算
trials = 10000
sum([1 for (a,b) in numpy.random.random_sample((trials,2)) if (a**2 + b**2) <= 1.0]) \
      * 4.0/trials
# Pythonで「いかさまサイコロ」のsimulation
numpy.random.multinomial(10,[0.1,0.1,0.1,0.1,0.1,0.5]) # 10が試行回数
```
- 宿題:8章スライドの演習8-2, 8-3, 8-4, 8-5, 予習問題
- 参考: Particle Filter Explained without Equations: YouTubeで見つけた資料
6月6日(第8回): 位置推定(1): ベイズフィルタ: 8章スライド
- Bellman方程式の証明(講義の補足, 6/12改訂)
- Pythonによる8章プログラム例(6/14改訂) (そのnotebook版(6/14改訂))--- 関数 ex8_2の最後の設定が「4方壁」になっていたのを「壁なし」に訂正しました)--- 昔大急ぎで書いたプログラムなのでかなり汚い。書き直してくれる人募集
- 宿題:　講義のまとめ、前回8章の予習問題としてあげたもの、 p.112の式の確認（変形でわからないところをあげる、わかったことに対する説明)、 9章の予習
- 追加宿題(やったほうがよい): ベイズフィルタの派生であるカルマンフィルタについて調べておこう
- 参考問題: 部屋がA, B, C, Dと4つあり、ロボットは最初部屋Aにいる。そこで「停留」コマンドを選択した。このコマンドによりロボットは確率 1/2で同じ部屋にとどまるが、1/6の確率でそれぞれ別な部屋に飛ばされる。そこでロボットAは光を感知した。光を感知できる確率はA, B, C, D　それぞれ 1/10, 1/5, 2/5, 1/10 とする。
  (1)部屋Aにいる確率を求めよ.
  (2)再度「停留」コマンドを選択した後に、光を感知した。部屋Aにいる確率を求めよ。
5月30日(第7回): 多段決定(2): 強化学習　　　講義用スライド
- 7章の用語辞書の例
- 参考サイト: OpenAI Gym: 強化学習のためのツールキット, そのGITHUB
  OpenAI Gym入門 (Qiitaの記事)
- 参考資料(1)：久保隆弘 (2019) 『Pythonで学ぶ強化学習』講談社
- 参考資料(2)：小川雄太郎 (2018)『つくりながら学ぶ深層強化学習』.マイナビ出版
- 複数のレポートで参照されていたサイト
- 参考: Colaborator: ブラウザで使えるPython実行環境--- 例えば、「ファイル」から「ランダイム」、「GITHUB」を選び、 YutaroOgawaで検索し、 Deep-Reinforcement-Learning-Book/program/2_6_Qlearning.ipynbを選択する
- 参考２: Metacar: ブラウザ上で強化学習モデルの仕組みを学習する
- 宿題：講義のまとめ(理解したこと、分からなかったことを中心に書く), 7章のスライドの中の演習, DQN (Deep Q-Network)について調べニューラルネットワークがなぜ用いられるのかの説明、予習問題
  追加課題(やらなくてもよいが...): 参考にある colabにアクセスし「ファイル」から「ランダイム」、「GITHUB」を選び、 tomo-makes/dl-in-a-sec/で検索し、notebooks/RL_CartPole_ja.ipynb を体験してみる(所要時間: 30分程度)---『発展』以降は除く
5月23日(第6回): 確率とベイズ理論の基礎: 講義用スライド
- Pythonによるプログラム例
- 宿題は講義用スライドの31枚目を参照してください。
- 追加問題(やらなくてもよい)：状態遷移確率行列が(6.24)で与えられるとする。無限にmoveとstopを繰り返した後, どこにいる確率が高いか？
- 昨年のレポートから:
  - 疑問「人工知能において確率はどのような場面で重要か？」
    答: 現実世界の「曖昧な, もしくは不確定な」状況を扱うために必須です。
    音声認識の例で言えば、「かくりつ」という言葉を認識したとしよう。その言葉を漢字で書くと「確率」「確立」「格率」の候補がある。しかし、「晴れの」という言葉が前に現れていたとすれば、『「晴れの」が生起したという条件のもとで「確率」が現れる条件付き確率』と『「晴れの」が生起したという条件のもとで「確立」が現れる条件付き確率』と『「晴れの」が生起したという条件のもとで「格率」が現れる条件付き確率』を比較することで、どのような言葉が発せられたかを推定できる。もっともそのような「条件」がなかったとしても、これらの語の使用頻度から得られる確率によって推定ができる。
  - 疑問「条件付き確率とベイズの定理の関係が分からなかった」
    答：ベイズの定理は、基本的に条件付き確率を求めるために用いられます。前述の音声認識の例では、P(w_n=確率 | w_n-1=晴れの) を求めるためにベイズの定理を使って P(w_n=確率,w_n-1=晴れの)/P(w_n-1=晴れの) を計算します。簡単にいえば、「晴れの確率」という言葉が用いられる頻度 (出現頻度)を「晴れの」の出現頻度で割り算することで得られます。
    ちなみに、P(w_n=確立 | w_n-1=晴れの)や P(w_n=格率 | w_n-1=晴れの)も同じように計算できるので、これらのうちの数値が大きい方を「晴れの」に続く「かくりつ」の候補とします。
    もう一つの見方としてベイズの定理は、「原因から結果を推測する」とは逆に「結果から原因を推測する」のに用いられるということをあげておきます。そもそも　条件付き確率 P(現象A | 現象B) は『現象Bが起こったことを条件として現象Aが起きる確率』を表すことでした。もしも『現象Bが現象Aの原因』とすれば、これはこのような因果関係が実現する確率を表します。さて、ベイズの定理からは(現象Aと現象Bを入れ替えて） P(現象B | 現象A) が計算できます。これは「現象Aが起きたことを条件として現象Bが起きた確率」を表しています。現象Aを「結果」とすれば、この確率は現象Aの原因に現象Bがなった確率を表すと考えられます。ベイズの定理はこのような推論を可能とするものであり、とても有用です。
5月16日(第5回): 多段決定(1) : 動的計画法　　講義用スライド
- Pythonによるプログラム例, そのnotebook版
- (英語対象)スペル修正プログラムの書き方 (Original (in English)) (次回の「ベイズの定理」とも関係)
- 宿題：講義用スライドの最後から２枚目と最後のページを参照 (演習5-1〜5-4（5-1は直感で答える、他はいずれも答えだけではなく解説をつける）、予習問題を行うこと)
5月9日(第4回): 探索(3): ゲームの理論: 講義用スライド
- 前回宿題の解答Jupyter notebook版
- 宿題(MANABOレポート): 講義のまとめ、講義用スライドの最終ページの課題(章末問題1, 予習問題)
4月25日(第3回): 探索(2): 最適経路の探索 : 講義用スライド(A*アルゴリズムの説明で誤りがありましたので4/25 17:00に修正してあります。渡辺さん、ご指摘ありがとう) 　
- 探索の応用例(NaviTime)
- Python(ver. 3)によるプログラム例とJupyter notebook版
  教科書のアルゴリズムのままでは、コストも最適経路も表示されない。このプログラムではこれらを表示するような改変がなされているので、参考にしてほしい
- 宿題(MANABOレポート): 講義のまとめ、章末問題4（A*アルゴリズムのみ)、および予習問題(スライドの最後にある)
- 関係ないけれど...「JR 大回り」で検索してみよ。
4月18日(第2回): 探索(1): 状態空間の表現、基本的な探索(深さ優先、幅優先） : 講義用スライド
- Jupyter notebookの操作方法: (Windowsを想定、Linuxなら簡単)
  1. Internet ExplorerではなくChromeかFirefoxブラウザを使う(ファイルがダウンロードできない可能性がある
  2. Jupyter notebookファイル (例えば2章用プログラム(Python notebook)）をマウス左ボタンクリックし、「ファイルをダウンロード」を選び、適当なフォルダにセーブする
  3. 上記で選んだフォルダを開く
  4. フォルダのウィンドゥで上部に表示されているフォルダのアドレス窓にマウスを置き、左クリックして「アドレスの編集」を選択
  5. アドレス窓に cmd と打ち込んでエンターキーを押す
  6. コマンドプロンプト（俗にいうDOS窓）が開くので、jupyter notebookと入力し、エンターキーを押す
  7. デフォルトのブラウザ(演習室ではIE)が立ち上がり、jupter notebookが起動する(本当はIEではない方がよい---起動オプションで --no-browser を指定する...)
- Notebookについての解説(Qiita記事)
  2章用プログラム(Python notebook)
- 補足知識: グラフ理論（木構造）。データ構造としてのスタックとキュー、およびその操作であるプッシュ、ポップ、エンキュー、デキュー
- 宿題(MANABOレポート): 講義のまとめ、および宿題 ---- 宿題解答 (そのnotebook )
- 関連: 友納 (2018)「SLAM入門」オーム社, マイクロマウス
4月11日(第１回): 講義の紹介、人工知能とは ---講義用スライド
- プログラミング言語Python
- 人工知能学会のページから What's AI
- 宿題:下のTED talksから一つを選び、その内容のまとめと講演内容に対する自分の考えを書くこと(提出期限：4月28日(日)、MANABOにて提出。Word文書（標準スタイル、フォントサイズ11pt）各1ページ程度で提出, 配点20点:分量、内容、体裁で採点） ---参考: 中には日本語字幕や日本語訳があるものもある (Transcriptをクリックして、言語を選ぶこと）
  参考: 良いレポートの例 (注: このレポートが取り上げたTEDビデオは今回の対象ではない)
予習: グラフ理論（木構造）、データ構造としてのスタックとキュー
関連するTED talks (これらは宿題の対象ではない)
関連サイト:
- MIT Technology Review『深層学習の限界突破へ、MITなどが「ハイブリッドAI」を開発』記事
- Qiitaで「人工知能」検索
- Slide Shareで「人工知能」検索
- NeurIPS2018まとめ

第１回　　第2回　　第3回　　第4回　　第5回　　第6回　　第7回　　第8回　　第9回　　第10回　　第11回　　第12回　　第13回　　第14回　　第15回　　