Introduction to Programming Language Python

推奨パッケージ

Windows用の Pythonのディストリビューション(配布パッケージ)として Anaconda(2018年訂正、教育機関は無料)を推奨します : (含まれているもの)

NumPy, SciPy, Pandas, PyTables, h5py, Matplotlib, IPython, Spyder,
Qt/PySide, VTK, Numexpr, Astropy, Cython, LLVM, LLVMpy, Numba,
Scikit-learn, Scikit-image, NLTK, NetworkX, MayaVi

Linux用としては(2019年時点)Anacondaではいろいろ不具合が出てきているのと、 Ubuntu組み込みのPythonが充実してきているため、Ubuntuのpython3を推奨します。
ただし、以下を実行する必要あり:

sudo apt install python3-pip

sudo rm /usr/bin/python 
sudo ln -s /usr/bin/python3 /usr/bin/python
sudo ln -s /usr/bin/pip3 /usr/bin/pip

sudo pip3 install numpy scipy matplotlib pandas sklearn seaborn cython h5py # 基本

# お好み
sudo pip3 install keras tensorflow # 深層学習
sudo pip3 install dlib # 機械学習/顔検出
sudo pip3 install sk-video  # video入力・出力
sudo pip3 install nltk gensim # 自然言語処理
sudo pip3 install sympy # 記号処理
sudo pip3 install opencv-python opencv-contrib-python  # 画像処理

sudo apt install python3-sypder
sudo apt install jupyter-core

sudo ln -s /usr/bin/spyder3 /usr/bin/spyder

参考: 古いUbuntu(16.04)のpython/tensorflowを更新してトラブルになった：修復記録：Anacondaでは古いtensorflowをサポートしていないが、Ubuntuでは可能な場合があることも、AnacondaよりもUbuntuのpythonが好ましい...

新しいモジュールの組み込み(以下ではXXXをモジュール名とする):

Anacondaの場合
```
conda install XXX 
```
Anaconda以外の場合: (注意: Anacondaでも dlibやimutilsは以下を使う)
```
pip install XXX 
```

OpenCVのインストールについて: Ubuntuの場合組み込みのpython3にも簡単にopencvがインストールできるようになった(2018年4月に記事あり)

sudo pip3 install opencv-python
sudo pip3 install opencv-contrib-python

Anacondaでは2018年夏頃？から以下のようにできる:

conda install opencv

これまでは苦労があったが、今はとても簡単!
と思っていたら、問題があった(2018-12-05時点): cv2.imshowでエラーになる。そこで解決策:

# 必要なら(opencv 3.4.2がだめらしい)
sudo conda remove opencv
# menpoにあるopencv3-3.1.0を入れる
sudo conda install -c menpo opencv3

ROSとの衝突：ROSをいれてから、

import cv2

とすると、ImportError: /opt/ros/kinetic/lib/python2.7/dist-packages/cv2.so: undefined symbol: PyCObject_Typeというエラーになることがある。
これは、ROSがPATHを設定してしまうためであり、次のようにすれば解消される;

import sys
# 必要なら print(sys.path) でパスを確認する
sys.path.remove('/opt/ros/kinetic/lib/python2.7/dist-packages')
import cv2

update (anaconda pythonのインストール先を/opt/anaconda3 としたときの例)

conda update --prefix /opt/anaconda3 conda

モジュール全部を更新

conda update --all

OpenCVで動画を読み込もうとさせると苦労します。ここにffmpegを使えばできる、という情報がありましたので、載せておきます。どうもOpenCVをbuildしなければならなそうですね。。。
それに対し、skvideo.ioでできるという情報もあります(Python OpenCVのLinux向けbinaryと動画の関係)。

Pythonでできること

OpenAI Gym(強化学習ツールキットのサイト) Qiitaにある解説

自然言語処理: 白井ゼミ倉庫にある「自然言語処理入門」
講義:自然言語処理
spaCy: Industrial-strength Natural Language Processing

画像処理: LinuxにおけるOpenCVの導入:sudo apt-get install python-opencv

Programming Computer Vision with Python(邦訳「実践コンピュータビジョン」)の付録, 訳者によるページ
OpenCV Computer Vision with Pythonの付録(Packt Pub.)
OepnCV for Python(和書)---すべて動くプログラムがダウンロード可能なので初心者にわかりやすい (ただしOpenCVの触りだけなので、、中級者以上には物足りないだろう)
4_1.pyの修正 --- 点が順に表示されるプログラムの意図のようである。元プログラムがそうはならないのは、waitKeyの使い方がまずいから。
上記の付録プログラムをPython3で動かす時の注意点(Keywords: Opencv2, Python3)
OpenCV-Python チュートリアル( Python2.7+OpenCV2)
上記のOpenCV3バージョン: OpenCV3 with Python(English) と日本版
 ウェブで見つけた別な解説
OepnCV3.0 + Python3.4(今はOpenCV 3.2がよいかも）
参考: opencv-3.0のインストールについて
1. opencv 3.0の概要
2. contribと GitHubのソースをダウンロードし、展開(unzip -x file-name)
  OpenCV.orgのダウンロードから OpenCV-3.0.0.zip を取ってくると makeで失敗するので、GitHubから取ってくること!
3. 参考ページに従い、インストールの準備を実行, 次にopencv-master ディレクトリを作業ディレクトリとして (つまり cd opencv-masterとしてから) opencvのインストールを実行 (この中で buildディレクトリが作成される, opencv_contrib-masterディレクトリが opencv-masterと同じディレクトリ内にあると仮定)
4. buildディレクトリを作業ディレクトリとして、 (つまり cd buildとしてから) makeする(HPZ440で8分くらいかかった)
  参考: QT_WS_WINが未定義で…というようなエラーが出た場合は、 cmakeで -D WITH_QT=OFF とするとよい(一説によれば、 QT5を使っている場合はこれが推奨されているとか)
5. sudo make install
6. ライブラリ環境の設定: sudo ldconfig
FaceTracker, ソースコード
 Mastering OpenCV with Practical Computer Visionのコード(C++のプログラムだが Pythonへのポートは可能), Menpo Project
Dlib: 顔の認識に役立つモジュール(本来C++ライブラリであるが、 Pythonモジュールあり) --- 紹介記事(2018-02)
もしもdlib.cpython-...-x86_64-linux-gnu.so: undefined symbol　というエラーが出る場合は、conda install libgccをやるとよい
- インストール: pip install dlibできるが、 Cmake(sudo apt-get install cmake)と boostをインストールする必要がある。それにはboostを展開したディレクトリで以下を実行する
```
  ./bootstrap --with-libraries=python
  ./b2
  sudo ./b2 install
```
  注意; Anaconda環境でインストールする時に失敗する可能性がある。インストールのためには、Anacondaのincludeディレクトリにおいて ln -s python3.5m python3.5 (環境によっては python3.6mだったりする) としておくこと, 環境変数PATHをanacondaにセットしておく必要もあるかも
追記: libstdc++.so.6: version `GLIBCXX_3.4.20' not found (GLIBCXX_3.4.21なども同じ)というメッセージがでてdlibが使えない場合、 locate libstdc++を実行する。すると、anaconda3/libの下にはlibstdc++.so.6.0.19となっているのに対し、 /usr/lib/i386-linux-gnu/の下にあるのは、 libstdc++.so.6.0.21があったりする。そこで、このファイルを anaconda3/libの下にコピーし、 libst dc++.soやlibstdc++.so.6にリンクを貼る。これで解決する(解決した)。
imutilsモジュール(これも pip コマンドでインストール可能)を用いた顔の認識、かつ顔の向きを検出するプログラムを以下の資料に基づき作成した:
- Dlib(Python)についての資料(記事をたどると『目が開いているかどうか』の検出も)
  DLib(Python)についての別な資料(*)
- 顔の向きの検出
- 顔画像認識に使えそうなデータセット
   顔のデータベース(IMM)、顔のデータベース(Yale Faces) (そのJpeg版)
- 顔のLandmarkデータベース(MUCT) (参考: LFPWのようなものもあるが特徴点数が少ない)
- 顔の向きの表示プログラム(ビデオカメラ使用、記録付き)(Python2+OpenCV2), Python3+OpenCV3 (ただしこれには顔のランドマークデータが必要)
(2015年度)OpenCVを用いた「顔の認識」プログラム（あわせて、顔データ収集プログラム）を作りました。 2015年度3年生ゼミページの2015年12月1日あたりの項目参照
(2015年度)OpenCVを用いた小品: 写メで撮った図をそのままPPTに貼るのではとても汚いので作ったもの(参考：大津の二値化, 発展: 適応的閾値処理) [OpenCVを用いた小品説明]
- 背景の灰色を白色にするPythonプログラム使用法: python white.py file (num)
  ここでfile はOpenCVを用いて読み書きしているため、JPEGかPNGなどに限定 (注意: つまりgifは扱えない--- ただしOpenCVの代わりにPILを使えばgifが可能になる)。最後の引数はオプションで、どの程度の灰色を白色にするかという閾値を指定できる。何も指定しない場合は 128
  ⇒
- 上記の小品の適応的閾値処理を用いた改訂版(参考: OpenCvSharpをつかうその15(適応的閾値処理))
  　　　　　
  　⇒ 　　
- 灰色化のためのプログラム：二値化のプログラムを作ったが、以下の例だと二値化ではうまくないため、灰色化を試みた（線形関数で濃度を強調、二次関数も試したが線形関数の方がよい感じであった)
  元画像: ⇒ 灰色化:
  比較のため：二値化した画像
OpenCVとPILの対比(一部)

Open3D
白井による紹介、紹介記事(2018-02)

雑記

Python2とPython3の違いについてはこの記事が詳しい。初心者にとって気をつけるべきは以下のもの:

	Python 2	Python 3	注釈
print文	print "hello"	print("hello")	カッコが必要
改行なしprint文	print "hello",	print("hello", end="")	endオプションを指定
整数の割り算	3 / 5 ⇒ 0	3 // 5	Python3では 3 / 5 ⇒ 0.6 となる
入力	raw_input(u"入力? ")	input("入力? ")
range, map関数など	map(min,[1,30],[2,5])=>[1,5]	map(min,[1,30],[2,5])=>mapオブジェクト	iterationにはそのまま使用可能。なお、要素をリストにするにはlist(map(min,[1,30],[2,5]))などとする
Unicode	u"こんにちは"	"こんにちは"	unicodeが標準の文字コード
dictのhas_key	dict.has_key('tag')	'tag' in dict	has_keyがなくなったため、inを使う
例外処理	except NameError, err:	except NameError as err:	asが必要
stringの関数(splitなど)	string.split("a b c",' ')	"a b c".split('')	stringモジュール不要

Spark:ライトニング高速クラスタコンピューティングのこと。バッチ処理を大規模分散するライブラリ
Pythonで動かすSpark

3Dグラフィックス:

VTK: 3Dイメージ可視化
 紹介PDF(2014年)
VPython : Pythonで３DグラフィックスVPythonのホーム
日本語による簡易な紹介

Jupyter notebook (旧 iPython notebook)を使う：このページに解説あり。講義用のページ作成に役立ちそう（Packtの本の付属コードなどに利用例多数)
Windows/Anacondaで作成した notebook が Linux (Ubuntu)では、「JSON (nbformatのバージョン違い)のため利用できない」というメッセージが出た場合の対処法:

sudo apt-get update
sudo apt-get upgrade
# 以上はお約束
# 以下はsudo したくなければ --userで(ユーザーモード)installすればよい
sudo apt-get install python3-pip
sudo pip3 install jupyter
jupyter notebook # これで利用できるはず

参考: Jupyter notebook serverを作る

Matplotlibで日本語を表示：デフォルトでは表示できません。この問題解決にはこのページが参考になります

デコレータについて: 参考ページ

pickleについての資料
Python3ではcPickleが使えない。そのときimport _pickle as cPickleとする
(実はPython3ではpickleでよい)

Json fileの扱い, マニュアル資料

ARDroneを飛ばす: python-ardrone: これなしでは、卒業(研究)ができなかった人がいる(かも...)

Artificial RealityをPythonで(PyGame使用: AR example) --- OpenCVもARに使える...関連： ArUco

音声認識システムとの連携:

日本語の音声認識(Raspberry Pi): Julius (Julius Book (PDF)) , AmiVoiceRPi(Interface2013年12月号, pp.162-170などに紹介記事)
Rapiro（だけではなくARDroneなども)を音声で動かそうプロジェクト: 作業解説(12/3改訂)
Juliusのセットと Rapiroフォルダ(ここで用いる文法単語セット)(grammar-kitのSampleGrammarsの下に展開したフォルダをおくこと)
PCにおくファイル: Test.py(改訂)、 Trial2.py(改訂)

Pythonで音声信号処理

音声合成システムとの連携:

日本語の音声合成(Raspberry Pi): HTS/Open JTalk, AquesTalkPi
JTalk実装・使用について

AR: SaltwashAR
ARToolkitはPyARTK(2007)くらいしか見当たらない...

VR: Python bindings for Oculus Rift SDK

PyGame: もともとはゲーム作成のためのものであるが、キーなどのイベント取得やウィンドゥ表示など使えるものが多い
初心者のための pygame ガイド, pygameのexamplesにあるchimp.pyを元にした解説

正規表現: 白井ゼミ倉庫にある「Pythonのクラスと正規表現」

シリアル通信: 簡単な通信例

>>> import serial   # シリアル通信のためのモジュールの読み込み
# OSによって通信ポートの指定が異なるので注意
>>> com = serial.Serial('/dev/ttyAMA0',57600) # Linuxの場合, 57600 bps
>>> com = serial.Serial('COM7', 57600)        # Windowsの場合, COM7と仮定
#
>>> while True:
...          message = input("> ")    # キーボードから通信メッセージを入力
...          com.write(message)       # 通信先にメッセージを送る

ソケット通信:

Socket通信
参考: PYthon2のもの: client1.py, server1.py, server2.py
参考２: clientではカメラから写真を取りそのファイル名をserverに送る、 serverはそのファイル名を受取り表示する(ただし同一マシンでのファイルのやり取りに限定している---別口でファイルを送ることを並行させれば、異なるマシンの間で同じことができるはず): Python3のもの: client.py, server.py,

ウェブアプリケーション・フレームワークFlask: Flaskを使ってみる, Flaskへようこそ
関連: Jinja2 (Pythonモジュール、汎用テンプレートエンジン)

PyKinect2: PythonでKinectを扱う- ただしKinect for Windows SDK v2が必要

Leap MotionをWindowsで使うには; (2015年7月時点)

Leap Motionに行き、『開発者』のページから、Windows用のSDK(zipファイル)をダウンロードする (メールアドレスの登録が必要)
ダウンロードしたファイルを展開する。その中にある Leap_Motion_Installerを実行する。また、この中にLeapSDKフォルダがある。
32ビットならば LeapSDKフォルダのx86の中身を使う。 64ビットならば LeapSDKフォルダの x64フォルダの中身を使う
Pythonをインストールしてあるフォルダにある Lib/site-packagesの中に、以下のフォルダを展開しておけば、他のモジュールと同様に使えるようになる： 32ビット、64ビット
テスト：LeapSDKのsamplesの下にある sample.py を試す。もしくは
参考ページ

Memory exhausted

解決策

推奨パッケージ

Learning Python

Pythonでできること

雑記