Micro Python

Kickstarter で募集15,000ポンドを目標に募集して、最後は97,803ポンド集まっていたMicro Pythonのボードが先々週くらいに届いていました。

自分が選択していたのはこれ

[code lang=text]
Wireless kit: get a Micro Python board ready-to-run, a Bluetooth module, a graphical LCD, a servo motor, touch sensor, a speaker and amplifier chip, microphone, light sensor, LEDs, push buttons, header pins, solderless breadboard, resistors, capacitors, wires, and online instructions.
[/code]

やっと触れたので少しメモです。

主にチュートリアルにそって試しました。

Micro Python – Python for microcontrollers

Macとつなぐ

USBケーブルで繋げば認識していました。

IMG 6653

まず、ドライブとして”NO NAME”のデバイスがマウントされます。

Screen Shot 2014 07 13 at 14 38 01

ファイルが格納されており、それぞれ次のようなファイルです。

  • boot.py: pyboardを起動した時に動作するスクリプトで、設定なんかを書いとく。
  • main.py: メインのスクリプトで、boot.pyを実行した後呼ばれる。
  • README.txt: よくあるりーどみー
  • pybcdc.inf: Widnows用のドライバファイル

main.pyに次のように書いておくと、pyboardを再起動してもLED4(青)が点灯します。

[code lang=python]
import pyb
pyb.LED(4).on()
[/code]

慣れ親しんだpythonのシェルでLEDを操作できる!

Micro Python – Python for microcontrollers

terminalからscreenで接続します。

[code lang=bash]
screen /dev/tty.usbmodem1a1222
[/code]

接続するとpythonのシェルになるので、普通にpythonできます。

Screen Shot 2014 07 13 at 14 37 30

例えば、こんな感じでLEDをチカチカさせることができます。

[code lang=python]
led = pyb.LED(2)
while True:
led.toggle()
pyb.delay(1000)
[/code]

簡単ですね!

スイッチ

pyboardには2つのスイッチがついていて、RSTと書かれた方がリセットスイッチで、
USRと書かれた方はユーザーがプログラムすることができるようになっています。

[code lang=python]
>>> sw = pyb.Switch()
>>> sw()
False
>>> sw() #ボタンを押しながら実行してみる
True
[/code]

押されたときを検出するには、callbackを登録しておくことで実現できます。

[code lang=python]
sw.callback(lambda: print('press!'))
[/code]

この後、USRボタンを押すと press! と表示されます。

加速度センサ

[code lang=python]
>>> accel = pyb.Accel()
>>> accel.x()
1
>>> accel.y()
-1
>>> accel.z()
22
[/code]

セーフモードと初期化(工場出荷時設定にリセット)

  • セーフモード:
    • 起動した状態でUSRボタンを押しながら、RSTボタンを押して離す。
    • オレンジのLEDだけが点灯しているときにUSRボタンを離す。
  • 工場出荷時リセット:
    • 起動した状態でUSRボタンを押しながら、RSTボタンを押して離す。
    • オレンジと緑の両方が点灯しているときにUSRボタンを離す。

USB mouse(HID)モード

USB HIDデバイスとして認識させることができるみたい。

boot.py

[code lang=python]
import pyb
pyb.usb_mode('CDC+HID')
[/code]

これでpyboardを起動し直すと、MacではKeyboardとしての設定画面が表示されたが、特に設定せずウィンドウを閉じた。

次にこんなプログラムを走らせてみる。

[code lang=python]
import pyb

switch = pyb.Switch()
accel = pyb.Accel()

while not switch():
pyb.hid((0, accel.x(), accel.y(), 0))
pyb.delay(20)

[/code]

これで、pyboardでマウスカーソルを制御することができる! お手軽!

lcd

lcdは外部モジュールを接続します。

今回は届いた中にlcdが入っていたので組み立ててつけました。

チュートリアルのコードを動かすとこんなかんじです。

[code lang=python]
lcd = pyb.LCD('X')
lcd.light(True)
for x in range(-80, 128):
lcd.fill(0)
lcd.text('Hello uPy!', x, 10, 1)
lcd.show()
pyb.delay(25)
[/code]

おわり

今日はここまで。

RaspberryPiとDS18B20で温度を計ってdygraphsでグラフ化

少し前ですが、あまりにも暑かったので、暑さ自慢(不幸自慢)するために部屋の温度を計ることにしました。Raspberry Piで。
(あの日以降、北海道は割と寒いですが・・・)

RaspberryPiとDS18B20を使って温度を計る

1. 電子回路はよくわからないので、色々と参考にしながらDS18B20をRasbperryPiにつなぎます。

Raspberry Piブログ : [コラム] 第9回『1-wire温度センサーで部屋の温度を測定しよう』

2. 接続したら/etc/modulesに以下を追加して保存します。::

[code]
w1-gpio
w1-therm
[/code]

3. 再起動します。

4. /sys/bus/w1/devicesの中に接続したデバイスのIDでリンクができているので、その中のw1_slaveをcatします。

5. 温度が表示されます。

t=30937のところが温度で、1/1000にして摂氏30.937となります。

データを定期的に記録する

温度が取得できることがわかったので、定期的に温度を記録します。
t=30937の部分を取り出してファイルに書くだけの簡単なお仕事です。

t=30937の部分を取り出す処理

これで温度だけを記録できるようになりました。
あとは時刻も取得して、CSVの1行として出力します。

temp.py

これは、次のように実行すると時刻と温度がカンマ区切りで出力されます。

これをcronを使って定期的に実行します。

cronの設定を編集します。

これで10分おきに温度を記録できるようになりました。

記録した温度のデータをグラフにする

取得したデータはtemp.csvとして残っていますが、エディタでしか見れませんので、ウェブページからグラフで確認できるようにします。

D3.js(C3.js)を使って描画してはみたものの、
そんなにすごいことができなくてもいいので、dygraphs.com を使うことにしました。

dygraphsとは

dygraphsは高速かつ簡単にグラフを作成できるライブラリです。
さくっとグラフを描画するだけなら、D3.jsよりも簡単です。

1. dygraphs.com/download.htmlからdygraph-combined.jsをダウンロードします。

2. 次のようなhtmlを作成します(dygraph-combined.jsとtemp.csvはstatic配下に保存してあります)。

4. これをブラウザで確認すると次のようなグラフが表示されます。

Temperature at my work space

なんとなく部屋の温度がわかっていいですね。

しかし思ってたより暑くはなく、不幸自慢できませんでした。

まとめ

raspberry piとDS18B20ですごく簡単に温度を計ることが、また温度のデータをグラフ化することができました。
しかし、このままではCSVがどんどん大きなサイズになり、読み込みが遅くなりそうです。
遅くなったらsqlite3あたりにつっこんで、日付で抽出できるようにすればよいですね。

温度がわかるようになると今度は湿度もほしいなぁ・・・
あとこれをpebbleにも表示できるようにしたいなぁ・・・

python3でのstdin,out,errのencodingの変更

暑くてとろけております。
涼しいはずの北海道で全国最高気温(と最低気温)とは・・・。

python3でのopen

python3からopenの仕様が変更となり、text modeの場合(mode=rやwだけで開いた場合)には、encoding付きでopenするようになっています。

返されるオブジェクトもfileオブジェクトではなくTextIOWrapper, BufferedReaderまたはBufferedWriterとなっています。


[code]
 >>> f = open(‘sample.csv’, ‘r’)
>>> f
<_io.TextIOWrapper name=’sample.csv’ mode=’r’ encoding=’UTF-8′>
>>> f.close()

>>> f = open(‘sample.csv’, ‘w’)
>>> f
<_io.TextIOWrapper name=’sample.csv’ mode=’w’ encoding=’UTF-8′>
>>> f.close()

>>> f = open(‘sample.csv’, ‘a’)
>>> f
<_io.TextIOWrapper name=’sample.csv’ mode=’a’ encoding=’UTF-8′>
>>> f.close()

>>> f = open(‘sample.csv’, ‘r+’)
>>> f
<_io.TextIOWrapper name=’sample.csv’ mode=’r+’ encoding=’UTF-8′>
>>> f.close()

>>> f = open(‘sample.csv’, ‘w+’)
>>> f
<_io.TextIOWrapper name=’sample.csv’ mode=’w+’ encoding=’UTF-8′>
>>> f.close()

>>> f = open(‘sample.csv’, ‘rb’)
>>> f
<_io.BufferedReader name=’sample.csv’>
>>> f.close()

>>> f = open(‘sample.csv’, ‘wb’)
>>> f
<_io.BufferedWriter name=’sample.csv’>
>>> f.close()
[/code]

python3の標準入出力のencodingを切り替える

上述のとおりstdin, stdoutにencodingが付いているわけですが、これのデフォルトのencodingは環境に依存しています。

私の環境ではUTF-8がデフォルトのencodingとして設定しているので、何も指定しない状態ではUTF-8でstdinを読もうとします。

例えば、SJISのファイルをcatしてstdinから読み込むとどうなるかというと、

sample1.py

実行

[code]
 cat sample.csv | python3 sample1.py

Traceback (most recent call last):
File "sample1.py", line 2, in <module>
print(sys.stdin.read())
File "/usr/local/Cellar/python3/3.4.0_1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/codecs.py", line 313, in decode
(result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x82 in position 3: invalid start byte
[/code]

SJISの文字列を渡した場合、Decodeできなかったと怒られます。

ちなみにpython2で同じことをすると文字化けしました。

[code]

1, �ق��ق�
2, �ӂ��ӂ�

[/code]

python2の場合、この問題を解決するために次のようにしていました。

sample2.py::

これを実行すると::

[code]
 cat sample.csv | python sample2.py
1, ほげほげ
2, ふがふが
[/code]

となります。
SJISをデコードして読み取ることができています。

これをpython3で実行すると::

[code]
 cat sample.csv | python3 sample2.py
Traceback (most recent call last):
File "sample2.py", line 6, in <module>
print(_stdin.read())
File "/usr/local/Cellar/python3/3.4.0_1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/codecs.py", line 313, in decode
(result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x82 in position 3: invalid start byte
[/code]

残念ながら使えません・・・。

そこで、思い出すのが、冒頭に書いていたfileが_io.TextIOWrapperに変わったということです。
text modeで開いた時はすでにTextIOWrapperオブジェクトになっているので、.bufferにアクセスして、それをcodecs.getreaderします。

sample3.py::

これで文字化けせずに読むことができるようになります。
しかし、調べて見ると他のやり方がもあるようです。

sample4.py::

sample5.py::

どれも正常に動作しています。

となると、今度は結局どれを使えばいいの?となります。
私はgetreaderやらTextIOWrapperという単語を見るよりも、openでstdinをsjisで開き直す、という方がさっぱりしていて良いなと思ってます。

・・・ということで寝られるかと思ったら、何やら怪しい挙動が・・・

sample6.py::

実行すると::

[code]
 !!!
???
1, ほげほげ
!!!
???
2, ふがふが
[/code]

sample7.py::

実行すると::

[code]
 !!!
???
!!!
???
1, ほげほげ
2, ふがふが
[/code]

あれ???

sample8.py::

実行すると::

[code]
 !!!
???
1, ほげほげ
!!!
???
2, ふがふが
[/code]

なぜかTextIOWrapperのとき、出力順序が違っています。
なんとなくですが、TextIOWrapperを作りなおしている時に、元のバッファとは違うところを使っている、とかでしょうか?

sample7a.py::

実行すると::

それっぽい結果がでました。これ以上の深追いはやめておきましょう・・・。

まとめ

どうしてもpython側でstd(in|out|err)の文字コードを吸収(変換)したいなら、今回書いた方法のどれかで変換すればよさそうです。

ただ、pythonでの文字コード変換が必須ではなく、コマンドラインで処理するスクリプトの場合には、iconvやnkfを使った方がpythonのコードもシンプルになります。

sample_simple.py::

これをこう::

[code] cat sample.csv | iconv -f SJIS -t UTF-8 | python3 sample_simple.py
[/code]

というわけで、頑張った割に、最終的にはpythonで文字コード変換しない方が良い気がしてきました。
お疲れ様でした。。。

追記

 ずっと見てなかったcomp.lang.pythonのメールに何故か目を通してみたら、ちょうど関連する話がありました。

Reading from sys.stdin reads the whole file in – Google Groups

  • バッファリングしているのでflushする必要がある。
  • python -u sample.py のように-uをしていするとバッファリングされない
  • 環境変数 PYTHONUNBUFFERED を設定するとバッファリングされない
  • python3.3から print(*objects, sep=’ ‘, end=’\n’, file=sys.stdout, flush=False) のflushをTrueにすればすぐflushするみたい
  • python2でバッファリングなしでstdinの行ごとの処理をすると遅いし変なことしないとだめなのでオススメしない。python3を使おう。

参考

PDFから取得した時刻表テキストから、使いやすいデータを抽出する

気温の変化の激しさに負け、風邪をひいて喉が痛いです。
週末を風邪でぐったり過ごすと損した気分です!

さて、地道に作成しているPebbleの札幌東豊線の時刻表アプリ、を動かすために必要なデータを作るためにチマチマ進めている PDFからテキストを取得する PyPDF2 の続きです。

ソース

planset/tohosendata です。

やはりこういった電車の時刻表はオープンデータ化してほしいですね。
どこかにあるのかなー?

テキストから時刻表を抽出する

前回、PDFからテキストを取得することができました。

[code]
WeekdaysSaturdays/Sundays/Holidays6 01020293846546 01020293847557 2 91419232731353943475155597 311192632384450568 3 711151923273135394347528 2 8142026334047549 0 7152230374451599 2 91724313845525910 61320273542495610 71421283542495611 31118253239465411 31118253239465412 1 81522303744515812 1 81522303744515813 61320273441495613 61320273441495614 31017253239465314 31017253239465315 1 81522303744525915 1 81522293644515816 6132128354146525716 51220273441485617 3 813182329344045515617 31017243139465318 1 6121723283439455218 0 71522293643515919 0 816243240485619 715243240485620 412202937455320 412202937455321 1 917253341495721 1 917253341495722 5132230405022 5132230405023 0102030405023 010203040500 00 0Last Trains for Transfers from This Station.For MiyanosawaFor FukuzumiFor Shin sapporoTransfer at OdoriTransfer at SapporoTransfer at OdoriTransfer at Odori
[/code]

ここからうまい具合に抽出しますが、詳細は省略。

正規表現でざっくり分けて、あとは1時刻ずつ読む感じです(うまく行ってる気がしません)。

苦労した点は、pdfをテキストに変換をすると、
同じ行が2回続いて出力されるPDFがあることです・・・。
PDFの作りの問題なのか、pypdf2の使い方の問題なのか・・・。

栄町分を出力してみるとこんな感じです。時刻表が正しいかはまだ確認していません。

[code]
“1”: {
“fukuzumi”: {
“holiday”: {
“23”: [
0,
10,
20,
30,
40,
50
],
“22”: [
5,
13,
22,
30,
40,
50
],
(省略)
},
“weekday”: {
“23”: [
0,
10,
20,
30,
40,
50
],
“22”: [
5,
13,
22,
30,
40,
50
],
(省略)
}
(省略)
[/code]

ここまでくればもうおっけーです。

あとは、django用のdbに取り込んで時刻検索して返してあげています。

まとめ

これで時刻表のデータが揃ったので、あとは電車に乗りながら動作確認です。
栄町<>さっぽろ間しか乗ることがないので、福住のデータは一生テストされませんけどね!

PDFからテキストを取得する PyPDF2

昨日の札幌は風が強かったです。うちのゴミ箱のフタが飛んでいきました。

さて、地道に作成しているPebbleの札幌東豊線の時刻表アプリなのですが、それになりに動くようになって、平日の栄町駅だけは使えるようになりました。

位置によって最寄りの駅に切り替わることも確認できたので、あとは時刻表データを作るだけです。

いつもスマホで時刻表を見るときは [札幌市営]東豊線の時刻表 – えきから時刻表 を使っているのですが、データだけ抜くのは忍びないので、市が出している何かを参考にすることにしました。

地下鉄路線図・時刻表/札幌市

しかし見渡した限り全部PDFです。おーのー!

ただ、このPDFはテキスト情報が含まれているPDFなので、
この文字を使えば、簡単に時刻表(の文字列)をゲットできて楽ができるかもしれない!!!

本題:pythonでPDFからテキスト情報を取得しよう

pythonからPDFを扱うにはPyPDF2を使います。

mstamy2/PyPDF2

インストール

[code]
pip install pypdf2
[/code]

PDFからテキストを取得する

実行してみる

これを東豊線の栄町駅PDFに対して実行してみます。

[code]
WeekdaysSaturdays/Sundays/Holidays6 01020293846546 01020293847557 2 91419232731353943475155597 311192632384450568 3 711151923273135394347528 2 8142026334047549 0 7152230374451599 2 91724313845525910 61320273542495610 71421283542495611 31118253239465411 31118253239465412 1 81522303744515812 1 81522303744515813 61320273441495613 61320273441495614 31017253239465314 31017253239465315 1 81522303744525915 1 81522293644515816 6132128354146525716 51220273441485617 3 813182329344045515617 31017243139465318 1 6121723283439455218 0 71522293643515919 0 816243240485619 715243240485620 412202937455320 412202937455321 1 917253341495721 1 917253341495722 5132230405022 5132230405023 0102030405023 010203040500 00 0Last Trains for Transfers from This Station.For MiyanosawaFor FukuzumiFor Shin sapporoTransfer at OdoriTransfer at SapporoTransfer at OdoriTransfer at Odori
[/code]

おおおお! テキストになった!!!

けど、これの解析はどうやろう。めんどくさい\(^o^)/
(ちなみにPDFリーダーで開いて、CTRL-Aでテキストを全選択してテキストをコピペしたほうが、もうちょっと読みやすいテキストで取得できます)

つづく。

第2回Sapporo.vimに参加してみた vim-ipython

こんにちは!

気分爽快! と、調子に乗って7分丈のシャツにしたらすごい寒かったです。

さて、2014/5/25に第2回 Sapporo.vim に参加させてもらいました。
特に何かしたいことはなかったんですが、Vimの勉強会があるなんて都会っぽいなーと思いつつ参加しました。

とはいえ、せっかく参加したのでvimで何かできるようにしたいと思い考えたところ、前回のpython sapporoで中村さんがemacsを使って行っていた「バッファ(?)からipython側に関数をロードして実行する」ということをvimでできるようにすることにしました。

終始もくもくしながらipythonのドキュメントを見てました(vimは・・・)。
結果、ivanov/vim-ipython を使うだけで十分ということがわかりました!プラグインバンザイヽ(^o^)丿

では、ipython自体を使いこなせていないのでイマイチな説明ですが、vim-ipythonについて書いてみます。

 

準備

まずは、プラグインをインストールします。NeoBundleの使い方はぐぐってください・x・

[code]
NeoBundle ‘ivanov/vim-ipython’
[/code]

次にterminalを開いてipythonを起動します。このとき、ipython consoleで起動します。

[code]
ipython console
[/code]

そうすると、~/.ipython/profile_default/security 配下にkernel-****.jsonというファイルができるので、****のところを覚えます。
これはipython kernelでもOKです。ipython kernelを実行すると画面上にpidファイル名が表示されるのでより楽ですが、その場合、対話型インタフェースを使いたいときは、別途[code]ipython console –existing[/code] で接続します。

次にterminalからhoge.pyを開きます(ファイルはなくてもいいよ)。

[code]vim hoge.py[/code]

そこでIPythonコマンドを実行します。

[code]:IPython ****(さっき覚えてた数字)[/code]

これで準備完了!

 

バッファの内容をipythonに投げてみる

vim-ipythonのデフォルトのキーマップは次のようになっています。

map <buffer> <silent> <F5> <Plug>(IPython-RunFile)
map <buffer> <silent> <S-F5> <Plug>(IPython-RunLine)
map <buffer> <silent> <F9> <Plug>(IPython-RunLines)
map <buffer> <silent> <LocalLeader>d <Plug>(IPython-OpenPyDoc)
map <buffer> <silent> <LocalLeader>s <Plug>(IPython-UpdateShell)
map <buffer> <silent> <S-F9> <Plug>(IPython-ToggleReselect)

なんとなくRunFile、RunLine、RunLinesあたりがいい感じになりそうです。

vim hoge.py でvimを開いたら、
[code]
def func1():
return ‘func1’
[/code]
という関数を書いてみます。

書いたら行選択で2行選択して、<F9>を押します。

(私の環境ではF9がうまく行かなかっったりしたので、別のキーに割り当てました。)

こうすることで関数部分だけをipython側で実行させることができます。
うまくいくと実行結果が表示されます。ipython consoleで起動したipythonの方で、func1() を実行してみると実行できることがわかります。

これがやりたかったやつです。できてよかった。

しかし、vimで :IPython を実行するとき、~/.ipython/profile_default/security/のファイルを見てpidを覚えて入力するというのは面倒です。

もうちょっと楽にipythonに接続する

pidを指定しないで接続できれば記憶力の乏しい私でも使いやすいので、その方法を探してみたところ、IPythonのfind_connection_file関数に * を渡してやると一番新しく起動したipythonの設定ファイルのパスを返してくれるということがわかりました。

というわけで、vim-ipythonのソースをちょっと変更します。
[code]
diff –git a/ftplugin/python/ipy.vim b/ftplugin/python/ipy.vim
index 5c88db7..2f081a1 100644
— a/ftplugin/python/ipy.vim
+++ b/ftplugin/python/ipy.vim
@@ -116,6 +116,8 @@ def km_from_string(s=”):
such as ‘–shell=47378 –iopub=39859 –stdin=36778 –hb=52668’ for IPython 0.11
or just ‘kernel-12345.json’ for IPython 0.12
"""
+    if s.strip() == ”:
+        s = ‘*’
from os.path import join as pjoin
try:
import IPython
[/code]

これで、:IPython したときに何も引数がなければ、一番新しく起動したipythonに接続できるようになりました。かなり楽になりました。

しかし、実はこのプラグイン ftplugin となっていてpythonでしか動作しません。気軽に vim を生起動して、pythonコードを適当に書いて、ファイルに保存しないで実行! なんてことができないのです。

ファイル名を指定しないでvimを起動した時にも使えるようにする

:set filetype=pythonとすればいいのですが、ここはばっさりとプラグインのftpluginディレクトリをpluginに変えてみたり、.vimrcに set filetype=python とガツンと書いてもいいです。

これで気軽にvimを起動して、ipythonに渡せるようになりまし・・・

いや、まだipythonが別のterminalで動いている、というの気に食わないです。

 

ipythonもvimの中で

といっても、VimShellで動かすだけです。

nmap <silent><space>is <Esc>:sp<CR><Esc><C-w><C-w><Esc>:VimShell<CR><Esc><C-w><C-w>:VimShellSendString ipython console<CR>

長ったらしいキーマップを作ってみます。もうやる気が減ってきたのでかなり適当です。

というわけで、こうなりました。

中村さんがやってたのはこんな感じ・・・だったっけ・・・。emacsを使えないのでわからない/(^o^)\
vim-ipython

正直なところ、VimShellでipythonするより、tmuxでsplitしてipythonを動かした方が使いやすい気がします。

しかし、すごくいい感じでもないですが、自分のケースとしては必要十分です。
hoge.py, a.py, b.py といった「とりあえず実行させたかっただけの謎ファイル」が量産されなくなりそうだし、
誰かにコードを書いて見せるときもかなりやりやすくなりそう!

virtualenvwrapper のインストールでエラー

ubuntu 12.04 あたりにpython2.7.3で環境を作ろうとしたときの話です。
ez_setup.pyでeasy_installを入れて、
easy_installでpipを入れて、
virtualenvとvirtualenvwrapperを入れました。

そうすると、最後のvirtualenvwrapperのインストール中にエラーになり、パッケージ管理自体がおかしくなってしまい、最初から入れ直すハメに・・・

(さらに…)

iphoneからmacのマウスカーソルを操作

今日は(もう昨日だけど)旭川オープンソースコミュニティの勉強会がありました。

LT大会ということで色々と面白い話が聞けました。

ま、聞いてきたら試してみないと気が済まないということで、今回はquo.jsを触る・・・はずが、LTで話しのあったquo.jsがらみで、iphoneでマウスを操作するアプリが紹介されてたんですけど、そっちのようなものを作ってみました(ぇ

(さらに…)