やったこと
前回（bottleでテンプレートを継承してみる。）からの続き。
CSVファイルをダウンロードするところでいろいろつまづいた（bottleでCSVファイルをダウンロードさせるときにつまづいたところ）が、なんとか解決できた。
1.データを集計してDataFrameの形にしたものを、CSV形式でダウンロードする。
「つまづいたところ」に記載しているように、文字コードで苦しんだが、
一旦to_csv()でform.pyが存在しているディレクトリにCSVファイルをSHIFT-JISで書き出し、
書き出したCSVファイルをダウンロードするようにプログラムを組んだ。
2.入力フォームに「日付」を入力する欄を追加した。
<input type = “date” />を使うと非常に便利。ブラウザ上でカレンダーが表示される。
作成コード
ディレクトリ構成
|
1 2 3 4 5 6 |
. ├── form.py └── views └── base.html └── form.html └── form_failed.html |
form.pyに、to_csv()でDataFrameをCSVファイルで書き出すコードを追記。
HTTPResponseに書き出したCSVファイルをダウンロードするための情報を記載。
日付データをフォームの入力項目から取得し、データをエクスポートする関数に入れる。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 |
# coding:utf-8 import bottle#,jinja2 from bottle import route, run, template, get, post, request, response, HTTPResponse from bottle import TEMPLATE_PATH, jinja2_template as template import requests from requests.auth import HTTPBasicAuth import json from json import loads from datetime import datetime as dt import datetime import numpy as np import pandas as pd import csv TEMPLATE_PATH.append("./views") （中略） # Togglのデータをエクスポート def data_export(email,password,date): （中略） #Pandasでデータを集計 pivot1 = df.pivot_table(index = ['Folder','Description'], values = 'Duration', aggfunc = 'sum', fill_value = 0) pivot2 = pd.to_datetime(pivot1['Duration']).map(lambda x: '{:%H:%M:%S}'.format(x)) #データフレームに変換 pivot3 = pivot2.to_frame() # ファイル名を指定 filename = 'Toggl_export_' + date.replace("-","") + '.csv' # filename = 'Toggl_export_' + today.strftime('%Y%m%d') + '.csv' # CSVファイルを書き出す。 pivot3.to_csv('Toggl_export.csv',encoding = "SHIFT-JIS") # 書き出したCSVファイルをダウンロード with open('./Toggl_export.csv','rb') as f: content = f.read() response = HTTPResponse(body = content) response.content_type = "text/csv" # ダウンロードするファイル名を指定 response.headers["Content-Disposition"] = "attachment; filename=" + filename return response （中略） @route('/download',method = ["GET", "POST"]) # or @route('/', method='POST') def download(): """ POSTで/にアクセスした際の処理 """ # フォームからPOSTされたデータを取得する email = request.forms.get('email') password = request.forms.get('password') date = request.forms.get('date') # ログイン判定を行う if check_status_code(email, password,date): title = "認証成功" return data_export(email,password,date) # template("form_success.html", title = title) else: title = "認証失敗" return template('form_failed.html', title = title) |
（参考ページ）
Python + Bottle でファイルのダウンロードを実装
pandasでcsvファイルの書き出し・追記（to_csv）
form.htmlに、日付を入力する欄を追加。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
{% extends 'base.html' %} {# base.html の contents の中に入れるコンテンツ #} {% block contents %} <h1>Togglのデータをエクスポートするツールです。</h1> <form action = "/download" method = "post"> メールアドレス: <input name = "email" type = "email" /><br> パスワード : <input name = "password" type = "password" /><br> 日付 ：<input name = "date" type = "date" /><br> <input value="ダウンロード" type="submit" /> </form> {% endblock %} |
（参考ページ）
input type=”date”を使った日付入力フォーム
実行結果
ブラウザで開くと、日付を入力する欄が追加されている。
日付のところは、プルダウンを開くとカレンダーが表示される。
ダウンロードしたファイルは、文字コードがSHIFT-JISで、文字化けもしていない。
つまづいたところ
header情報を記載するところで、DataFrameをto_csv()でCSV形式に書き出すようにしておくと、
to_csv(encoding = “SHIFT-JIS”)で文字コードを指定しても、ダウンロードしたファイルの文字コードがUTF-8（Python3系のデフォルト文字コード）
でダウンロードされる。その結果、ダウンロードしたファイルが文字化けしている（以下の画像）。
コードは以下。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 |
# coding:utf-8 import bottle#,jinja2 from bottle import route, run, template, get, post, request, response, HTTPResponse from bottle import TEMPLATE_PATH, jinja2_template as template import requests from requests.auth import HTTPBasicAuth import json from json import loads from datetime import datetime as dt import datetime import numpy as np import pandas as pd import csv # from io import BytesIO as IO from io import StringIO# as IO TEMPLATE_PATH.append("./views") （中略） @route('/download',method = ["GET", "POST"]) # or @route('/', method='POST') def download(): （中略） #Pandasでデータを集計 pivot1 = df.pivot_table(index = ['Folder','Description'], values = 'Duration', aggfunc = 'sum', fill_value = 0) pivot2 = pd.to_datetime(pivot1['Duration']).map(lambda x: '{:%H:%M:%S}'.format(x)) #データフレームに変換 pivot3 = pivot2.to_frame() # pivot3 = pivot2.as_matrix() # ファイル名を指定 filename = 'Toggl_export_' + date.replace("-","") + '.csv' # CSVファイルのダウンロード用にheaderに情報を記載 response = HTTPResponse(body = pivot3.to_csv(encoding = "SHIFT-JIS"))#.decode('utf-8').encode('shift_jis')) response.headers["Content-Type"] = "text/csv"#; charset = SHIFT_JIS" response.headers["Content-Disposition"] = "attachment; filename = " + filename return response |
参考記事
参考までに、PandasのDataFrameは、以下のようなwriter.writerowメソッドは使えない。
|
1 2 3 4 5 6 |
import csv with open('some.csv', 'w') as f: writer = csv.writer(f, lineterminator='\n') # 改行コード（\n）を指定しておく writer.writerow(list) # list（1次元配列）の場合 writer.writerows(array2d) # 2次元配列も書き込める |
（参考ページ）
PythonでCSVの読み書き
ライブコーディングの配信動画
次回やること
日付の入力で、デフォルト値を今日の日付にする。
コメント