GAミント至上主義

Web Monomaniacal Developer.

Google App Engine + Django +Cloud SQLで社内用短縮URLサービスを作った

データ基盤のoceanusで、Google App Engineを使った短縮URLサービスを追加した。

脳内でもんもんと設計をし、手を動かし始めてから完成まで3日ぐらい。

ソースコードは下記。

github.com

公開しているけど、短縮URLの作成画面は社内の人間のみで、ログイン必須。

作成すると下記のような、大文字小文字英数6字のURLが作られる。


https://s.bizocean.jp/Neas1j


画面はDjangoの管理画面を除くと2画面。


単発で作るフォームと

f:id:uyamazak:20170515141021p:plain

メールマガジンの文面などのURLを一括で変換&置換するもの

f:id:uyamazak:20170515141048p:plain

独自の短縮URLサービスが必要な理由

なぜ、巷にはたくさんの短縮URLサービスがあるのに、oceanus専用の短縮URLが必要かというと、メールマガジンなどに貼るリンクを誰が踏んだかのデータも一元管理したかったから。

ただ他のURLに飛ばすだけでなく、リダイレクト前にoceanusのAPIにデータを送っている。

一部のパラメーターは追加が可能で、例えばユーザーIDが12345のユーザーには下記のようにして送れば、特定が可能になる。

https://s.bizocean.jp/Neas1j?uid=12345

短縮URLアルゴリズム

短縮URLサービスはシンプルなサービスゆえに、いろいろと作り方がWEB上で見つかる。

今回はDjango短縮URLを作るチュートリアルが見つかり、URLの作成部分、HTML部分はかなり流用させていただいた。


Django Tutorial – Building URL Shortener with Djangohellocoding.wordpress.com

Google App Engineを使う理由

下記の理由から、他で使っているGoogle Container Engine(GKE)ではなく、GAEのSTANDARD ENVIRONMENTを利用した。

  1. メールマガジンに貼ったりするため、アクセスの偏りが大きい
  2. シンプルなサービスなので必要なライブラリが少ない
  3. 今後の機能拡張も必要ない

1に関して、bizoceanでは200万以上の会員にメルマガを配信しているので、配信直後にアクセスが集中する。GKEでもオートスケールはできるが、MAXがどのくらい必要なのかとか、POD単位、クラスタ単位なのかを考えたり、指標をどうするかなど考えたり設定することが多い。でもGAEであればいい感じに勝手にスケールしてくれるので心配が少ない。

2に関して、今回はDjangoMySQLが使えれば十分なことがわかっていたので、pipなど外部のライブラリの追加も必要なかった。正確にはpythonのrequestsが使いたかったが、面倒だったのでurllibとか標準ライブラリで済ませた。Python3を使いたいとか、大きめのライブラリを使いたい、RedisとかRabbitMQが必須、となればGKEを使ってたと思う。FLEXIBLE ENVIRONMENTであればPython3.4が使えるけど、中途半端だし、Dockerイメージ使うのであればGKEでいいじゃんという気になる。

3は、どんどん拡張していく予定であれば、2の理由等から難しいけど、変換とリダイレクト、ユーザー認証だけ、と決まっていたのでGAEで十分だった。


また現在、oceanusのWEB APIであるarmsはフレームワークFalconを使っており、こちらはCythonが必要だし、シンプルなフレームワークなため、Djangoの用にユーザー認証や管理画面を作るのは面倒だったというのもある。

Djangoを使う理由

個人的にDjangoの経験があったことと、ドキュメントが充実していること、ユーザー認証を簡単に実装できること。

下記の公式チュートリアルを動かせることができれば、あとは継ぎ足しですぐ完成できる。

Running Django on App Engine Standard Environment  |  Python  |  Google Cloud Platform

GAEでDjangoを動かす、公式ドキュメントがあるし、上記の短縮URLみたいにWEB上にDjango関係のドキュメントは非常に充実している。

問題としてはちょっとバージョンが古い(現在1.11があるけど1.9まで)ことぐらい。



ユーザー認証が必要で、シンプルで、実質無限なスケールを必要なサービスには、手軽なGAE+Djangoがおすすめです。

Django1.10 QUICKSTART-BOOK with Python3: 作りながら学ぶDjangoアプリケーション開発

Django1.10 QUICKSTART-BOOK with Python3: 作りながら学ぶDjangoアプリケーション開発

Mastodonで/public以下の静的ファイルの画像やjs等が表示されない時

GCPで動かしている自社社員用インスタンス(
https://mstdn.bizocean.co.jp
)のバージョンアップ時にはまった
nginx等を使わずrailsのサーバーで画像も返すときは、下記の環境変数を追加する必要があった。

RAILS_SERVE_STATIC_FILES "true"

railsのサーバーで画像等を返すのは重いので、ロードバランサー側でキャッシュしたほうが良さげかな

gcloudコマンドで複数の設定の切り替え

いろいろ作ってると、GCPのプロジェクトが増えてきて、切り替えとかが面倒になる。

gcloud init

を打つと、設定ファイル(configuration)が出てきて、切り替えと再認証(Switch to and re-initialize existing configuration)は出来るけど、切り替えだけの方法がわからなくて嵌ったのでメモ。


すでに使っている環境でgcloudを打つと下記のように出てくる。

% gcloud init
Welcome! This command will take you through the configuration of gcloud.

Settings from your current configuration [gae] are:
[compute]
region = asia-northeast1
zone = asia-northeast1-a
[core]
account = yu_yamazaki@example.com
disable_usage_reporting = False
project = oceanus-example

Your active configuration is: [gae]

Pick configuration to use:
 [1] Re-initialize this configuration [gae] with new settings
 [2] Create a new configuration
 [3] Switch to and re-initialize existing configuration: [default]
 [4] Switch to and re-initialize existing configuration: [sample]

新しく設定ファイルを作りたいときは[2] Create a new configurationを選択して、言われたとおりにいろいろやる。

今回はすでにある設定sampleに切り替えたいので、下記を打つと既存のものにできる。

% gcloud config configurations activate sample

コマンドが長過ぎる。

google compute engine - How to change the active configuration profile in gcloud? - Stack Overflow

面倒なのでシェルのエイリアスに追加する。私の場合はzshなので

% vim ~/.zshrc

#追加
alias gchange='gcloud config configurations activate'

#読み込み
% source ~/.zshrc

で、

gchange 設定名

で切り替えできるようになった。

最初gswitchにしたけど、長いしつづりが直感的じゃないので、gchangeにした。


現在どんな設定があるかとか、削除の方法とかは下記で出てくる

% gcloud config configurations
ERROR: (gcloud.config.configurations) too few arguments
Usage: gcloud config configurations [optional flags]
command may be activate | create | delete | describe | list

For detailed information on this command and its flags, run:
gcloud config configurations --help