GAミント至上主義

Web Monomaniacal Developer.

AirflowでMySQLの文字化けを直す

シニアジョブのデータ基盤を構築するべく、アプリケーションのDBデータをBigQueryに入れて活用しようとしてます。

データを移すワークフロー管理にAirflowを使おうとまずはローカルであれこれしています。

とりあえず下記のレポジトリを参考にしつつ、バージョンアップしたりしてDAGを開発しています。
github.com

下記のを使って
airflow.apache.org

とりあえず動いたけど、GCSのファイルをみると日本語が?になってた。

ぐぐると下記のページが出てきたので、Admin -> ConnectionsでMySQLのを開き
MySQL Connection — Airflow Documentation

Extraに下記を入れたら治った

{"charset": "utf8"}

f:id:uyamazak:20200413133513p:plain

プログラム言語とかHTMLはUTF-8がだいぶ前から標準になったのにDBはいつ変わるんだろう