2020-04-14から1日間の記事一覧
差分だけ追記しようとしたら下記のエラーがでた。 Exception: BigQuery job failed. Final error was: {'reason': 'duplicate', 'message': 'Already Exists: Table project_id:airflow_local.table'}AirflowというよりはBigQueryの設定でwrite_disposition…
ローカルで立てたAirflowで開発中のアプリDB→BigQueryのDAGがざっくり動いたので、今度は前回の更新日以降を差分同期したいと思った。 DBの種類がMySQLなのでちょっと違うけどやりたいのはまさにこれ。tech.enigmo.co.jp 前回実行時間と今回の実行時間があれ…