GAミント至上主義

Web Monomaniacal Developer.

2017-01-01から1年間の記事一覧

データ解析インターンの予定を立ててみる

以前の記事でインターン募集をしていましたが、1件応募があり、採用の方向で進んでいるので、ざっくり今後のスケジュールを立ててみる 前提条件いろいろ 対象 大学2年生マーケティングに興味があり、データ分析、プログラミングのインターンを探していた。プ…

CeleryでWokerとbeatを同時起動する

タスクキューイングができるCeleryを使っているけど、一部認証が1時間で切れる箇所があり、期限切れの前に定期的に再認証を行う処理が必要になった。そのため、Celeryでcron的なことができるbeat機能を使った。Periodic Tasks Periodic Tasks — Celery 4.0.2…

RedisのlistとpubsubとRabbitMQを使い分けを考える

2017年1月現在、ビッグデータ処理プロジェクトoceanusは下記のようなデータの流れをしています。 GEK上でDockerを使ってアプリケーションを構成していますが、Redisのリスト型、pubsub型に加えて、最近RabbitMQも使い始めたので、どう使い分けしているかを整…

KubernetesがServiceのIPなどを勝手に環境変数に入れてくれてる

ビッグデータ処理のプロジェクトoceanusで、セットした覚えのない環境変数がセットされており、それがたまたまコンテナで使っている変数名と同じだったため、原因の特定に時間がかかってしまった。 RabiitMQを使うことになって、それを使うコンテナには、RAB…

Pythonでリトライ処理を考える

ビッグデータ処理のために作ってるoceanusでは、受け取ったデータをRedis、BigQuery、Google SpreadSheet、SendGrid(メール)など外部に送ることが多く、残念ながら外部とのやりとりはコントロールできない不確定要素が多い。そのため、いろんなところでリ…

Dockerのイメージから過去のソースコード等を救出する

DockerとGKE(Google Container Engine)を開発に使うようになってから、gitだけでなく、Dockerのイメージもバージョンで保存されるようになった。ソースコードを変更後、動作確認のためにDockerイメージをビルドし直すことが多いので、頻度としては、gitへ…

【復旧済み】github落ちてる

https://github.com/こんなん出た unicornなのは、Rubyのアプリケーションサーバー(正確にはRackWebサーバ?)のunicornのデフォルトエラー画面なのだろうか。もはやインフラとなってるGithubクラスのサービスがこういうの出すとは以外だったGitHub実践入門 ~…

KubernetesでThe edited file had a syntax error: unable to decode "edited-file": [pos 907]: json: expect char '"' but got char '5'

Google Container Engine上のKubernetesで、kubectl edit deploy でyamlをいじっていたら、ポート番号の指定でエラーになった The edited file had a syntax error: unable to decode "edited-file": [pos 907]: json: expect char '"' but got char '5' 該…

Go言語によるPython実装Grumpyで世界がGoogleに染まっていくところまで妄想した

opensource.googleblog.comGoogleのGo言語によるPython実装「Grumpy」が公開され話題になっています。github.comwww.itmedia.co.jp news.mynavi.jp codezine.jp Go言語は入門書を一つ買って、ちょっと触っている程度だけど、実行速度、並列処理のしやすさ、…