GAミント至上主義

Web Monomaniacal Developer.

2016-11-01から1ヶ月間の記事一覧

大規模開発って何が大規模なのか

私はいわゆるSIerで働いた経験が無いけど、開発の話で大規模開発とか、求人で大規模経験など、「大規模」という言葉をよく耳にする。何が大規模なのか少し考えてみた。 ○ 機能の数 bizoceanではフレームワークにSymfony2を使っているけど、これも他のPHPフレ…

Docker+Kubernetesの使用メモリ確認方法

メモリ使用量は起動できるコンテナ数、費用にも関わってくるので大事。確認方法をまとめます。 Docker docker statsコマンドで確認できる $ sudo docker stats {CONTAINER ID}こんな感じで表示される CONTAINER CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK…

Google翻訳はチョムスキーの生成文法を作り出したのか

jp.techcrunch.com コンピューターは、言語間の翻訳に自分が用いる概念(共有される意味概念)を表現する独自の内部的言語を開発したのではないのか? この記事を読んで、生成文法を思い浮かべた。詳しくは下記参照だけど、私が大学で一番印象に残ってる理論…

Pythonで作ったプロセスのメモリ肥大化の原因調査から解決まで

2017/9/25 追記変更 公式ライブラリの大幅アップデートがあり、0.28.3ではメモリリークがなくなったが別の問題が発生し、嫌になったので、Cloud Pub/Subでのsubscribe処理はあきらめRedis Pub/Subに戻したpypi.python.orguyamazak.hatenablog.com 元記事 Doc…

リトライ間隔の重要性

この記事を読んで、定期的な同期時や、エラーからの復帰時のリトライで負荷の増大や偏りが出てしまうことを知る。自業自得のDDosって文言にちょっと釣られたけど読んでみて納得。googlecloudplatform-japan.blogspot.jp 早速リトライ時の以下の条件でスリー…

GCPでログの内容によってアラートを送信する設定方法

oceanusでは、Google Cloud Platform(GCP)のGoogle Container Engine(GKE)を使っていますが、これらを使うとほぼ何も設定せずに、アプリ側で標準出力へのエラーを出すだけで、Google側でログを集めてくれます。サーバーを増やすごとにそれぞれにfluentd…

Pythonでタイムアウト処理

oceanusで作っているプロセスで、ログも何も吐かずに停止してしまうものがあり、タイムアウト処理を追加しようと思った。 環境はLinuxでpython3.5検索したらデコレータ形式で簡単に使える下記を見つけたqiita.com github.com pipからインストール可能 pip in…

Pythonで重複してログが出力されるとき

本番運用しながら絶賛開発中のoceanusで、本格的にログの必要性を感じ、ログレベルを分けながら使ってみている。この記事を読んでloggerとloggingの違いをなんとなく感じ取ってqiita.com フォーマットは統一したいので、こんな感じの共通で使える関数を作り …

エンジニア立ち居振舞い:なるべく作らない

お題「エンジニア立ち居振舞い」何かを作るのがエンジニアの仕事だけど、作らないことも大事。これまで9年ぐらい自社サービスをメインに開発、運用をしてきて、メンテナンスや引き継ぎの大変さを思い知った。特に昔の自分が作ったものに対して。 営業やお客…

AWSではなく、GCPを選んだ5つの理由

いわゆるクラウドサービスで、一番先に進み、ユーザー数も多いのはAmazon Web Service(AWS)だ。でも私は新規サービスにはGoogle Cloud Platform(GCP)を選んだ。AWSがいいのか、GCPがいいのか、人と話していてよく聞かれるし、悩んでいる人も多いと思うの…

GCP東京リージョン(asia-northeast1)をGKEで使ってみるための事前調査

2016年11月8日からGoogle Cloud Platformの 東京リージョン(asia-northeast1)が一般公開されました。早速、現在台湾(asia-east1)で動かしているGoogle Container Engine(GKE)を移すためにちょっと違いを調べてみた。cloud.google.com スペック 東京はCPUが…

BigQuery障害 2016/11/09

復旧 日本時間13:07頃に復旧したもよう。 Google BigQuery Incident #18022BigQuery Streaming API failingIncident began at 2016-11-08 16:25 and ended at 2016-11-08 20:07 (all times are US/Pacific).DATE TIME DESCRIPTION Nov 08, 2016 20:21 The is…

dockerのベースイメージをubuntuからalpineにして起きた問題と良かったこと

開発中にattachでいろいろやるときは、慣れたubuntuが良かったけど、最近は大きくいじることもなくなったので、軽さ重視でalpineに変更してみたところ、細かいけど幾つか問題があった 問題 ホスト名が使えなくなった ウェブサーバーからredisサーバーにつな…