読者です 読者をやめる 読者になる 読者になる

uyamazakのブログ

仕事中の問題と解決メモ。PythonとGoogle Cloudがメイン。bizoceanで新規事業の企画と開発担当。 BigQueryを使ったビッグデータ収集・解析・リアルタイム処理プロジェクト進行中 https://github.com/uyamazak/oceanus

2017年4月版 oceanusサーバー構成図

自社で開発・運用しているビッグデータ基盤oceanusがいろいろ変わったので構成図をアップデートした。 前回と比べて一番大きいのはGOPUBサーバーの追加。一人でやってるのに大規模な感じになってきたけど、GKEで動かしているのでデプロイや運用は楽ちん。git…

新しく追加されたdatalabコマンドでGCE上で動かすCLOUD DATALABを使う

Googleに改造されたJupyterであるCLOUD DATALABが、少しまではDockerイメージで配布されてて、ローカルで使ってたけど、Google Cloud SDKにそのままdatalabというコマンドが追加されて、Compute Engine上で動かすのがデファクトになったっぽい。 ローカルマ…

Google Container Engineでdeploymentとserviceをコピーするために設定を出力する

Google Container Engineで運用しているアプリケーションをそろそろ東京リージョンに移そうと思った。これまで、 kubectl get service -o yaml kubectl get deployment -o yaml で出力されるyamlは手作業で必要な項目消したり、書き換えていたりしてから、ku…

GKEでPODが立ち上がらなくなったときの調査方法

Google CONTAINER ENGINE(以下GKE)ではreplicasの値で簡単にPODを増やせる。 cloud.google.com でも、なぜかStatusがPendingのままのPODが出るときはある。※kcはkubectlのエイリアス % kc get po NAME READY STATUS RESTARTS AGE arms-2765276764-o4c8l 1/1 …

Go言語でgRPCのエラーと戦って負ける

以前の記事からGo言語でサーバーアプリを自分で書き始めて、エラーハンドリングが必要になった。 エラーについては下記記事が参考になった。 qiita.com この記事のように自分で作ったエラーならいいんだけど、大抵は外部のライブラリのエラーではまる。Cloud…

Docker環境でGoogle Cloud APIへの認証を行う

よく忘れるのでメモ。ググって出てくるページだと gcloud auth application-default loginしろとか、コマンドが出てくるけどDockerだといろいろ面倒なので、鍵ファイルを用いた認証がしたい。 GCPのコンソールから「IAMと管理」→「サービスアカウントを作成…

Go言語でGoogle Cloud PUB/SUBへの高速HTTPS中継サーバーを作る

以前から本を買ったり気になっていたGo言語だけど、書き慣れてないし変更が多いと大変なので、使い所がなくPythonで全部済ましてしまっていた。 でも以前、Google Cloud PUB/SUBを使おうとした時、通信がHTTPSなのでレスポンスが遅く、WEBアプリ側から直接は…

Googleのslack競合「Hangouts Chat」に期待

弊社ではG Suiteを使っているので、Googleがslackっぽいの出してくれればと思ってましたが、やってくれるようです。 www.itmedia.co.jp slackは今も使ってますが、たくさんメッセージを使うのには有料プランが必要なので、月額がかかってしまいます。G Suite…

kubectlでimageの変更をコマンドラインで行う

Google Container Engineでのデプロイは、今までは kubectl edit deploy {name}でエディタを開き、手でimageの値を書き換えていたけど、面倒になったので自動化を考えた。マスターのバージョンは1.4.8。editではなくpatchというコマンドがあった。kubectl pa…

Google Container Engineでtype=LoadBalancerでexposeすると、毎月2000円~程度かかるので注意

GKEを使っていて、利用料金を見ていたら、作った覚えのないロードバランサーの金額が入っていた。 Compute Engine Network Load Balancing: Forwarding Rule Minimum Service Charge in Japan: 672 時間 [Currency conversion: USD to JPY using rate 115.1]…

Docker + Pythonで設定ファイルを環境変数によって切り替える

oceanusではPythonで書いたアプリケーションをDockerで動かしています。Dockerを使ったアプリケーションでは、コンテナごとに変わる可能性がある変数は、DockerfileでENVを使って、環境変数にセットして、プログラム側でそれを読み込んで使えます。しかし、P…

Google Cloud Datalabに任意のパッケージをインストールする

自社では基本的にBigQueryにデータをぶちこんでいるので、データ解析や、機械学習にはJupyterのGoogleカスタマイズ版であるDatalabを使っています。cloud.google.com基本的な使い方はJupyter(IPython)と一緒です。IPythonデータサイエンスクックブック ―対…

大規模分散型リレーショナルデータベースGoogle Cloud Spanner来た

以前からGoogleのセミナーなどでは話題に上がっていた、分散RDBがついに公開されました。これまでトランザクションが必要なDBは分散するのが難しく、注文が集中するECや、ゲームなどでは、RDBがボトルネックになっていましたが、もしCloud Spannerが期待通り…

Word2Vecを使って行動履歴から関連商品やおすすめ商品を出す

bizoceanで集めたデータを使って何かできないかを考えていたら、少し前に話題になったWord2Vecを使って書式のダウンロード履歴を文章として入力すれば、近いベクトルの書式、つまり関連性の高い書式が出せるのでは?と思い試してみた。おすすめ、レコメンド…

Python3でipaddressモジュールを使って、IPアドレス認証を行う

本番環境のWEBアプリケーションで、デバッグ情報を表示させる際、サーバー情報なども全部さらけだすので、最低限IP認証だけ行いたいと思った。IPアドレスの文字列比較なら簡単だけど、できればネットワークアドレス(192.168.0.0/24等)で許可できると便利。…

データ解析インターンの予定を立ててみる

以前の記事でインターン募集をしていましたが、1件応募があり、採用の方向で進んでいるので、ざっくり今後のスケジュールを立ててみる 前提条件いろいろ 対象 大学2年生マーケティングに興味があり、データ分析、プログラミングのインターンを探していた。プ…

CeleryでWokerとbeatを同時起動する

タスクキューイングができるCeleryを使っているけど、一部認証が1時間で切れる箇所があり、期限切れの前に定期的に再認証を行う処理が必要になった。そのため、Celeryでcron的なことができるbeat機能を使った。Periodic Tasks Periodic Tasks — Celery 4.0.2…

RedisのlistとpubsubとRabbitMQを使い分けを考える

2017年1月現在、ビッグデータ処理プロジェクトoceanusは下記のようなデータの流れをしています。 GEK上でDockerを使ってアプリケーションを構成していますが、Redisのリスト型、pubsub型に加えて、最近RabbitMQも使い始めたので、どう使い分けしているかを整…

KubernetesがServiceのIPなどを勝手に環境変数に入れてくれてる

ビッグデータ処理のプロジェクトoceanusで、セットした覚えのない環境変数がセットされており、それがたまたまコンテナで使っている変数名と同じだったため、原因の特定に時間がかかってしまった。 RabiitMQを使うことになって、それを使うコンテナには、RAB…

Pythonでリトライ処理を考える

ビッグデータ処理のために作ってるoceanusでは、受け取ったデータをRedis、BigQuery、Google SpreadSheet、SendGrid(メール)など外部に送ることが多く、残念ながら外部とのやりとりはコントロールできない不確定要素が多い。そのため、いろんなところでリ…

Dockerのイメージから過去のソースコード等を救出する

DockerとGKE(Google Container Engine)を開発に使うようになってから、gitだけでなく、Dockerのイメージもバージョンで保存されるようになった。ソースコードを変更後、動作確認のためにDockerイメージをビルドし直すことが多いので、頻度としては、gitへ…

【復旧済み】github落ちてる

https://github.com/こんなん出た unicornなのは、Rubyのアプリケーションサーバー(正確にはRackWebサーバ?)のunicornのデフォルトエラー画面なのだろうか。もはやインフラとなってるGithubクラスのサービスがこういうの出すとは以外だったGitHub実践入門 ~…

KubernetesでThe edited file had a syntax error: unable to decode "edited-file": [pos 907]: json: expect char '"' but got char '5'

Google Container Engine上のKubernetesで、kubectl edit deploy でyamlをいじっていたら、ポート番号の指定でエラーになった The edited file had a syntax error: unable to decode "edited-file": [pos 907]: json: expect char '"' but got char '5' 該…

Go言語によるPython実装Grumpyで世界がGoogleに染まっていくところまで妄想した

opensource.googleblog.comGoogleのGo言語によるPython実装「Grumpy」が公開され話題になっています。github.comwww.itmedia.co.jp news.mynavi.jp codezine.jp Go言語は入門書を一つ買って、ちょっと触っている程度だけど、実行速度、並列処理のしやすさ、…

Google Container Engineで本番運用したらfluentd-cloud-loggingのメモリ消費量が一番多かった

なるべくサーバー代を抑えるために、速度重視のフレームワーク使ったり(Python3 + Falcon + Nginx)、メモリリークと戦ったり、メモリに溜め込まないように書いてるけど、勝手にログを集めてくれるGoogle仕様のfluentdが一番メモリを食っていた。アプリケー…

DcokerでERAlchemyを使ってPostgreSQLのER図を書き出す

現在のアプリのデータベースのER図を作る必要があったので、検索した所、ERAlchemyというのがあることを知った。ちなみにPostgresqlを使ってる。GitHub - Alexis-benoist/eralchemy: Entity Relation Diagrams generation tool こういう一時的な用途で、自分…

gcloud dockerコマンドのWARNING: The '--' argument must be specified between gcloud specific args on the left and DOCKER_ARGS on the right

GoogleのContainer Repositoryにアップする際、エラーメッセージが出るようになって、しばらくそのまま使ってたけど直し方がわかった。 WARNING: The '--' argument must be specified between gcloud specific args on the left and DOCKER_ARGS on the rig…

大規模開発って何が大規模なのか

私はいわゆるSIerで働いた経験が無いけど、開発の話で大規模開発とか、求人で大規模経験など、「大規模」という言葉をよく耳にする。何が大規模なのか少し考えてみた。 ○ 機能の数 bizoceanではフレームワークにSymfony2を使っているけど、これも他のPHPフレ…

Docker+Kubernetesの使用メモリ確認方法

メモリ使用量は起動できるコンテナ数、費用にも関わってくるので大事。確認方法をまとめます。 Docker docker statsコマンドで確認できる $ sudo docker stats {CONTAINER ID}こんな感じで表示される CONTAINER CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK…

Google翻訳はチョムスキーの生成文法を作り出したのか

jp.techcrunch.com コンピューターは、言語間の翻訳に自分が用いる概念(共有される意味概念)を表現する独自の内部的言語を開発したのではないのか? この記事を読んで、生成文法を思い浮かべた。詳しくは下記参照だけど、私が大学で一番印象に残ってる理論…

pythonで作ったプロセスのメモリ肥大化の原因調査から解決まで

Dockerで作っているoceanusでは、WEBサーバーだけでなく、Pythonで書いた常時稼働プロセスをいくつか動かしている。GitHub - uyamazak/oceanus: Save all data to Google BigQuery. Fast and row cost using Docker and Kubernetes on GCP r2bq Redis to Big…

リトライ間隔の重要性

この記事を読んで、定期的な同期時や、エラーからの復帰時のリトライで負荷の増大や偏りが出てしまうことを知る。自業自得のDDosって文言にちょっと釣られたけど読んでみて納得。googlecloudplatform-japan.blogspot.jp 早速リトライ時の以下の条件でスリー…

GCPでログの内容によってアラートを送信する設定方法

oceanusでは、Google Cloud Platform(GCP)のGoogle Container Engine(GKE)を使っていますが、これらを使うとほぼ何も設定せずに、アプリ側で標準出力へのエラーを出すだけで、Google側でログを集めてくれます。サーバーを増やすごとにそれぞれにfluentd…

Pythonでタイムアウト処理

oceanusで作っているプロセスで、ログも何も吐かずに停止してしまうものがあり、タイムアウト処理を追加しようと思った。 環境はLinuxでpython3.5検索したらデコレータ形式で簡単に使える下記を見つけたqiita.com github.com pipからインストール可能 pip in…

Pythonで重複してログが出力されるとき

本番運用しながら絶賛開発中のoceanusで、本格的にログの必要性を感じ、ログレベルを分けながら使ってみている。この記事を読んでloggerとloggingの違いをなんとなく感じ取ってqiita.com フォーマットは統一したいので、こんな感じの共通で使える関数を作り …

エンジニア立ち居振舞い:なるべく作らない

お題「エンジニア立ち居振舞い」何かを作るのがエンジニアの仕事だけど、作らないことも大事。これまで9年ぐらい自社サービスをメインに開発、運用をしてきて、メンテナンスや引き継ぎの大変さを思い知った。特に昔の自分が作ったものに対して。 営業やお客…

AWSではなく、GCPを選んだ5つの理由

いわゆるクラウドサービスで、一番先に進み、ユーザー数も多いのはAmazon Web Service(AWS)だ。でも私は新規サービスにはGoogle Cloud Platform(GCP)を選んだ。AWSがいいのか、GCPがいいのか、人と話していてよく聞かれるし、悩んでいる人も多いと思うの…

GCP東京リージョン(asia-northeast1)をGKEで使ってみるための事前調査

2016年11月8日からGoogle Cloud Platformの 東京リージョン(asia-northeast1)が一般公開されました。早速、現在台湾(asia-east1)で動かしているGoogle Container Engine(GKE)を移すためにちょっと違いを調べてみた。cloud.google.com スペック 東京はCPUが…

BigQuery障害 2016/11/09

復旧 日本時間13:07頃に復旧したもよう。 Google BigQuery Incident #18022BigQuery Streaming API failingIncident began at 2016-11-08 16:25 and ended at 2016-11-08 20:07 (all times are US/Pacific).DATE TIME DESCRIPTION Nov 08, 2016 20:21 The is…

dockerのベースイメージをubuntuからalpineにして起きた問題と良かったこと

開発中にattachでいろいろやるときは、慣れたubuntuが良かったけど、最近は大きくいじることもなくなったので、軽さ重視でalpineに変更してみたところ、細かいけど幾つか問題があった 問題 ホスト名が使えなくなった ウェブサーバーからredisサーバーにつな…

docker imagesで最新のタグ5件を出力

Google Container Engineで、デプロイする際、毎回ユニークなタグでdocker buildしてgcloud docker pushする必要があるけど、この前何でやったっけ?となることが多い。ちなみにイメージ名はGKEルールに乗っ取って、先にレポジトリ(asia使ってる)を書いて…

Let’s Encrypt で複数ドメイン対応証明書を作る

無料のSSL証明書発行ができるLet’s Encryptを本番でも使い始めたけど、ドメインを変えたいときなど、ドメインごとに証明書をもたせるのが面倒だった。そこで、一つの証明書で複数ドメインを使えるようにすることにした。やってみると簡単だった。 認証は、DN…

Pythonを使ったデータ解析周りのインターン生募集(最寄り東銀座)

2017/2/20追記 定員となってしまったため、受付を終了しました。お話をするだけであれば可能なのでご連絡ください。 2016年4月にできたばかりの会社でインターンとか一人もいないし、制度もないのですが、勝手に募集します。制度は後付。インターンじゃなく…

ローカル環境でX-Frame-Optionsを無効化する

収集したクリックの座標データをヒートマップで表示させるときに、下にiframeで元のページを出しておくと非常に見やすくて便利だけど、まともなサイト場合、X-Frame-Optionsが設定されており、表示できない。 プロキシサーバーを作ってヘッダーの書き換えな…

Kubernetesの読み方

Googleのセミナーなどで聞く限り クーバネティス が一番近いと思ったプログラマのためのDocker教科書 インフラの基礎知識&コードによる環境構築の自動化作者: 阿佐志保,山田祥寛出版社/メーカー: 翔泳社発売日: 2015/11/20メディア: 大型本この商品を含むブ…

GKEでKubernetesのアップグレードを無停止で行う手順

通常のimageの変更であれば、無停止でアップグレード、デプロイができるkubernetesだけどGoogle Container Engine(GKE)で、Kubernetes自体のアップグレードを行うとダウンタイムが発生してしまう。1.4でいろいろと機能が増えたり、Image typeがcontainer-v…

社内向けDocker勉強会 発表用草案(作成中)

Docker+GCP Kubernetesを本番で使い始めてもうすぐ半年となり、いろいろとノウハウも溜まってきたので、社内向けに発表をしようと思う。11月中に予定。まずテキストでまとめてみる。もし興味がある方がいたらbizoceanの東銀座のオフィスで一般公開もできる…

jupyter nbconvertでERROR | Timeout waiting for execute reply回避

Google Cloud Datalabでjupyter nbconvertコマンドを使って日次レポートをメールで送っているけど、内容が増えるにつれ、時間がかかるようになってタイムアウトエラーで異常終了していた。 [NbConvertApp] Converting notebook /content/datalab/Daily/daily…

Google Cloud Datalab(jupyter)で日本語の文字コードエラーを止める

Python3を使うようになってから、全然苦労しなくなった文字コード周りのエラーだけど、DatalabはPython2。日本語使いとしては、いい加減Googleも3系に移行してほしいんだけどしょうがない。英語環境だと困らないんだろうな。 BigQueryから取ってきたデータ内…

CPB100 2016-10-13@Google六本木オフィス

以前CP100Aを受けたけど、BigQueryや機械学習をしばらくメインにやっていきたいので、最近追加されたCPB100を受けてきた。10時〜18時で午前中はCP100Aのビッグデータ周り、主にデータのやり取りに使うストレージをさらっと流す感じ。DatastoreやContainer En…