読者です 読者をやめる 読者になる 読者になる

uyamazakのブログ

仕事中の問題と解決メモ。PythonとGoogle Cloudがメイン。bizoceanで新規事業の企画と開発担当。 BigQueryを使ったビッグデータ収集・解析・リアルタイム処理プロジェクト進行中 https://github.com/uyamazak/oceanus

pandasで表示が省略されるのを防ぐ

Google Cloud Datalab localを使って、日次レポートを作っているけど、長いURLや行数が多いとき省略されてしまい困った。HTML()やdataframeで探しても見当たらなかった。pandasの設定で変えられた。 import pandas as pd #カラム内の文字数。デフォルトは50…

Google Cloud Datalab localで日時レポート配信ではまったこと

以前書いた記事のやり方では、すでに実行済みのnotebookをhtmlにして送ってただけなので日時レポートとしては失敗してた。nbconvertに--executeをつけないといけないらしい。datalabのコンテナにdocker exec **** bash出入り>>|| jupyter nbconvert --to htm…

Google Cloud Datalab localで日時レポート出力

jupyterのGoogleカスタマイズ版であるGoogle cloud Datalabはこれまで、GAE上でしか動かなかったので、安いとはいえ課金にちょっと抵抗があった。 でも最近ではベータ版ではDokcerイメージで配布され、ローカルでも動くようになったので試してみた。ローカル…

GKEとBigQueryを使って月1万円でビッグデータ収集&解析

Google Container Engine(GKE)とBigQueryを使って、低予算でアクセスログをBigQueryに流し込む体制ができてきたので、これからはそれを活用する段階に入る。その前に、月間PV1000万ぐらいのbizocean.jpで、ログ収集にどのくらいお金がかかっているかをまと…

redisで最初の一回だけlpushが失敗した問題の解決方法

redisを使い、複数のlpushを行う時、なぜか最初のlpushが失敗する問題に当たった。 lpushの結果は、1が返ってくるのに、その直後にllenをすると0が返ってくるので、訳が分からずしばらくハマった。原因は、他のところで行っていたbrpopのブロックが残ってい…

Google Container Engine(GEK)でGCPのHTTP(S) load balancingを使うまで

Google Container Engine(以下GKE)で、サービスを作っている途中、Kubernetes(以下Kube)のService "type": "LoadBalancer"(以下LB)でいくつかの問題に当たった。 ・SSL証明書が面倒 KubernetesのLBにはSSL証明書を持たせられない。 そのため、Dockerコ…

Google Container Engineで固定IPを使う

社内の新規サービスを開発するにあたり、これまでインフラの手作業によるごちゃごちゃや、開発環境構築に課題を感じていたので、dockerを使い、さらにはそのまま本番までクラウドでやろうと考えた。 dockerは今回置いておいて、GKEで独自ドメインで公開する…

法人契約でプロバイダに帯域制限を喰らった話

YAMAHAのルーター(RTX1210)、スイッチ(SWX2300-16G)でネットワークを組み、回線にはフレッツの1Gマンション、インターネットプロバイダには安くて、ネット上での評判も問題ないA社を選択。引っ越し前の回線テストでは300Mbpsを叩き出し、これは良いと思…

Google Driveでフォルダ内のファイルが更新されたらメール通知を送るGoogle Apps Script

Google Drive(以下GD)でファイルを作ったり、更新したときに、メールでいちいち通知するのが面倒といわれ作った。初めてGoogle Apps Scriptを使ったけど、javascriptライクで、GoogleのAPIを簡単に使えて、サーバー代、メンテナンスもかからないのはかなり…

LAN DISK(NAS)をUbuntu16.04でマウント

引っ越し時に安い個人用NASを使った。 www.iodata.jp RAIDがない1ディスクで不安なので、バックアップのため社内のUbuntuサーバーにファイルをコピーする 設定情報 ・NASのIP LANをつなげてpingが通るか確認。総当たりでもいいけどルーターから見た方が早そ…

Ubuntu16.04のサーバーを、会社のActive Directoryに参加させて、アカウント、ファイル共有を行う

新会社の設立に際し、新たにActive Directory(以下AD)を使い、Windowsのユーザー管理をすることになった。資産管理、情報統制の意味で必要だったけど、せっかくだからLinuxのサーバーも参加させたいし、ユーザー、ファイルなども共有したい。 作業メモとし…