2017-08-01から1ヶ月間の記事一覧
bizoceanのお問合せを自動で分類して、定型文で済むやつは送信前に出して、サポートコストの削減とともにユーザーがすぐ問題を解決できるようにしようと思い、まずはナイーブベイズを試してみる。環境は、Dockerで動かしたJupyterと、Python3.6とsklearn等を…
日本語の文章を、検索用のデータにしたり、機械学習などする際に必須になる分かち書き。これまではMecabを使ってたけど、インストールが必要になり、辞書も変えたりすると結構大変。そこで、Google Cloud Natural Language APIを使ってみることにした。cloud…
昨日書いたData Studio（以下DS）の記事で問題になっていたBigQuery（以下BQ）の割り当てエラー解消のため、専用のMySQLを立てることにした。メモリに乗せたテーブルで楽勝やろ、と内心思っていたが、そう簡単にはいかなかった。PostgreSQLではなく、MySQLに…
Cloud SQL(MySQL)では、デフォルトでクエリ－キャッシュは無効化されており、countを何回たたいても遅いので有効化したかった。ブラウザ上でフラグの追加をするとなぜか出来ないので、コマンドライン上でやる。下記コマンドを実行。再起動が必要なので注意と…
Cloud SQLをデータ分析の一時テーブル的に使おうとしているけど、ブラウザ上のCloud Consoleではうまくいくのに、自分のマシンからgcloudコマンドでやるとエラーが連発する。WEBブラウザ上は下記のような画面で、選択時に必要な権限を付加するとか、CSVなの…
データ活用プロジェクトoceanusの一環で、営業さん等が会員データを手早く、安全に確認できるツールを作った。データを準備をしたのは私だけど、Data Stuidoのレポートを作ったのは私ではない。6月入社のmasui(仮)さんだ。 真ん中に表示されているようなチェ…
Cloud Datastudioで年代別に処理をする際、下記のように年齢を5刻みのにして出しているのがあって、もっと短くしたくなったのでやってみた。 SELECT case when age>= 10 and age < 15 then '10-14' when age>= 15 and age < 20 then '15-19' when age>= 20 a…
朝起きたらoceanusの死活監視のメールがきてた。日本時間で8/16 1:18から4:29。いつものBigQueryが落ちてたのかと思ってログを見たけど、アプリケーション側では目立ったエラーが見当たらなかった。エラー時のレスポンスは502と下記内容。 <html><head> <meta http-equiv="content-type" content="text/html;charset=utf-8"> <title>502 Server Error</title></meta></head></html>…
自社データの収集活用プロジェクトのoceanusで、データスタジオを使い始めたり、複雑になってきたので全体図を書き直した。アイコンや矢印は公式のGoogleスライド形式のアイコンがあったので、そちらからコピーしてGoogle図形描画で作成。普通にコピペで使え…
