Roy

雑メモをあえて共有していく🦑

Roy

雑メモをあえて共有していく🦑

AWS Glue DataBrewを早速試す

この記事はfreeeデータに関わる人たち Advent Calendar 2020の1日目です。 さて、2020年11月12日、AWS Glue DataBrewという新しいサービスが突然発表されました。即日で東京リージョンでも使えるようになっています。ジャンル的にはVisual Data Preparation Toolらしいですが、今回はこのDataBrewの使い勝手を試していこうと思います。GUIのツールなので気持ちスクショ多めでお届けします。 データセットの準備

Roy

    • Tensorflow2.1で追加されたTextVectorizationで文字列から直接訓練できるようになる

      この記事はfreeeデータに関わる人たち Advent Calendar 2019の15日目のエントリーです。 データ分析とは関係ない小ネタをお送りしてまいります。 もうそろそろTensorflow v2.1がリリースされます。v2.1ではtensorflowとtensorflow-gpuが一つのパッケージに統合されたり（今後は軽量なCPU only versionとの二本立てになる模様）、様々なバグが修正されているのでお使いの皆さんは早々に乗り換えるのがいいと思います。

      Roy

      • de:code2019にいってきた感想

        少々時間が空いてしまいましたが、先日開催されたマイクロソフト主催のde:code2019に行ってきたので、特に面白かったところの雑感などを述べていこうと思います。 意外と基調講演が面白かった全編動画で公開されているので興味のある方はどうぞ。その中でも働き方に関連して紹介されたOffice関連での新機能紹介は興味深かったです。メールの文面を解析してスケジュールを自動でセットするとか（まぁそういう話は過去にも色々ありますが）Teamsの話、Word文書を分析して情報を出してみた

        Roy

        • Linuxでメモリ使用量が増えがちな際に見直したい環境変数

          先日、とあるコードで何故か使用メモリが増え続けるという事象に遭遇したので、その時有効だった方法を紹介します。 尚、おそらくLinux環境でglibcを使っている場合のみ関係すると思われます。 当てはまりそうな状況・Linux、glibc環境で動作している（Dockerで動かしている場合などはベースイメージに注意） ・沢山処理をしている ・数MB-数十MB程度のオブジェクトを大量に作ったり削除したりする 実証コードこれを実行した結果がこちら。 1 ❯ python i

          Roy

        • AWS Glue DataBrewを早速試す

          Roy

        • Tensorflow2.1で追加されたTextVectorizationで文字列から直接訓練できるようになる

          Roy

        • de:code2019にいってきた感想

          Roy

        • Linuxでメモリ使用量が増えがちな際に見直したい環境変数

          Roy