Codes&Co.(Python)
2022に続いて2023年のデータ分析に関する記事を集めています
SIGNATEにチャレンジします。
pythonのフレームワークScrapyでwebスクレイピングができるようになるまでの軌跡です。初心者なので、Udemyの講座で勉強をしながら、初歩の初歩から分かりやすく書いています。
アナコンダの環境設定や、リストのつかいかたnumpyの使い方など、初歩の初歩から、実際のデータ分析で回帰分析、スタッキングなど上級レベルまでの記事。 pythonで簡単なコードしか書けなかった（リストの使い方も知らなかった）私が、データ分析コンペで上位20％以内に入るまで上達する経過を記録した軌跡です。 このマガジンを1から読むと、python初心者でもある程度の精度のデータ分析ができるよになります。
2017年末の第1次仮想通貨ブームに乗っかり、少額の取引で数万円の利益が出て調子に乗って百万単位の取引を始めた途端、ネム盗難事件に漏れず被害に遭い、その後の相場暴落にも巻き込まれ、すぐに円換金して引き出したのはいいものの百万単位で損失が出てしまったので、怖くて4年ほど全くふれていませんでした。 実際の損失額も怖て計算していなかったのですが、ここにきてやっと心の傷も癒えてきたので、Pythonで損失額を計算してみようと思います。 僕が使っている仮想通貨取引所は、コインチェッ
1月にエンジニア認定基礎試験に合格したのでデータ分析試験にも挑戦しようと思います。
単独で呼び出しできるのが「関数」 変数や値に付けて呼び出すのが「メソッド」 例えば、Pythonの組み込み関数のprint()、len()などは単独で呼び出せる「関数」です。 リストに要素を追加するappend()や文字列を繋ぐjoin()は変数や値に付けて呼び出す「メソッド」です。以下のように変数や値の後にドット（.）を付けて呼び出します。 append()とjoin()は、それぞれリスト型と文字列型に準備されているメソッドです。メソッドはデータ型に紐付いた関数なので
2023/1/9 2023/1/14 受験して82.5%で合格しました。 with open('share13_dataset/share13_sample.csv', 'r') as f: read_data = f.read() load()関数を使用することで、JSON文字列をPythonオブジェクトに変換できます。 このプロセスをデシリアライズと言います。 dumps()関数を使用することで、PythonオブジェクトをJSON形式の文字列に変換できます。
2023/1/2 いろいろ試して暫定評価の推移をとかメモとかを記録していく。 1回目暫定評価：sample_submit.csvをそのまま投稿：8,114.8998011 !echo y | pip install "インストールするもの" でjupyterlab内でインストールできる。 2023/1/3 とりあえず複数のデータフレームを1つに結合してみた。 temp.loc[(temp['description'].notnull()), 'descriptio
今年はデータ分析コンペの主催者であるSIGNATEの講座復習をしてからコンペに臨むことにします。 今年意識していることはショートカットキーでいかに指の動きを少なくタイピングするかです。例えばdeleteはctr+dとか、これをすることで時間のロスを防げます。 2023/1/1付けで、講座修了しました。特徴量エンジニアリングで、セグメント知識が必要になることがわかった。有名選手が入団した年以降は観客が多くなるので、この年にこの選手が入団しているとか。この辺りは各チームとか年で
2022/1013 もうそろそろ昨年同様のデータ分析コンテストがあるのですが、全く覚えていないのでSIGNATEで練習を始めていこうと思います。 ほんとに久しぶりにPython触るし、note書くのも久しぶりです。 完全無料で受けられる株価予測（ファンダメンタルズ分析）のQuesutにチャレンジしようと思います。ミッションがいくつかあって順序を追っておさらいできそうなのでちょうどいいです。 備忘：SIGNATEはCodes&Co.のGoogleアカウントでログイン。
システム環境設定から バッテリーをクリック 左側のバッテリーを選ぶと、電源アダプタを接続していない場合の設定ができます。 「ディスプレイをオフにする」のゲージを一番左に持っていって「しない」にします。 さらに、電源アダプタも選択します。 同様に、「ディスプレイをオフにする」のゲージを一番左に持っていって「しない」にします。そして、「ディスプレイがオフの時にMacを自動でスリープさせない」にチェックします。 さらに、システム環境設定から、デスクトップとスクリーン
Launchpadを開く optionを長押しするか、消したいアプリをクリックし抑えたままにすると、消せるアプリの左上に✖️マークが現れて揺れ始める。 ✖️を押して削除を押す。 すぐに削除できて、メニューバーからも消えた。 「Codes&Co.」「コーズコー」
2022/1/30【7日目】 最初のページからのデータの取得方法検討 1ページだけのサイトではなく、複雑な構造のサイトへの対処を学んでいきます。 https://www.yodobashi.com/category/19531/11970/34646/ ヨドバシ.comのサイトから、人気順で並んでいる商品の情報を取得していきます。 データ取得方法の検討・確認 調べたい消費を右クリックし検証を押す。するとhtmlコードを確認できる。商品名はp要素に含まれている。メーカ
MacBook Airはメモリが8GBしかなく、アプリを開きすぎると強制的にアプリを閉じさせられることがあったので、常にメニューバーに状況を表示させる方法はないか知べてみた。初めてMac App Storeでアプリをダウンロードするので1から記録します。 Better Menubarというソフトで実現できそう。 Mac App Storeからダウンロードするみたい。 入手をクリック パスワードを要求される 「開く」に変わる 自動的にLaunchpadに追加されてい
2022/1/22【6日目】 XPathとCSSセレクタのちがい いずれかをマスターをすれば大丈夫。両方マスターする必要はない。CSSセレクタの方が理解しやすいという声もあるがどちらもあまり変わらない。XPathの方が柔軟に要素を指定できる。 私は、柔軟に要素を指定できると後々困ることも少ないと思うのでXPathで進めていこうと思います。 XPathとはXML Path Languageの略。XML形式の文書から要素を抽出するための簡易言語。htmlにも使える。 柔軟
↓の部分に、自分のフルネームが入っているので、スクショを載せたい時とかにいちいち黒塗りするのが大変でした。 ホームフォルダ（ホームディレクトリ）の名前を変更してみます。 ここの部分とかも まず、もう1つのアカウントを作成する次の順でクリックしていく システム環境設定 ユーザーとグループ パスワードを入力 ＋ このアカウントはすぐに消してしまうのでこだわらず、管理者にして、適当な名前をつける。ユーザを作成をクリック。 これで新アカウントができました。 一旦今
MacBookを使い始めて、3ヶ月。しばらく目を離すとスリープモードになっていて、また使おうとするとパスワード入力画面になるのでいちいち面倒くさいなと思っていました。 簡単な設定でパスワードを省略できるようになったのでやり方を紹介します。 スリープ状態からボタンを押すと、パスワードかTouch IDを求められる状態でした。Touch IDで解除できていたからそこまでの手間ではないんだけど、ない方がいいなと思ってた。 まず、画面左上の🍎マークをクリック→システム環境設定
Macでフォルダやファイルのショートカットをデスクトップに作るには、対象ファイルを副ボタンクリック（widowsでいう右クリック）してエイリアスを作成する。エイリアス＝ショートカットのこと。左下に矢印マークのついたアイコンができるからそれをデスクトップに移すだけ。
2022/1/9 【2日目】 データ分析コンペである程度pythonのコードとかpandasとか使うのに慣れたので、ずっとやりたかったwebスクレイピングを1から勉強していきます。 webスクレイピングができるようになったらやりたいことは、webからTiborの履歴をとってきて、チャートを表示できるサイトを作りたい。データ分析で勉強したpandasとかmatplotも使うことになると思うから丁度いいとおもってる。 Scrapyのコマンドscrape bench ben
