ﾅﾙﾋｺ

フリーエンジニア。VB、C#、Powershell、Python のプロジェクトを仕事でこなしています。 一番好きな言語は Python ですね。

ﾅﾙﾋｺ

フリーエンジニア。VB、C#、Powershell、Python のプロジェクトを仕事でこなしています。 一番好きな言語は Python ですね。

  • 【初心者向け】Pythonでスクレイピングする環境を作る

    Pythonでスクレイピングする環境を作ることを目標にしてコードを書いていきましょう。全文無料で読めます。

  • 固定された記事

数独はPythonで考えて解く話

Naruhikoです。 小さい頃からパズルは大好きでした。 手で触りながら解くパズルや、紙の上で解く頭のパズル。 どれも一気に集中することができ、時間の溶けるもの。 それがパズルです。 家になぜか知恵の輪やルービックキューブなどがたくさんありました。 やっぱり親の影響を受けているんでしょうね。 知らず知らずのうちに解くことに夢中になったんです。 大人になってもパズルは好きで、その中でも数独（ナンプレ）は特に好きです。シンプルなのに奥が深く解けた時の達成感もいいものです。

ﾅﾙﾋｺ

    • 【初心者向け】Pythonでスクレイピングする環境を作る⑩ crawler と scraper を分ける

      Naruhiko です。 前回まで、crawler.py を作ってきました。 合わせてスクレイピングの注意点やテストのやり方なども一緒に説明しました。 今回は、今まで作ってきた crawler のスクレイピング部分を切り離し、モジュール化してみようと思います。 クローリングとスクレイピングの違いは？クローリングと言ったり、スクレイピングと言ったりしますよね。 その２つの違いはなんでしょうか。 ・クローリングは巡回する機能。 ・スクレイピングは抽出する機能。 というよ

      ¥100
      ﾅﾙﾋｺ

      • 【初心者向け】Pythonでスクレイピングする環境を作る⑨ テストしてみる

        Naruhiko です。 ここまで Python を理解してきましたか？ どんどん楽しくなって来たのではないでしょうか。 あとは、自分のやりたいことを考えてそれをコードに起こせるようになれば もう次の次元へ進むことができますね。 この連載では基礎的な事はほとんど説明していません。 こうやって実際に作ってみて興味が出てきてからでも遅くはありません。 そうじゃないと覚えられないですしね。 さて、Class を作って、オブジェクト指向でのコードの書き方を少しだけ説明しました。

        ¥100
        ﾅﾙﾋｺ

        • 【初心者向け】Pythonでスクレイピングする環境を作る⑧ クラスにまとめてみる

          Naruhiko です。 Python どうですか？楽しんでますか？ これまで進めてきて、 １．Google検索結果からURLを取得する ２．取得したURLのサイトのタイトルを取得する ここまでのコードを書くことができました。 関数を３つ作りましたね。 ・get_robots_txt() … robots.txt の内容を確認して取得可能か確認する ・get_html() … html 情報を取得する ・get_search_url() … 検索エンジンで検索した結果の

          ¥100
          ﾅﾙﾋｺ
        • 固定された記事

        数独はPythonで考えて解く話

        ﾅﾙﾋｺ

        • 【初心者向け】Pythonでスクレイピングする環境を作る⑩ crawler と scraper を分ける

          ﾅﾙﾋｺ

        • 【初心者向け】Pythonでスクレイピングする環境を作る⑨ テストしてみる

          ﾅﾙﾋｺ

        • 【初心者向け】Pythonでスクレイピングする環境を作る⑧ クラスにまとめてみる

          ﾅﾙﾋｺ

        マガジン

        • 【初心者向け】Pythonでスクレイピングする環境を作る
          10本

        記事

          【初心者向け】Pythonでスクレイピングする環境を作る⑦ 検索結果のページのタイトルを取得する

          Naruhikoです。 google検索結果のURL一覧を取得するところまでできましたね。 このコードを使ってURL先のタイトルを取得してみましょう。 取得の仕方はもうできていますね。 あとは、何を取得するかで変わってきますが、これはBeautiful soupを勉強していくことでいろいろなものが取得できるようになるはずです。 まずは、今までのコードを見てみます。 import timefrom urllib.robotparser import RobotFileP

          ¥100
          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る⑦ 検索結果のページのタイトルを取得する

          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る⑥ スクレイピングでの注意事項

          Naruhiko です。 前回までに Google 検索した結果のサイトURL一覧を取得できるようになりました。 今度はそのサイト一覧URLを元にそのサイトのデータを取得してみたいと思います。 が、 その前に、スクレイピングをするにあたって注意事項が何点かあります。 これはとても大事なことです。 著作権法や不動産侵入法などに違反してしまう可能性もありますので十分注意してください。 ここでもキーになることを話していきますが、 できるだけスクレイピングに関するしっかりした

          ¥100
          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る⑥ スクレイピングでの注意事項

          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る⑤ Google検索をしてみる

          Naruhiko です。 サイトのデータの取得を簡単ですが説明しました。 Python の詳しい内容は専門書などにおまかせしますが、 前回までの方法をそのまま行えばスクレイピングが出来るようになっていると思います。 今回は、Google検索の結果を元にサイトのデータを取得してみます。 前回作成したコードはこれですね。 import requestsfrom bs4 import BeautifulSouptry: # urlを代入 url = "https

          ¥100
          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る⑤ Google検索をしてみる

          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る④ requestsでデータを取得してみる

          Naruhikoです。 環境はうまく構築できたでしょうか。 いつでも Python を始められますね。 今回から、Python のプログラムを組んでいきます。 少しずつ進めていきたいと思います。 crawler.py の作成では、Python のコードを書いていくファイルを用意しましょう。 VSCode の左にディレクトリが表示されています。 作成している「crawler」ディレクトリを右クリックし 「New File」をクリックします。 新しいファイルが出来るので

          ¥100
          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る④ requestsでデータを取得してみる

          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る③ VSCodeでDocker環境を構築する

          開発環境。 自分のプログラミングしやすい環境はとても大事です。 自分流にセッティングすると、とても作業効率が上がります。 それはアプリケーションしかり、配色しかり。 集中する画面ですから、自分の好きな開発環境で作業したいものです。 今の僕のイチオシは VSCode (Visual Studio Code)です。 マイクロソフトが出している開発環境で最近ではとても人気です。 テーマはもちろん「solarized」。 絶妙にきもちいい配色が好きです。 VSCode のエクステ

          ¥100
          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る③ VSCodeでDocker環境を構築する

          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る② Dockerの使い方

          Naruhiko です。 新しいプログラムが必要になったとき、インストールを行います。 でも、あまりインストールしたくない環境ってありませんか？ いろいろなものを入れると管理が大変になったりします。 あと、サーバーには余計なものを入れたくないです。 そういうときが多々あるんです。 では、どうすればいいか。 Docker を入れるんです。 余談ですが、 僕は Linux (Debian) を使っています。 Linux を使っていて、どうしても Windows にしかないソ

          ¥100
          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る② Dockerの使い方

          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る① はじめに

          Naruhiko です。 スクレイピングって興味ありますか？ 自動でネットの記事を取得できると、いろいろな作業効率を格段に上げることができます。 例えば、特定のサイトのタイトル一覧がほしいとか、ある言葉が書いてある文章を取得したいなどですね。 やってみたいと思っているのなら、この記事から読みすすめて実際に手を動かしてみてください。 できたときの感動とこれから自分で作り変える喜びを味わえると思います。 今回やりたいことDockerfile を使って Docker 内で環境を

          ¥100
          ﾅﾙﾋｺ

          【初心者向け】Pythonでスクレイピングする環境を作る① はじめに

          ﾅﾙﾋｺ