マガジンのカバー画像

Libraries / Frameworks / Tools

44
運営しているクリエイター

記事一覧

Pythonの定期的実行:Cronとscheduleモジュール

Croncron(crontab)とは、ジョブ管理コマンドで、指定された日時、もしくは時間間隔でジョブを実行する。実行されるジョブは、crontab(cron table)でスケジュールされる。
このcrontabには、cronジョブのスケジュールが書き込まれ、その書式は以下のようになる。

* * * * * echo ‘Hello’ >> /tmp/test.txt

最初の5つの$${*}$

もっとみる

DoWhyで因果推論(Causal Inference)

因果推論(Causal Inference)とは?因果推論(Causal Inference)は、データを用いて変数間の因果関係を推定・検証するための統計学的手法です。因果関係とは、ある変数(原因)が他の変数(結果)にどのように影響を与えるかを示す関係です。因果推論は、単なる相関(相関関係があるが、必ずしも因果関係があるとは限らない)とは異なり、直接的な因果関係を明らかにすることを目指します

D

もっとみる

シュッと Mesop

ちゃっす(/・ω・)/

X のタイムラインに Mesop という Python で UI 含めてシュッと作れるフレームワークの情報が流れてきたので触ってみた(/・ω・)/
(なんて読むんだろ、、、ミソップ?)

という話

詳細はこの辺みてね(/・ω・)/

繰り返しになりますが Python のみでシュッとウェブアプリの画面部分も作れますよと(/・ω・)/

チュートリアル見たら起動のさせ方が

もっとみる

NumPy のバージョンがあがるらしいのでシュッと確認しておく

ちゃっす(/・ω・)/

Python 触ってるとまぁほぼ使ってるであろう NumPy ちゃんの 2.0 がでるので自分用のメモがてらシュッとまとめておくのである(/・ω・)/

詳細はリリースノートをご覧あれ

前提として、このバージョンアップによって色々かわるから注意しなはれよ~という感じ

ので、使用する NumPy のバージョン指定してない場合はメンテナンスしましょうね~(/・ω・)/

もっとみる
TkEasyGUI - Pythonで最も素早くデスクトップアプリを創るライブラリ

TkEasyGUI - Pythonで最も素早くデスクトップアプリを創るライブラリ

先日、マイナビニュースにも書きましたが、Pythonで最も素早くデスクトップアプリを創るライブラリ「TkEasyGUI」を公開しました。(もともとPySimpleGUIが突如オープンソースを廃止したことをきっかけに開発されました。)

Webアプリ全盛の時代ではありますが、Windows/macOS/Linuxのローカル環境で手軽に動かせるデスクトップアプリを作りたい場面は多いものです。
それで、

もっとみる
LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。

1. Weave「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。

主な機能は、次のとおりです。

2. Weave の準備今回は、「Google Colab」で「Weave」を使って「O

もっとみる

poetry --directory で参照する pyproject.toml と poetry.lock を切り替える

パッケージ管理に poetry を使っているのですが、機械学習などをしていると、GPUやCPU、時には Apple Silicon(M1, M2, M3 Macなど)ごとにインストールするパッケージやパッケージのビルドを切り替えたりする必要がしばしば発生します。

これまで下記のようなかなりアドホックな pyproject.toml を書いて対応していたのですが、そろそろ限界を感じはじめていました

もっとみる
純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」

純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」

LLMのトレーニングを、純粋なC/CUDAでシンプルに行います。245MBのPyTorchや107MBのcPythonは不要です。たとえば、GPT-2(CPU、fp32)のトレーニングは、約1,000行のクリーンなコードで1つのファイルに収められています。コンパイルしてすぐに実行可能で、PyTorchのリファレンス実装と完全に一致します。最初に機能する例としてGPT-2を選んだのは、現代のスタック

もっとみる

FireDucks性能評価

本記事はFireDucksユーザー記事シリーズの第5弾です.本記事はYoshiyuki Kofuji様に執筆して頂きました

はじめにPythonでデータ収集・加工処理に欠かせないpandasのAPI互換ソフトウェアであるFireDucksについて、
動作環境やデータ量を変化させたときの高速化性能を確認します。
検証は、データセット内の数値データをカテゴリ化する処理に対し、複数の実装について高速化

もっとみる

pandas高速化の新星、FireDucksに迫る

本記事はFireDucksユーザー記事シリーズの第1弾です.本記事はBell様に執筆して頂きました.

データ処理と分析をする際に、多くの方がPythonを使ていると思います。中でも、PandasライブラリはPythonを用いたデータ処理においてなくてはならないものになっています。Pandasには便利な関数が多数あり、複雑なデータセットを効率的に処理・分析することができます。

しかし、Panda

もっとみる
FireDucks入門: 学習コストゼロでpandasを超えるパフォーマンスを手に入れる!

FireDucks入門: 学習コストゼロでpandasを超えるパフォーマンスを手に入れる!

本記事はFireDucksユーザー記事シリーズの第2弾です.本記事は黒柳茂様に執筆して頂きました

データサイエンティストであれば必ず利用していると言って良いpandas。
とても愛着を持っているライブラリだけど、もっと手軽に高速化できないものかと検索していたところFireDucksを発見し興味を持ちました!

1. はじめにFireDucksとは何か?

FireDucksは、NECが開発した「

もっとみる
LangChain の Memory の概要

LangChain の Memory の概要

「LangChain」の「Memory」の概要をまとめました。

1. Memory「Memory」は、将来の推論や行動に役立つ情報を記録し、必要に応じて利用するコンポーネントです。具体的には、会話履歴を保存して、次に何を話すべきかを決める情報として使うことができます。

2. LangChainの準備ColabでのLangChainの準備の手順は、次のとおりです。

(1) パッケージのイン

もっとみる
Apple Silicon での Gym Retro の起動を試す

Apple Silicon での Gym Retro の起動を試す

「Apple Silicon」での「Gym Retro」の起動を試したので、まとめました。

1. Gym Retro「Gym Retro」は、ファミコンやメガドライブなどのレトロゲームを「OpenAI Gym」の環境として利用するためのフレームワークです。AIにレトロゲームをプレイさせることができます。

大昔のフレームワークでメンテ停止されてますが、最近LLMにゲームをプレイさせるのがはやって

もっとみる
いつの間にかWindowsでもシンプルに pip install bitsandbytes でbitsandbytesが使えるようになっていた

いつの間にかWindowsでもシンプルに pip install bitsandbytes でbitsandbytesが使えるようになっていた

LLMを使う時、4bit/8bit量子化をするなら必要になるbitsandbytesというライブラリがあります。今までWindowsは正式にはサポートされておらず、公式以外のビルドを使ったりなどの工夫が必要でした。

ところが、3週間くらい前にリリースされたbitsandbytesのリリース情報を見ていたら、最新の0.43.0でWindowsがサポートされたとありました。

「多分、公式にpip

もっとみる