🐍CONDA-FORGEはコミュニティドリブンのプラットフォーム

Conda-forgeは、データ科学と機械学習のエコシステムにおいて、オープンソースパッケージを提供するためのコミュニティドリブンのプラットフォームです。Pythonパッケージをはじめとする多くのパッケージを提供しており、科学技術計算のためのパッケージ管理として非常に重要な役割を果たしています。
Conda-forgeの設立は、Anaconda distributionで使用されるパッケージ管理ツールCondaの存在が大きな役割を果たしています。CondaはPython以外のパッケージも管理することができ、多言語に対応したパッケージ管理ツールとして評価されてきました。しかし、Condaが提供するパッケージの範囲が広い一方で、全てのパッケージをAnaconda社が保守することは困難でした。
この問題を解決するため、Conda-forgeは2016年に設立されました。それはコミュニティの力を借りて、より多くのパッケージを提供し、保守するという目的で作られました。パッケージのメンテナンスを共同で行うことで、コミュニティ全体がパッケージの質を保つことができるという考え方が基礎にあります。
Conda-forgeは、この共同体制を通じて迅速に成長し、現在では多くの科学技術計算パッケージを提供する重要なプラットフォームとなっています。

Pythonプログラミングパーフェクトマスター[Python3/Anaconda/PyQt5対応第3版]

conda-forge | community-driven packaging for conda

Usage — Bioconda documentation

バージョン20.3より前にリリースされたPipのバージョンでは[18][19]、Pipは必要なPythonパッケージの依存関係をすべてインストールします。そのため、例えば Google TensorFlow のインストールが正常に動作していても、ユーザが NumPy ライブラリの異なるバージョンを必要とする新しいパッケージを pip-install すると、突然動作しなくなります。すべてがまだ動作しているように見えるかもしれませんが、ユーザーは異なる結果を得たり、同じ順序でパッケージをpipインストールしなかったために、異なるシステムで同じ結果を再現できなかったりする可能性があります。Condaは、現在の環境、インストールされているものすべて、ユーザーが指定したバージョンの制限（例えば、ユーザーはTensorFlow >= 2.0のみを望んでいる）をチェックし、互換性のある依存関係をインストールする方法を見つけ出す。そうでない場合は、ユーザがやりたいことができないことを伝えます。

Pipのバイナリホイールと依存性解消戦略

バイナリホイールは、Pythonのパッケージ配布形式の一つです。ホイールとは、Pythonの新しい標準的なパッケージ形式で、`.whl`という拡張子を持つファイルです。

以下に、バイナリホイールの主な特徴や利点を挙げます：

1. 高速なインストール：バイナリホイールは事前にコンパイルされたバイナリを含むため、インストール時にソースコードからのコンパイルが不要となります。これにより、特にネイティブエクステンションを含むパッケージのインストールが大幅に高速化されることが多いです。

2. 互換性：ホイールはプラットフォーム固有のバイナリを含めることができるため、特定のOSやPythonバージョンに最適化されたパッケージを提供できます。

3. 堅牢性：ホイールはインストールの予測可能性と再現性を高めることを目的として設計されています。これにより、異なる環境やシステムでも同じパッケージが正確にインストールされる確率が高まります。

4. 簡易化された依存関係：ホイールは`requires.txt`というファイルでパッケージの依存関係を定義します。これにより、パッケージの依存関係を明確にし、インストールプロセスを簡略化します。

バイナリホイールは、`pip`を使用して簡単にインストールできます。多くのパッケージの開発者は、PyPI（Python Package Index）にバイナリホイールを提供しており、ユーザーは特定のプラットフォームやPythonバージョンに適したバイナリを自動的に取得できます。

`pip`の依存関係の解決は、特定のアルゴリズムとプロセスを用いて行われます。`pip` 20.3 以降で実装された新しい依存関係解決機構は、依存関係の競合をより効果的に解決するためのものです。

この新しい依存関係解決機構の背後には以下のアイディアがあります：

1. バックトラッキング:
   バックトラッキングアルゴリズムを使用して、依存関係の木を深く探索します。競合が発見された場合、アルゴリズムはバックトラックして別のバージョンのパッケージを試みます。これにより、全ての依存関係が満たされる適切な組み合わせを見つけ出します。

2. 早期検出:
   早期に競合を検出することで、不要なバージョンの探索を回避し、依存関係の解決を高速化します。

3. 情報のキャッシュ:
   既に探索されたパスや結果はキャッシュされ、再探索の際に再利用されます。これにより、同じ結果への多重の探索を防ぐことができます。

この新しいアルゴリズムは、適切なパッケージのバージョンの組み合わせを見つけるために、可能な組み合わせの探索を行います。しかし、大規模なプロジェクトや多数の依存関係を持つプロジェクトでは、解決に時間がかかることがあるため、適切な依存関係の定義や競合の最小化が推奨されます。