AI以降の創造するアーチスト
Project "Bitwise Splitting and Merging Pixels"
プロジェクト「ピクセルのビット単位の分割と融合」
プロジェクトの概要の後に、ビデオがあります。
AIが収集していないデータを作り出すこと
データを収集してアートワークを作成する自然言語処理は、最も洗練されたコンピューター言語と言えるでしょう。しかし、AIを使ったステレオタイプの視覚形式の集積に、創造性はないと考えています。これまで人力でそれに近い制作も割と一般的でしたが、ファイン・アートが追求してきた創造の意味はそうではありません。AI以降の創造するアーティストにできることは、AIで過去のデータを収集することではなく、AIが収集していないデータを作り出すことです。
今後何かを提案できるAIというのができて、それに指針をプロンプトに書いてまだないデータが構築できるかもしれません。私はAIを否定する立場をとるものではありません。ここに書いたプロジェクトは、その前の段階と考えても良いでしょう。プロジェクトでは、AIが収集していないデータを予測して、私がアートワークのプログラミングを書いています。
デジタル・アートを構築する最も基本的な素材として、バイナリを想定しました。バイナリは、デジタル・ワークで最も低レベルの構成要素です。単一の値であるバイナリまで立ち返った時、これまで存在しているアートデータの参照は意味がありません。自由な無限の組み合わせが求められます。バイナリを基本のアート素材にするという事は、バイナリをこれまでにないアートの使い方で、視覚または聴覚の新しいデータを作り出すことです。
このプロジェクトでは、バイナリを操作する暗号方式を使っています。ChatGPTに投げた質問では『ChatGPTは訓練時に特定の暗号方式を解読した情報を利用していません。』という回答を得ています。暗号作成で作られたデータは収集されないということです。
あらゆるメディアは、バイナリで記録・表現されている
私は視覚と聴覚の深い関係に注目し、それらがデジタルで表現される場合、バイナリという共通の基盤を持っていることに気付きました。 この原則は、視覚と聴覚の領域を超えて、他のすべての形式のメディアを網羅します。言い換えれば、現在ではあらゆる形式のメディアは、バイナリで記録・表現されています。
私は2007年以来、視覚と聴覚のデータが交換できる可能性を、アートワークとして実験してきました。 初めはピクセルを、デジタルでの視覚表現の最小単位と捉えて、そのRGB値を音楽に変換することを考えました。視覚と聴覚のメディアをデジタル作品で表現して行くと、必然的にその下の構造であるバイナリにたどり着きます。
ここに引用したのは、私が2007年に開発した「RGB MusicLab」という、画像の色彩データを音楽に変換するアプリのページです。オリジナル・アプリは、その後のOSの変化等で現在では動きません。時々復活して欲しいという要望があり、2022年に新しいOSで動かなくなった部分を全て取り去った、最近のMacOSで動く「RGB MusicLab MIDI」を作りました。
RGB値変換は、ここに書いているプロジェクトでも採用しています。
プロジェクト「ピクセルのビット単位の分割と融合」
具体的にプロジェクト「Bitwise Splitting and Merging Pixels（ピクセルのビット単位の分割と結合）」について、書いて行きましょう。
このプロジェクトの色彩の扱いは、フランス後期印象派の画家ジョルジュ・スーラの点描法から、インスピレーションを得ています。彼はパレットの上で絵の具という物質を混色するのではなく、点と点を見る人の目で光学的に混色しようとしました。スーラのアイデアを採用したこのプロジェクトは、2 つのバイナリのカラー要素をビット演算で混色します。
ビット演算：ビット列（0か1が並んだもの）のデータを、ビット単位での論理演算を行う。ビット単位の論理演算にはNOT, AND, OR, XORがある。
暗号作成法「ワンタイムパッド」
もう少し具体的な話をすると、オリジナル画像のピクセルの色の要素を、ビット演算でバイナリ単位で２つのデータに分割します。 この方法は技術的にはワンタイムパッドと言われる、暗号作成法を使用します。暗号作成法は「人間は暗号化された外部の情報を、感覚器官を通して理解できるよう復号」しているという私の考えに基づいていた発想です。
プロジェクトでは、１ピクセルの元になっている光の三原色を１色１色バイナリ単位で分割します。１つの画像は膨大な数のビクセルで表現されているので、プロセスを容易にするため、画像をモザイク形式に変換しました。その結果得られたモザイクは、色付きの正方形のパターンで構成され、1970年代初頭のゲルハルト・リヒターの「シリーズ・オブ・カラー・チャート」絵画や、1950年代のエルズワース・ケリーの「偶然によって配置されたスペクトルの色」と同様の視覚的な感覚を呼び起こすでしょう。しかし彼らのコンセプトは、物理的なチューブの色の混色からインスピレーションを得ていて、分離された色彩が作り出す色彩とは発想が違っています。
分割されたビット単位の２つの暗号データ画像
このプロジェクトの大事な点は、ビット単位の演算（XOR演算）で操作されるデジタル素材を、バイナリの値で色を決定することです。デジタル・カラー画像では、各ピクセルに赤、緑、青の 3 つの光の原色（RGB）が含まれています。厳密には、ピクセルには画像の透明度を決めるアルファ・チャンネルも要素として含まれていますが、ここでは不透明として扱います。
乱数によるビットごとのXOR演算を使用する、このプロジェクトのアルゴリズムは、ワンタイムパッドとして知られる暗号化技術です。その結果として元の画像データは 2 つのカラーモザイクに分割されます。 概念的には、結果として得られるモザイク画像のペアは、「暗号と鍵」にたとえることができます。
プログラミング言語 LiveCodeで論理演算について
LiveCode：マッキントッシュ初期に考えられた、人間に言葉に近いコンピュータ言語「ハイパートーク」から現代的発展をしている言語。現在AIプロンプトでLiveCodeが記述できる新言語「Xavi（ザヴィ）」が開発されている。
留意してもらいたいことは、このプロジェクトの目的は暗号を作ることではなく、暗号作成技術をアートワークに使うことです。
ワンタイムパッドは、暗号化されていない平文と同じ長さの乱数を鍵として使用します。画像で考えると１ピクセルは4ビットのバイナリ（アルファ、レッド、グリーン、ブルー）なので、10x10の100ピクセルの画像は、400ビットの乱数の鍵をオリジナルの画像に、ビット単位のXOR論理演算で暗号化された画像にします。
乱数で作った鍵の色彩で、モザイク画像をビット単位で分割する
このスーラの画像に、ビット単位で乱数のXOR論理演算をして行くと、下のようなピクセル・カラーのモザイクになります。乱数を暗号鍵（図：左）と考えた場合、その結果得られたピクセル・カラーのモザイクは暗号文（図：右）です。乱数ですから毎回違うモザイクを作り出しますが、印象はだいたい同じようなものになります。
プロジェクトは画像を分離している工程をビデオにして、分離した左右ピクセルのRGB値を音階に変換して、バックグラウンドとして演奏しています。音階への変換はRGB値のほぼ中央（180）をピアノの中央のCとして、上下に自動的に振り分けます。ひとつのピクセルのカラー（R,G,B）を３音のハーモニーにします。
分離されたモザイク画像を乱数の色彩の鍵で融合
上図、左の乱数のピクセルと右の暗号化されたピクセルを、それぞれ１ビットごとにXOR論理演算をもう一度して行くと、オリジナルの色彩のピクセルが現れてきます。下の図は左右のモザイクが互いにXOR論理演算で復号している途中を、スクリーン・ショットしています。
復号前の各モザイク画像には、元の画像に存在する視覚情報が半分づつが含まれています。 次のステージでプロジェクトのアルゴリズムは、始めのモザイク値の再生を行い、2 つのモザイク データ セットを元の画像に融合します。
バックグラウンドの音楽について
ワンタイムパッドは同じ長さのデータを使用しますが、同じ長さの音楽データは演奏に時間がかかりすぎるため、プロジェクトでは短い音楽にするため2倍のサイズのモザイクデータを使用しました。ここに引用しているモザイクの画像は、7704個の正方形の色彩からできています。これを16分の1の音符のハーモニーにすると、19分という長さの音楽になってしまうので、もっと短く倍のサイズ3852個の正方形のモザイクにして、結果3分34秒の音楽にしました。音楽はバックグラウンドと使用しているだけで、色彩データの分割・融合には関与していません。このプロジェクトは、概念として科学的な方法で運用していますが、厳密さを追求するのが目的ではありません。またここでは、色彩データから音階にする変換について、詳しく書きません。
以上が「Bitwise Splitting and Merging Pixels（ピクセルのビット単位の分割と融合）」の概要です。
プロジェクトから「グランド・ジャット島の日曜日の午後 ジョルジュ・スーラ作」をテーマにして制作工程をビデオにしています。ビデオは融合を始めに持ってきて、その後分割を見せています。
https://youtu.be/ejgD0KVCHKU 4:00
発展系としての「Metamorphosis 変態」
実はこの形にたどり着くまで、幾つもの試作をしています。上にリンクを書いたスーラの「グランド・ジャット島の日曜日の午後」では、始めに「Merging Pixels 融合」を置いて、「Splitting Pixels 分離」はその後に見せて、それを最終形としました。
これは暗号作成のプロジェクトではないので、スタートした時点では考えていなかった乱数を鍵とする方法ではなく、具体的な画像を鍵の役割で使うことを思いつきました。色々試行した結果、イモムシから蝶に変わる「変態」に考えがまとまって、「Metamorphosis 変態」に発展しました。
ウェブ・ページには、プロジェクト前段階のスタディと、このプロジェクトのために開発したアプリケーションのビデオがあります。
https://kenjikojima.com/bitwise/
