見出し画像

NHK技研公開2023見学レポ(前編)

しらいはかせ(AI研究/Hacker作家)

2023年6月1-4日と、週末土日も開催されます。
ぼくたちの受信料がどんなすごい研究になっているのか、刮目して見てきましたのでレポートさせていただきます！

ちなみに筆者は内覧会で「まったく待ち時間ないすいた状態で11時から16時時まで興味あるものはみっちり対話しながら滞在」だったので、人によっては数時間ぐらい余裕を見て参加されることをお勧めします。

最寄りは小田急線・成城学園前からバス、もしくは渋谷、二子玉川駅からもバスがあります（アクセス）。

本件は個人的な興味を中心としたTwitterまとめになります

このアーティクルは「開催期間中のうちに砧に行きたくなるような解説」を目指して目指していたのですが、台風直撃！なので行きたいけどいけなかった人もそれなりに「見た気になる」ようなラインを目指したい、でも行けるならぜひ実物を見てほしいです。むしろすいているかもしれないし。

公式情報はこちらをご参照ください
https://www.nhk.or.jp/strl/open2023/index.html#tenjiArea
Twitterがいい人はこちら

途中で分岐しちゃってますのでこちらも

メタバースのことをわかっている人が作ったんだな

まずは放送視聴のメタバース化、技研公開は最初のエントランスにキーとなる研究ストラテジーやそれに関係する展示がある。
正直、放送事業者向けのツールやプラットフォームはよくわからないなと思ったのですが、この展示。
「みんなで観る」がめっちゃ理解されていてわかりみが深い…

この研究の看板自体は「高品質・高信頼なコンテンツ、安全・安心を届けられる仮想空間の実現に向けて」というタイトルだったのだけど。デモとしては離れて暮らすパパと娘が同じ番組をみて応援している、といった体験をメタバースで表現していた。公式図解によるとこういう話。

https://www.nhk.or.jp/strl/open2023/tenji/pdf/1_2.pdf

手話CGが進化してリアルタイム化された

NHKの手話CG…Unityリアルタイム化、そして機械学習による手話翻訳が実装されていて尊い…！Transformerベースだそうですが、これはライセンスなりAPI提供なりを期待したいやつ…

左上をよく見ると「UnityViewerDemo」という表記。

手話翻訳の中間結果が表示されている。単語の右側は枝番だそうで、同じ語でも複数の手話があるからとのこと。
全体図。下のほうに見える左側がJSON出力、右側がアニメーション生成ツール。

翻訳がTransofomerベースだということですが、日本語だけでなくこの手法でAI手話翻訳ができるのであれば、世界の聴者・難聴者にとって大きな一歩だと思います（国際手話について興味がある人はこちら）。

ニュース読み日本語Transofomerが

隣で別途解説があったニュース翻訳技術もTransformersベース。
NHKニュースの日英対訳文を100万文対構築してAIに学習、とのことでいわゆるLLMとは異なるアプローチだけどハルシネーションや誤訳も少なくて、賢い方法だと思います。そもそもニュース読みであればLLMのように数兆語ではなく、数百万の文対で日英AI翻訳実現できるという点は（従来のエキスパートシステムのような歴史的方法もふまえて）「AIでニュース生成」のお話をするときにしっかり押さえていかねばならないポイントですね。


緊急ニュースと普通のニュースでも語感が違うと思いますが、一方では文法やテンプレはそろっていてよさそう。新しい語や品質面の改善などフィードバックが今後の研究になるんでしょうかね。

▼技研だより 2022年 11月号 TOP NEWS
緊急時にライブ配信される特設ニュースの英語字幕で日英AI翻訳システムを活用

NHK WORLD で既に使われている実用化レベルの技術とのこと

スーパーハイビジョンシアター、ついにリアルタイムCG化。

スーパーハイビジョンシアター
今回はついにリアルタイムCGですよ
VTuber砧ラボさんがメインMC。
床面と正面の没入感、3つのカメラモードの比較を撮影しました
GLIM SPANKYさんの新曲と共にパフォーマンスをご堪能ください
撮影許可もOKとのこと歓喜😇

https://www.youtube.com/watch?v=XSgM_RjBJx0

伸縮可能な電極…？

何がヤベーかというと
この電極伸びます

もっとやべーな、と思った点は、
これは「技研の所内で製作した新素材」で出来ています…!!
アクリル系ゴム素材とポリイミドのフレキシブル。

https://twitter.com/o_ob/status/1663798295532290048

これって伸縮できるハンダを作ったってことですよね⁉︎
しかも伸張率40%にしても明るさが変わらない…何が起きているのか…
この技術はディスプレイだけでなく、モーションキャプチャースーツやデータグローブにも革新を起こす技術なんや…それを所内で自作…めちゃ頑張って発見している

量子ドットELディスプレイ カラーマトリックス

量子ドットELディスプレイマトリックスx3色しかも色域しっかりカバー！

量子ドットELってのはいわゆる半導体量子ドットのことではなく、有機ELの先にある新しい発光素子。インク状態で発光できる(方式としてはバックライトやカラーフィルター方式が提案されている)が、直接電荷をかけて発光する素子、さらにそれを技研内で自製してマトリックスディスプレイ化に成功。

バックライトで照らす方式もありますが、NHK技研はインクジェットプリンタで塗布したものを自己発光させています。色域も. BT.2020* 包含率88%の高色純度を実現とのこと。

▼より色鮮やかな発光　量子ドットEL素子｜技研だより 量子ドットEL（Electroluminescence）素子を用いて、フレキシブルディスプレーにより色鮮やかな映像を表示する技術の研究を進めています。

これも所内製！！尊い！

関連してか、最近キヤノンからこんなニュースが出ていました。材料なのかな？

▼キヤノン、高耐久の量子ドットインク。量子ドット8K有機EL実現に期待 - AV Watch

▼次世代ディスプレー応用に道、キヤノンがペロブスカイト量子ドットインクの耐久性実証(ニュースイッチ)


本当のホログラムディスプレイ

本当のホログラムディスプレイを見た！

ディスプレイの初期状態で表示するものと言えば「イ」の字


立方体状態で表示された「イ」です


高密度空間光変長器(SLM)も技研所内で自作しただと…マジか

SLMを自作…の何がすごいのか

高密度空間光変長器(SLM)も技研所内で自作

トランジスターアレイの上に薄膜磁性体を構成する。ハードディスクを自作できる技術者が必要。

ここで「本当のホログラムディスプレイ」の作り方が解説されていたので紹介しますね

まずblenderで3次元多視点画像を撮影します
bpyスクリプトが尊い

「今回のログラムでは6400枚の画像を撮影し、撮影には30時間かかります」

これをフーリエ変換面にして
フォトレジストします

クロムのミラーを使うようです

フーリエ変換面をクロムでメッキされたガラスにレーザーで焼いていきます
66時間ぐらいかかる

出来上がったホログラムデータがこちら
レーザーで回折させて波動にすれば像になるはずのパターン

でここのピッチが4μmか1μmかで
観れる像の幅や視野角や画質が全然違う

プロジェクターに使われるDMDとかLCOSといった画像デバイスが従来10μぐらいで1ピクセルを作っていたのですが、本物のホログラム、しかも再生像が大きく、広い視域を作るためには、より細かいピッチが必要です。今回自作されたものは、一桁高解像度な「1μm x 4μm」のデバイス。なお歩留まりは「10個作って3－4個」とのこと。

これをトランジスタの上で薄膜作って磁性体を乗せて作ったのがSLM！
いわゆるプロジェクターのDMDにも似てるけど10Kx5Kピクセル水平1μm垂直4μmというお化け解像度。


ハードディスクを自作できるレベルの薄膜職人の仕事…！
なお表示している立体の「イ」の字は書き換え可能です。

左上に注目

将来のHoloLensとかに実装される日も来るだろうか

たぶん後編に続きます

いいなと思ったら応援しよう！