ＬＬＭをロックチップ社の「RK3576」のNPUに搭載してみたが、、、

ダルマＢです👺
「つぶやくカメラ」とは別の事にも挑戦中
挑戦中といっても、部下達の力を借りないと何もできないのですが、、、、

さておき、今回は小さなＬＬＭをロックチップ社の「ＲＫ３５７６」の
ＮＰＵに実装をしてもらいました。

ＬＬＭ「Qwen1.8B」をロックチップ社が用意する「rknn-llm」を使って
ロックチップ社の「RK3576」のＮＰＵへ実装してもらいました。

良くわからないが、「rknn-llmのドキュメント（doc）」を参照しながら
ロックチップ社の「RK3576」のＮＰＵが実装されたＳＢＣへ実装して、
デモを作ってもらいました。
その動画は、こちら　➡　https://youtu.be/9sUkK97RNw8

今回のＬＬＭは、正直このまま何かに使えるとは思えないけど、、、
ただ、HaggingFaceフォーマットのＬＬＭであれば、「RK3576」の
ＮＰＵへ「rknn-llm」を使えば実装できるみたいなので、
日本語が得意なＬＬＭを実装してもらうと、もう少し使い道がみえるかな？

ＬＬＭは我々の言葉を理解してくれるはずだから
このボードにマイクを付けて、機械に搭載したら
我々と機械の仲介者（通訳）として働いてくれそうだな
音声リモコンの代わり？？　何か面白い使い方ないかな、、、

続く