藤沢 恵

言語の謎と格闘する日々 藤沢恵 公式サイト https://www.mari-pla.me/fujisawa-megumi

藤沢 恵

言語の謎と格闘する日々 藤沢恵 公式サイト https://www.mari-pla.me/fujisawa-megumi

マガジン

  • 哲学的断片

  • 大規模言語モデル

    LLMでいろいろ遊んだ記録集

  • 文学フリマ東京38

    文学フリマ東京38

  • 珠玉noteの交差点(1)ファンタジー編

  • 珠玉noteの交差点(2)猫編

最近の記事

Geminiに作文の続きを書かせたら壊れた

プロンプト:これから送る文章を読んで、続きを3000字程度で創作してください。ステレオタイプの話しは避けて、奇想天外で感動する話しにしてください。 プロンプト: 僕の名前は屋根裏マン。 もちろん屋根裏に住んでいる。白石さん宅にも、吉沢さん宅にも、あなた様のお宅にも、屋根裏マンは住んでいる。 僕の使命は家を守ること。いや、正確にいえばその家に住んでいるみんなを守っている。 守るって何から? 火事、地震、豪雨? いやいや。アレから。 そんなのしょっちゅうやってくる。 みんな

    • ChatGPTに回文を作らせるとコントになった

      10文字で回文をつくってください これまでに実例のないもので それは回文になってません それもちがいます。回文とは右から読んでも左からよんでも同じ文章のことです Deocoderが、文章を文頭から再帰的に文末方向へ推測していくのなら、文末からの処理が同時に必要な回文の扱いはどうなんだろうと試してみました。 同様に、語尾を「にゃん」とか「ごわす」と言いかえさせる遊びも、「にゃん」手前の助詞の扱いがいつも不自然(例:「そうだにゃん」と変形せず「そうですにゃん」という、な

      • 東大松尾・岩澤研のGENIAC記事が面白い

        特化した演算用のデータセットを用意しても、四則演算できるようにはなりませんよ、と教えてあげたい。 学習データの問題でなく原理の問題だというのは明かだと思われます

        • LLMが足し算できない理由

          この記事を読んで理由が分った気がします ここで紹介されている研究によると、1層のTransformerモデルで、n桁整数加算の内部動作を詳細に分析すると モデルは課題を桁ごとの並列な処理に分割している モデルは桁の位置に応じて異なるアルゴリズムを適用している モデルは特定のまれなケース(9の合計を使うケース)の処理が苦手 筆算は、一桁分の計算と繰り上がりさえ覚えれば、「以下、同様に」で、何桁でも増やしていけるのが超優秀な点。集中力が続く限りいくらでも対応できる。

        マガジン

        • 哲学的断片
          33本
        • 大規模言語モデル
          14本
        • 文学フリマ東京38
          4本
        • 珠玉noteの交差点(1)ファンタジー編
          7本
        • 珠玉noteの交差点(2)猫編
          13本

        記事

          文学フリマ東京38を終えて

          搬入の時点ですでに入場待ちの長い列。12時の合図と共に押し寄せる人の波。とてつもない熱気にあてられて、しばらく立ち直れそうにありません。 来場された皆様、ブースで足を止めてくださった皆様、なにより「6つのケーキ」をお買い上げくださった皆様、本当にありがとうございました。 販売数なんと10冊。 生まれた猫を里親に出した気分です。なにとぞ、よしなに。 それでは購入した作品のご紹介。 第二展示場に行く余裕がなかったのが本当に残念。 1. 「人文的、あまりに人文的」 第一展

          文学フリマ東京38を終えて

          漢字当てゲーム

          新しいモデルやサービスが出るといつも私が試しているテストの一つ。 互いに漢字一つを思い浮かべます。互いに質問して、先にその漢字を当てたほうが勝ちです。ではどうぞ 先に質問をどうぞ いいえ いいえ このように、「相互に質問」って言ってるのに、一方的に聞いてきます。 Gemini 1.5 Proでは お互いに漢字1文字を思い浮かべます。交互に質問して、先にその漢字を当てたほうが勝ちです。 はい いいえ 同じですね。 ところが、ChatGPT4oではこの「交互

          漢字当てゲーム

          日本語特化サービスが欲しくなる理由

          文学フリマに出品する作品の原稿をChatGPTに渡して簡単な文章解析させようとするのだけれど、 私:この文書で使われている頻度の高い単語を上位5つまで抜き出してください ・・・・(^_^;) 私:単語は名詞に限定します で、生成されたコードをコピって自分でやったほうが結果としては早かった 日本語処理に優しいサービス プリーーーーズ! 日本の会社がこぞって日本語特化LLMを作っている。それは嬉しいことだけど、言語モデルと、それを使ったサービスとの間には、ふっかーい谷が

          日本語特化サービスが欲しくなる理由

          ChatGPTでもGeminiでも解けない加算問題

          藤沢恵:3 + 9の場合は11で、それ以外は通常の算術に従う場合、333 + 999の答えは? この問題にはトリックが一つあります。3+9=11と定義したとして、では33+99の10の位をどう処理するか。 1 + 3 + 9 と考えて、3+9を先に処理して1 + 11=12とする案 先に1+3をして、4 + 9=13とする案 最初の問題文からはどちらか一意に決められないし、この計算は世の中にないから統計的多数決もできない。だから本当は「2つ考えらますけど、どちらですか

          ChatGPTでもGeminiでも解けない加算問題

          元祖 人工知能の父とイミテーション・ゲーム

           Alan Mathison Turingは1950年に発表した論文"Computing Machinery and Intelligence"の中で、一つのテストを提案しました。彼は「機械は考えることができるか」という問題を考察するにあたって、「機械」や「考える」という言葉の定義から始めるかわりに、問いを別の新しい形式の問題に置き換えることで解決しようとします。その母体はイミテーション・ゲームと呼ばれるゲームです。 ○イミテーション・ゲーム  ちょっと長いですが、以下にA

          元祖 人工知能の父とイミテーション・ゲーム

          文学フリマ東京38に出展します(3) ~ペーパーバックについて熱く語る~

          「6つのケーキ」製本に際しては「ペーパーバックみたいにして欲しい」と要望しました。 ハードカバーの洋書って高いんですよねぇ 学生時代の自分には高嶺の花。とても手が出ず憧れでした。 欲しい本をできるだけ安く買うため、古本屋さんに入り浸り。茶色けた古い紙の匂い。やけにポップな表紙のデザイン。そこで珍しい洋書を発掘した時の喜び。 「不思議の国のアリス」・・ペーパーバック版で読んだことありますか。テニエルの挿絵があのゴワゴワした紙質に溶け込んで、とても味わい深いです。上質紙では

          文学フリマ東京38に出展します(3) ~ペーパーバックについて熱く語る~

          文学フリマ東京38に出展します(2) ~コマ番号のご案内~

          第一展示場:K宅 I-42 ただいま、配布用の小冊子を作成中。5Pくらいの新作を当日、無料で配ります。 ノボリも用意してみようかとか考えはじめて、なんだかほんと学園祭の準備みたい 正午12時開場で、終了が5時。あたふたしてるうちに終ってたなんてことがないよう気をつけよう

          文学フリマ東京38に出展します(2) ~コマ番号のご案内~

          Llama 3 - 8B Instructにサリーのことを聞いてみた

          Q:Sally (a girl) has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have? これは新手の回答パターン! このサリー問題に正答できるのは、今のところ、ChatGPT 4だけ。Claude 3も×。そのChatGPT4も2,3ヶ月前は間違っていたので、恐らくこの問題だけ特別に後から対策したものと思われます。 Q:2342 + 12315 の答えは? Q:234

          Llama 3 - 8B Instructにサリーのことを聞いてみた

          文学フリマ東京38に初出展します ~出展記念インタビュー~

          だいぶ前に申し込み入れたのですが、かなりの人気らしく、最終的には抽選でした。 クジ運のとことん悪い私。最後に当たったのは、子供のころ食べたアイスクリームのホームランバーであります。まず無理だなぁと諦めていたところ、、、 なんと当選! そういうわけで現在、出展者さんの過去レポ写真など参考にしながら、鋭意、出展準備中デス! (ブース番号は、決まりしだい改めて告知いたします) そしてなんとなんと、立派な公式サイトもできました! 書籍化して頂いたマリプラさんによる、文学フリ

          文学フリマ東京38に初出展します ~出展記念インタビュー~

          ChatGPTに錯視絵をお願いしてみる

          Q:この絵には何が書かれていますか? サックスプレイヤーとな? 今度はClaude3に聞いてみた: この画像には男が描かれていますよ、と指摘してみると・・ Claude3は錯視絵を理解しないようだ Q:この絵と似た効果を持つ絵を3種類、制作してください うーん。。。 いろんなプロンプトを試したけど錯視絵をうまく書かせることにまだ成功してない

          ChatGPTに錯視絵をお願いしてみる

          最新AIの、理由をごまかす悪いクセ

          4GSFKの100kbpsのシンボルレートは? 回答: 回答は間違いなので、正答を指摘してみる。 20usの間違いでは? 間違いを指摘すると、それが間違いだったと認めるのだけれど、理由の説明が全然正しくないという、いつものパターン。 どのLLMにも共通してみられる特徴で、いったいどういうメカニズムで起こるんだろうか。 そして例の問題。 サリー(女の子)には3人の兄弟がいます。兄弟には2人の姉妹がいます。サリーには何人の姉妹がいますか? 全員同じ親から生まれています。

          最新AIの、理由をごまかす悪いクセ

          80,90年代は徹底的な相対主義の時代だった。 しかしどうだろう。今、ヨーロッパが超大国の野望の前に成すすべない様子を見ていると、どうやらこのポストモダン思想というものは、人々を弱らせるだけの、壮大なまわり道だったのではないかという気さえしてくる。

          80,90年代は徹底的な相対主義の時代だった。 しかしどうだろう。今、ヨーロッパが超大国の野望の前に成すすべない様子を見ていると、どうやらこのポストモダン思想というものは、人々を弱らせるだけの、壮大なまわり道だったのではないかという気さえしてくる。