Web小説投稿サイトにおける、評価値の適正化アルゴリズムについて
多くのWeb小説サイトには、投稿された作品のランキング表示といったものが存在します。
条件はサイトによってさまざまですが、たとえばブックマークやユニークアクセス、あるいは感想の書き込みなどに対してポイント付けをして、それをもとに数値の高い作品を降順でランキングに掲載するといったものが主流でしょう。
ランキングに掲載される＝高いポイントを獲得している、ということを意味しており、さらに「多くの人間からの評価が得られている」ことの指標にもなる……はずでした。
ところが単純な加点式の評価方式であると、どうしても避けられない問題があります。
それは組織的な投票による、ランキング操作といったものです。
巷では相互評価クラスタなどとも言われていますが、たとえば「私があなたの作品を評価してあげるので、あなたも私に評価を入れてください」と相互評価を持ち掛け、特定のタイミングで複数人が一気に票を投じるような行為がこれに当たります。
ようするに、小説の内容とはまったく無関係にランキング掲載だけを目的にして、評価をつけるわけです。
これによって被害がもたらされる層が、大きく三つ存在します。
１．ランキングを参考にする、運営会社や出版社
通常は「面白い作品＝ランキングに入っている作品」と解されますが、組織的な投票工作によって該当作品が押し上げられると、その評価値を鵜呑みにして運営会社や出版社が契約を持ち掛ける可能性があります。
そのようにして出版された作品は、しかし中身が伴っていないために、往々にして売上が伸びずに収益を得ることができません。つまり運営会社や出版社にとっては損失となるわけです。
２．ランキングに載るはずだった、ほかの作者
工作票によってランキングに浮上することは、同時にほかの作品を下へと追いやることも意味します。
それは真面目に面白い小説を書いている作者の可能性を潰すことであり、さらにそのような組織票作品がランキングを支配する環境に愛想を尽かすきっかけでもあります。
また、作者が萎えて活動をやめれば、それは該当投稿サイトの運営会社にとっても損失を意味します。
３．ランキング作品を読む、多くの読者
読者は作品を読む指標の一つとしてランキングを利用しますが、そこで明らかに評価と品質の乖離している作品に当たってしまった場合、失望あるいは嫌悪を抱きうることでしょう。
また、そのような作品がランキングの上位に入ってくることに、運営への不信感などを募らせるかもしれません。
いずれにしても、得をするのは評価値工作をおこなった関係者のみであり、それ以外の多くの人間が不公平な結果に不利益をこうむることになるわけです。
それでは、そのような組織票などを排除する仕組みは存在しないのでしょうか。
結論から言えば、あります。加点式ではなく平均点式を採用するランキングシステムならば、このような工作の影響を最小限に抑えることができます。
それを実際におこなっているサイトとしては、Web小説投稿サイト「ハーメルン」が該当します。
このサイトのランキング計算としては、たとえば日間ランキングでは「24時間以内に投票された評価の平均点」の影響度が9割近くを占めています。
0～10の11段階評価があり、例として新規に更新された小説にポンと10評価が一つだけ入ると、平均点が10と計算され、それだけでランキングポイント5000点が入ります。5000点は日間ランキングにおいて40位ほどに位置するので、たった一票でランキングに入りうるわけです。
ではランキング操作が簡単なのではないか、と思うかもしれませんが、実際はそう上手くいかないようにできています。ランキングに載った場合、PVが飛躍的に増えて注目されます。すると多くの読者が新しく評価を投じて、平均点が変動していきます。
ここで5や6といった評価が入ると、それを上回る数で9や10評価が入らないかぎり、平均点が押し下げられてランキングを維持することができないわけです。つまり、「つまらない」と思った人が多ければ多いほど、ランキングに居座るのが困難になるわけです。
実際、「小説家になろう」で大量のポイントを獲得している作品でも、「ハーメルン」では非常に低い評価に落ち着いているというパターンがきわめて多く見られます。
（これに関しては、いわゆる“なろう系”に辟易して低評価を入れる層が多いのも関係していますが）
また、ハーメルンでは単純な平均点だけでなく、「調整平均」というものを作品評価の基準としています。
これは「全投票のうち高評価と低評価からそれぞれ10%分除いたものの平均値」を指し、
投票者100人の場合は投票点が高い10人と低い10人を平均値の計算から除外
投票者10人の場合は投票点が高い1人と低い1人を平均値の計算から除外
投票者10人未満は通常の平均値
といったような計算処理をおこなっています。
実際に、評価事例を見てみましょう。
・作品A
10:2
09:5
08:1
07:
06:1
05:
04:
03:
02:
01:
00:1
上記の評価分布がある作品において、単純な平均点は
(10*2+9*5+8+6+0)/10=7.9
となります。
では、この作品Aは7.9が適正な評価値でしょうか？
多くの人は、違うと感じます。10人のうち6人が10,9評価を投じており、さらにほかの人も平均より上の評価を投じています。ところが、たった一人の0評価が平均点を一気に引き下げているわけです。
もしかしたらこの人にとっては、この作品は何かが気に食わなかったのかもしれません。しかし大抵の人はこの作品を「良い作品だ」と判断しており、この0評価はかなり例外的な評価値であると解されます。
そこで、このような評価を補正するために調整平均が用いられます。作品Aは10人が投票しているので、高い1人と低い1人を除外して平均点を求めます。
(10+9*5+8+6)/8=8.62500
調整平均は8.62となり、先ほどの7.9と比べるとかなり上がっています。しかし評価分布と見比べた時に、適正と感じるのはこの8.62の値のほうであろうと思われます。
このように作品評価を独自のアルゴリズムで算出しているハーメルンでは、調整平均点が作品の面白さの指標として重んじられており、実際にこの点数が高いほど作品に品質・面白さが伴っていることも多いです。
平均点式による作品評価、およびランキング掲載は、とくにメリットとして以下のようなことが挙げられます。
１．組織票などで繰り上げられた作品が、適正評価値へと収束する
加点式のサイトでは、たとえ1評価であろうと1のプラスポイントになります。マイナスが存在しないので、どれだけ内容が悪かろうと目立てば目立つだけ有利であり、評価が内容とまったく合致しなくなります。
いっぽう平均点式の場合、内容が伴っていなければ低評価が下され、それは実質的に「マイナス」として機能します。さらに「調整平均」のようなアルゴリズムがある場合、総投票数が多くなるほど「高い票」も除外されていくので、つまらない作品は目立てば目立つほど評価が低くなります。
つまり、「面白い作品が上に居残れる」という環境になるわけです。
２．隠れた良作がピックアップされる
Web小説、というものはある要素が評価されやすい一方で、ある要素は敬遠されがちです。
例を挙げれば、「異世界転生モノ」はそれだけで読まれやすく、「文学」や「SF」などはきわめて読まれにくいジャンルになります。
しかし作品が面白いかどうか、良質かどうかはジャンルによって決まるわけではありません。本当はとても面白い作品であり、ピックアップされれば一気に支持が広がりうる作品というものも存在します。
そこで平均点式ならば、そのような「マイナージャンル」でも上位に上がる可能性があります。作品として優れているのであれば、人目に触れたことをきっかけに人気が出るということも考えられます。
前述したとおり、「ハーメルン」では実際にランキング操作などを評価システムによって防いでいます。
たまに複垢による投票なども存在しますが、頻繁にBAN対応などがなされていて、おそらくどの小説投稿サイトよりも不正の少ない場所と言えるでしょう。
「どうやったら不正な評価を防げるか？」を考える時に、ハーメルンの平均点式アルゴリズムは、きわめて参考になるものであると言えるでしょう。
レビューや感想などは、どうやって評価に組み込むか？
ところでWeb小説サイトによっては、レビューや感想などが書かれると、それが評価点としてポイントに加算されることがあります。
しかし、このレビューなどを適正にポイント化する方法はあるのでしょうか？
たとえば、以下のようなレビューが二つあったとします。
A:
この作品は、～～が非常に丁寧で……とくに○○なのが特徴です。
とくに～～における描写などは……であり……○○が素晴らしい。
ただ、惜しむらくは……の部分が〇〇であり……といったところが少し残念でした。
しかし全体的には……であり……今後のストーリー展開に期待しています。
B:
最高でした！
面白かったです！
この二つ、AとBのレビューや感想があったとします。
どちらの書き込みがされても、同じポイントが反映されたとしたら、それは適正でしょうか？
おそらくは、「AのほうがBより大きな影響力を持つべきだ」と考えるでしょう。レビューや感想として、信頼性がおけるのは詳細に記述しているAであることは疑いようがありません。
では、どうやって「レビューや感想の質」を求めればいいのか。
簡単なのは「参考になった/参考にならなかった」で投票可能にすることです。通販サイトのレビューなどと同じ方式ですね。
これを平均点の投票と組み合わせると、さらに発展的な評価アルゴリズムを作ることも可能になります。
たとえば、「レビューをする際には評価を付け加えることができる」ようにして、さらに「参考になった/ならなかったの割合で、評価の影響度が上下する」というシステムが考えられます。
【作品１】
評価分布（総評価数9）
10:1
09:5
08:1
07:
06:1
05:
04:
03:
02:
01:
00:1
レビューA:
評価点8 参考になった8/参考にならなかった2
この作品は、～～が非常に丁寧で……とくに○○なのが特徴です。
とくに～～における描写などは……であり……○○が素晴らしい。
ただ、惜しむらくは……の部分が〇〇であり……といったところが少し残念でした。
しかし全体的には……であり……今後のストーリー展開に期待しています。
レビューB:
評価点10 参考になった0/参考にならなかった9
最高でした！
面白かったです！
【アルゴリズム】
レビュー評価点=a
参考になった=b
参考にならなかった=c
[(1+b)/(1+c)]=d
レビューA …… [(1+8)/(1+2)]=3
レビューB …… [(1+0)/(1+9)]=0.1
平均評価点=[(レビュー評価を除いた評価の総計)+(a*d)]/(レビュー評価を除いた評価数+d)
計算例：
[(9*5+6+0)+(8*3)+(10*0.1)]/(7+3+0.1)=7.52475248
上記のアルゴリズムでは、参考になった/ならなかったの投票を基準にレビュー評価点の影響度合いが変化するように計算されています。
レビューAは3人ぶんの影響度を、レビューBは0.1人ぶんの影響度を持っていることになるわけですね。
つまり、ほとんど参考にならないレビューBの評価は、適正なものではないと判断されて平均点にほぼ影響されないように補正されることになります。
これはやや極端ではありますが、たとえば[(2+b)/(2+c)]=dのように基礎の分子分母を増やせば、変動をマイルド化することも可能でしょう。
いずれにしても、「評価に対して評価する」という二段階の手順を踏むことで、さらに安定的で信頼性のある作品評価が可能になるのではないでしょうか。
もっと根本的で簡単な不正対策は？
しかし上記のような複雑なアルゴリズムを考えなくても、もっと簡単で確実な組織票の対策があります。
それは「作者間の評価はそもそも評価値に影響しないようにする」ということです。
「評価をくれたからお返しに自分も相手の作品を評価する」
「こいつ低評価しやがった！ 俺も低評価を入れてやる！」
相互評価にはこういったものも考えられますが、しかしこれは作品が面白かったかどうかとは無関係な基準です。
もちろん相互評価クラスタのように露骨な評価行為でないにせよ、作者間の投票行為というものは非常に危ういものを孕んでいます。場合によっては、外野から見ると「こいつら相互評価しているだけなんじゃないか？」と疑われかねません。
であるならば、そもそも作者間の評価を無効にしておいて、読者に評価を委ねるのがもっとも確実で公正なのではないでしょうか。
たとえば出版化などをする場合は、出版物はけっして作家たちが身内で買うだけの代物ではありません。一般大衆に向けて、広く販売することが目的となります。
そのことを考えると、仲間内の作者間における評価といったものは、やはり収益化の観点からはアテになりがたいものでしょう。
いろいろなWeb小説サイトを見てきた私としては、読者のみの投票にランキングなどが左右される環境を望みたいところですね。
この記事が気に入ったらサポートをしてみませんか？