パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

少数のAnonymous Cowardによる大量投稿への対策」記事へのコメント

  • by brake-handle (5065) on 2003年09月16日 12時46分 (#398295)

    別件でtach氏にこの件は伝えてありましたが、編集サイドが陽に動いてしまったので、手元で調べたコメントおよびモデレーションの実態を公表します。公表によって測定対象であるコメントに変化が生じる恐れがあったので公開したくなかったのですが、「改善のため」といってしまえばいいのかな。

    以下、9月8日-9月14日の間に投稿された全ての記事に対するコメント、およびそれらに対して行なわれたモデレーションの実態集計です。もともとこの調査は、モデレートされるコメントの比率やそれによるスコアの分布などを把握しようと、個人的に始めたものです。tableタグが使えないので見苦しいですが、御容赦下さい。調査日は15日未明です。

    記事数: 48

    コメント数:

    • 全体 3203
    • ID 1076
    • AC 2127

    モデレーション:

    • あり 530 (ID: 223, AC: 307)
    • なし 2673 (ID: 853 AC: 1820)
    • 比率(%) 17 (ID: 21 AC: 14)

    スコア:

    • 平均 0.50 (ID: 1.26, AC: 0.12)
    • 標準偏差 0.62 (ID: 0.49 AC: 0.25)
    モデレーションクラッシュ(同じコメントに対するポジティブなモデレーションとネガディブなモデレーションの衝突):
    • 全体 22
    • ID 5
    • AC 17

    スコア分布:

    • 5 11 (ID: 9, AC: 2)
    • 4 13 (ID: 12, AC: 1)
    • 3 50 (ID: 41, AC: 9)
    • 2 193 (ID: 151, AC: 42)
    • 1 1030 (ID: 845, AC: 185)
    • 0 1849 (ID: 14, AC: 1835)
    • -1 57 (ID: 4, AC: 53)

    モデレーション分布(各コメントのヘッダに表示されるモデレーション理由):

    • すばらしい洞察 73 (ID: 25, AC: 48)
    • 興味深い 104 (ID: 53, AC: 51)
    • 参考になる 190 (ID: 94, AC: 96)
    • おもしろおかしい 93 (ID: 39, AC: 54)
    • オフトピック 19 (ID: 3, AC: 16)
    • フレームのもと 15 (ID: 2, AC: 13)
    • 荒らし 18 (ID: 2, AC: 16)
    • 余計なもの 18 (ID: 5, AC: 13)

    モデレーション操作分布(コメントに対して行なわれた全てのモデレーションの理由):

    • すばらしい洞察 84 (ID: 31, AC: 53)
    • 興味深い 117 (ID: 62, AC: 55)
    • 参考になる 204 (ID: 100, AC: 104)
    • おもしろおかしい 93 (ID: 38, AC: 55)
    • 過小評価 16 (ID: 7, AC: 9)
    • オフトピック 21 (ID: 3, AC: 18)
    • フレームのもと 17 (ID: 3, AC: 14)
    • 荒らし 20 (ID: 3, AC: 17)
    • 余計なもの 19 (ID: 4, AC: 15)
    • 買いかぶり 9 (ID: 4, AC: 5)

    このデータだけからわかることを少々。まず目につくのがコメント数と、そのうちモデレーションを受けたものの数の差です。ACのコメントはID行使者の2倍近くあるにも関わらず、モデレーションを受けたコメントの数では1.38倍に留まります。これは、ACではスコアの標準偏差がID行使者よりも小さくなることからもわかります。

    一方、スコア分布を見ると、単にACのコメントが多いことだけが問題ではなさそうです。スコアが4以上のコメントの数は、ID行使者では21あるにも関わらず、ACでは3しかありません。ACではモデレートされたコメントの絶対数が多いにも関わらず高スコアがつくコメントが少なくなっているわけです。スコア分布がID行使者と全く同じならば、スコア3で15、スコア4で12ぐらいはコメントがあってもよさそうです。この原因として、ACのコメントには質が良く、読むに値するものが少ないという可能性があります。もしそうならば、モデレータがACのコメントを読む気をなくしてしまい、モデレーションの対象にしないということも十分あり得ます。

    モデレーションおよびモデレーション操作の分布では、ネガティブモデレーションについてはACが圧倒的に多いです。おそらく落書きなのでしょう。ポジティブモデレーションでは、「すばらしい洞察」と「おもしろおかしい」についてはACが多く、その他はほぼ拮抗しています。「おもしろおかしい」は多分一発ギャグなんでしょうね。「すばらしい洞察」は推理に着目するので、証拠を示せる事実に基づいていなくても構わないということでしょうか。

    その他、モデレートされるコメントの比率については、私も少ないという印象を受けています [srad.jp]。直観ですが、本家だと確か5割ぐらいありました。

    今回の調査で思い知らされたのは、如何にACのコメントが数が多い割に読む価値があるものが少ないか(絶対数ではなく比率という意味で)ということでした。1週間分、2000以上のコメントのうちたった3個しか読む価値がないのでは、それを捜し出すためのコストは大き過ぎるでしょう。ただし、質が悪いとわかっていても、ACのコメントの数は減りません。おそらく、モデレータを含めたID行使者には読む価値がないが、AC同士でやり合うことには何か意味があるのかも知れません。

    最後に、この場を借りてお願い致します。モデレーションのうち「買いかぶり」「過小評価」は、コメントに向けたものではありません。「買いかぶり」は大きくなり過ぎたスコアを落す、「過小評価」は低過ぎるスコアを引き上げるためのモデレーションです(ゆえにこれらはコメントのヘッダには現れない、slash 2.2.6で確認済)。訳もあまりよろしくないのですが、誤用されている例がいくつかあるのでモデレータの方は十分ご注意下さい。

    • by QwertyZZZ (8195) on 2003年09月16日 13時10分 (#398319) 日記
      一方、スコア分布を見ると、単にACのコメントが多いことだけが問題ではなさそうです。スコアが4以上のコメントの数は、ID行使者では21ある にも関わらず、ACでは3しかありません。ACではモデレートされ たコメントの絶対数が多いにも関わらず高スコアがつくコメントが少なくなって いるわけです。スコア分布がID行使者と全く同じならば、スコア3で15、スコア4で12ぐらいはコメントがあってもよさそうです。この原因とし て、ACのコメントには質が良く、読むに値するものが少ないという可能性があります。もしそうならば、モデレータがACのコメントを読む気をな くしてしまい、モデレーションの対象にしないということも十分あり得ます。
      IDのスコア4と比較されるべきはACのスコア3ではないでしょうか?

      そうすれば、

      >スコア3で15、スコア4で12ぐらいはコメントがあってもよさそうです。

      スコア2で54、スコア3で12ですから十分問題無いレベルとも見れますが。

      親コメント
      • 先のスコア分布は、各スコアにぴったり一致するコメント数です。閾値変更時に現れる、低いスコアのものを含めた累積コメント数ではありません。その上で、スコア3で15程度というのは、「スコアが3ぴったりのコメントが15個程度」の意味です。

        で、モデレートされたコメントだけを見れば、ACのコメント数はID行使者の1.3倍程度。だから、モデレーションによるスコアのばらけ方が同じならば、例えばACのスコア3はID行使者のスコア4の1.3倍、15程度になるのではということです。

        親コメント
        • 別ACです。

          先のスコア分布は、各スコアにぴったり一致するコメント数です。閾値変更時に現れる、低いスコアのものを含めた累積コメント数ではありません。その上で、スコア3で15程度というのは、「スコアが3ぴったりのコメントが15個程度」の意味です。

          そういう話なのではな

          • それを見越して計算しても
            スコア5and4 は 18件ほしいところ 計3件、
               3    は 24件ほししところ  9件、
               2    は 81件ほしいところ  42件、
               1    は 298件ほしいところ 185件
            に見えるんですが。(マイナスモデは按分比による数36に対し実数53)

            モデなしを抜いて計算しても
            スコア5and4 は 12件ほしいところ
               3    は 17件ほししところ
               2    は 56件ほしいところ
            に見えます。(その下はスコア1が123, 0が74, -1が25)
            #下の表をM$なソフトで作った上にそいつが重いんでAC
            --
            計算表のSYLKファイル:

            ID;PWXL;N;E
            P;PGeneral
            • にしても、それはモデレーション自体にはバイアスが掛かっていない前提でなければ書き込みの質の直接比率にはならない筈。
              そして、これみたいな [srad.jp]実際にバイアスを掛けているという意見もある以上は、参考程度にしかならないのでは?

              また、確かにAC使っての荒し行為はあります。
              が、ACで真面目に書きこまれている人達の質を云々するには、ACでの明らかな荒しを排除した数でも比較しないといけないのでは?

              親コメント
    • >今回の調査で思い知らされたのは、如何にACのコメントが
      >数が多い割に読む価値があるも のが少ないか(絶対数では
      >なく比率という意味で)ということでした。

      わたしゃ、モデ券がまわってきても、前提としてACはよけて貼って
      ますが。

      ID氏諸氏の長期的評価のことを考えてね。

      そういう人は少ない?
      --
      IN EARTH AND SKIE AND SEA STRANGE THYNGES THER BE.
      親コメント
      • ACは基本的に匿名にしないと書けない臆病者さん用なので
        よほど重要でないもの以外はモデレートしないほうがいい
        と私は思っています。
        匿名にしないと書けないようなネタ用ですよね?
        元々は。
        親コメント
        • >ACは基本的に匿名にしないと書けない臆病者さん用なので
          >よほど重要でないもの以外はモデレートしないほうがいい
          >と私は思っています。

          逆にしないとフィルタリングが使えません。
          現状、スコア1で見るとまともにストーリーすら追えない事が多いです。
          その主要な原因はACがスコア0から始まりからで、ほとんどモデされないからですよね。
          スコア1できちんとフィルタリングしてストーリーを辿る為にはACの穴を塞がないといけません。
          ということは、ストーリーに添った意見であればAC意見はとりあえず+1を行う必要があります。

          逆にそれさえ出来れば、多少の荒しなんかスコア1で読んでいけば何も問題ないのですが。

          という事で、とりあえず「ACだから」とプラスモデを控えるってのを辞めれば少しはマシに使えるのでは?とか思いますが。

          親コメント
          • 私は普段閾値を1にしてますが、結構この状態が気に入ってます。
            で、たまにいいこと言ってるのに「~~~だからAC」などと言って
            ACで投稿してるのがあるとちょっとがっかりします。
            世間的にアカウントを隠す必要が無いような内容で無ければIDで
            書き込めばいいのになぁと思います。
            (モデレートされて見えるようになってるのだけでもちょくちょく
            あるのでほんとはもっとあると思います)
            親コメント
        • 現状ではわざわざ匿名にしているのではなくわざわざIDにしていない人が多いと思われ。
      • >そういう人は少ない?

        もし多いなら、AC書き込みはモデレーションで過小評価されやすいということですから、このこと [srad.jp]とあわせて考えると、ACの方がよい書き込みの比率が高いということになりますね。

        そして荒らしの比率も高い。
    • >モデレーション操作分布(コメントに対して行なわれた全てのモデレーションの理由):

      の項目でモデレートの数を合計すると、約600ですね。全コメント数に対して約2割。本家に行ってストーリーをいくつか見てみましたが、概算*でもコメントと同数前後のモデレートがあるようです。

      というわけで、なによりもまずモデレートの総数が少なすぎるないんじゃないかと。M1権の発行数そのものが少ないのか、行使される比率が低いのかわかりませんが。

      *「しきい値を変更」のプルダウンから各ポイントの記事を数えた。
      親コメント
    • > このデータだけからわかることを少々。

      とか言いつつ、
      その後に続くのが憶測にすぎないのはいかがなものか。

      > 「おもしろおかしい」は多分一発ギャグなんでしょうね。
      > 「すばらしい洞察」は推理に着目するので、
      > 証拠を示せる事実に基づいていなくても構わないということでしょうか。

      ACは一発ギャグしか書けな
      • >実際のところ、この方はIDだが、
        >彼が上げた「事実」(客観的事実である数字)は、
        >彼の推理の証拠にはなっていない。

        「推理の証拠」のためにデータ使っていると考えた理由はなんでしょう?

        データを見て、自分なりの論理で意見を述べているだけと思うのですが。
        --

        本当かい♪本当かい♪
        親コメント
        • 推理の書き出しを「このデータだけからわかること」としているから。
          • うわ、自分のコメントがダメですねw

            証拠になってない理由を聞きたかったんだったw

            「証拠」ってなんか変な言い回しに見えるけど、それはさておき。
            --

            本当かい♪本当かい♪
            親コメント
          • その割には、「改善点が書いてないじゃないか」という、もっと大事なツッコミはできないのね... (書いてからタイトルの付け方を間違えたと気がついたけど)

            ただ、このように重箱の隅をつつくようなコメントを大量につぎこんで話を混乱させるというのは、ID行使者では見た記憶がありません。やっぱりそこがACとID行使者の違いなのかなぁ...

            • by Anonymous Coward on 2003年09月16日 14時26分 (#398372)
              その割には、「改善点が書いてないじゃないか」という、もっと大事なツッコミはできないのね
              いえ、偏見と先入観のために、こんなに単純な数字の解釈さえ冷静にできないようなアカウント持ちからは有益な改善の提案など期待できない、と判断されただけだろうと察します。
              このように重箱の隅をつつくようなコメント
              ということにしたいのですね。
              ID行使者では見た記憶がありません。
              そうですか。さんざん見た記憶があります。
              やっぱりそこがACとID行使者の違いなのかなぁ...
              そうですね。IDというくだらぬ面子にこだわるあまり、素直に自分の発言の非を認めることができないところがACとは違いますね。
              親コメント
              • でしたら、逆になぜあなたは/.-Jに来ているのですか? ID行使者から有益な情報が得られないというのならば、別に本物の匿名掲示板だけで十分じゃないですか。

              • > IDというくだらぬ面子にこだわるあまり、素直に自分の発言の非を認めることができないところがACとは違いますね。

                自分の発言の非を認めてるACも見たことがねーよ。

                #煽りです。
                #実際には AC でも ID でも自分の非を認めたコメントは見たことがあります。
                #(しかし、ACの場合は本人かどうか確証は取れてないですが)

                あーあ、やめようよ、低レベルのいちゃもんつけるの。
                特定の
              • 自分の発言の非を認めてるACも見たことがねーよ。
                このコメント [srad.jp]なんて、ほんとに申し訳なさそうにあやまってますよね。ま、ちょっと気づいただけで、どうでもいいんですけど。
              • よーし、パパ頑張ってAC叩いちゃうぞ~。

                というより、ネタとして「悪玉AC」を演じてるように見えて
                しょうがないんですが・・・。
                皆さん本気でID vs AC なんて妙な戦いをしたいわけじゃないでしょ?

                # 温玉ぶっかけが美味しかったのでID
                --

                --- (´-`)。oO(平和な日常は私を鈍くする) ---
                親コメント
              • >ID行使者から有益な情報が得られない

                いつからそういう話になったんですか?

                >本物の匿名掲示板だけで十分じゃないですか。

                何が十分なんですか?あなたはここに”ID行使者から有益な情報を得るため”に来ていると?

                もしそうだとしても、他の人が/.Jに来る目的をあなたに決めつけられる筋合いは有りませんよ。
              • >皆さん本気でID vs AC なんて妙な戦いをしたいわけじゃないでしょ?

                まあ、余程の喧嘩好きでなければそれが主目的という人は居ないでしょう。

                ただ、今回のbrake-handleや、いつぞやの [srad.jp] yasudas [srad.jp]、chanbaba、Ryo.F [srad.jp]のように
                AC
            • 等と言う逃げは、(ACは元々逃げていて、更に逃げを打つ必要も無いので、)ID独特のモノですよね。

              # 重箱の隅なツッコミはスルーなの?
              • あんただって逃げてんじゃん、ココは文章の書き方を考えるところじゃないんだから。
              • by Anonymous Coward
                > あんただって逃げてんじゃん、

                だから、
                ACは元々逃げた場所に居るから更に逃げる必要は無いって言ってるだろ?
                どの文章のどの部分が何から逃げてるって言うんだい?

                ツッコミました。「重箱の隅」とスルーさ
    • データの提出、冷静な記述、真摯な姿勢に感謝します。どうもありがとう
      --

      ------
      世界は狭いし唯1つだよ 仲良くしようぜ基地外どもゆ?
      個人情報の秘匿WA破滅eNO第一歩也。

192.168.0.1は、私が使っている IPアドレスですので勝手に使わないでください --- ある通りすがり

処理中...