ひとりごと

新しい記事:[1453]  古い記事:[1451] 表示単位 :

ついったー[おとなり日記] かがみさん Y.Kumagaiさん

2005/03/27 (日)

・ bsfilter その後

数日間使ってみましたのでここらで評価してみることにします。まず結論から書いておくと、 bsfilterは日本語スパムをほとんど撃退してくれるのです。下記はそれぞれのフィルタで補足した/できなかった数です。評価期間は3/22~3/27の6日間、既存フィルタとはSpamAssassinを少しカスタマイズしたものにprocmailである程度レシピを書いたものです。bsfilterはまだ評価中ですのでヘッダに追記だけ行いメールボックスにはそのまま届くようにしてあります。

状況数量
既存フィルタで捕捉、bsfilterで見逃し16
既存フィルタで見逃し、bsfilterで捕捉10
双方で見逃し2
双方で捕捉653

試用期間中に6百通以上のスパムが来たわけですが、両方のフィルタをくぐり抜けたのはたった2通でした。bsfilterを2日ほど使ってみて、案外好調だったので .procmail を修正し、bsfilterでスパム判定であればメールボックスには届けるがケータイには飛ばさないようにしていました。このおかげでケータイがスパムで鳴ることはほとんどありませんでした。

特筆すべきことは「既存フィルタで見逃し、bsfilterで補足」の10通中9通は日本語スパムだったのですね。うちのスパムフィルタは日本語スパムだけが対処に困るという状況でしたので、bsfilterはまさに救世主です。双方で見逃した2通も学習させることによりスパムと判定するようになりました。bsfilterは学習させればどんどん賢くなります。

次は、SpamAssassinとbsfilterでスパム判定が食い違ったメールについて考察してみましょう。表中の番号はMHのファイル名ですので関係ありません。

  1. 既存フィルタで捕捉、bsfilterで見逃し
    No.SpamAssassinbsfilter
    3510513.80.66
    3510624.20.72
    351687.80.5
    352225.10.52
    3524118.80.90
    352436.60.54
    352728.20.50
    352737.70.50
    3535010.80.50
    353588.40.89
    3536811.30.73
    353877.50.76
    3541110.10.79
    3545814.10.65
    3555310.20.51
    356757.20.93

  2. 既存フィルタで見逃し、bsfilterで捕捉
    No.SpamAssassinbsfilter
    5353.21.0
    5362.61.0
    537-2.10.99
    5394.41.0
    5401.21.0
    5410.01.0
    5422.51.0
    543-2.10.99
    87810.41.0
    88074.91.0

ここで注目すべきは(2)でのSpamAssassinでのスコアの低さ。5.0以上ならスパムと判定しているのですが、中にはマイナスになっちゃってるのもあります(笑)。SpamAssassin内ではBAYES_00~50ぐらいで評価されているので、このスコアはゼロとかマイナスになります。で、このメールに関してだけ言うと、bsfilterはスパム率1.0か0.99と判定していますから驚異の判定率なわけですね。

とはいえ (1)の結果から判断すれば、bsfilter単体で動かすと「見逃すことがある」もしくは「まだ学習が足りない」ということになりますから、SpamAssassinと併用したほうが良いでしょう。(2)でのスコアがあまりにも低すぎますからbsfilterの結果をSpamAssassinの加点にするのは得策とはいえません。現時点でbsfilterが非スパムをスパムと誤判定したことはありませんが、試用期間が短いのでbsfilterのスパム率を過信するのもちょっと問題。

ということで、要はスパムがケータイまで飛んできてぴらりら着信音が鳴るのが嫌なだけですから、当面は『bsfilterでスパム判定されたメールはケータイには飛ばさない』という運営でよいでしょう。

□ 関連記事

[つっこみ]

新しい記事:[1453]  古い記事:[1451] 表示単位 :
※このページへのリンクは自由です。リンクの方法については[つっこみ]で表示されるページの最後をごらんください。
たかたに(takatani@mars.dti.ne.jp)