数日間使ってみましたのでここらで評価してみることにします。まず結論から書いておくと、 bsfilterは日本語スパムをほとんど撃退してくれるのです。下記はそれぞれのフィルタで補足した/できなかった数です。評価期間は3/22～3/27の6日間、既存フィルタとはSpamAssassinを少しカスタマイズしたものにprocmailである程度レシピを書いたものです。bsfilterはまだ評価中ですのでヘッダに追記だけ行いメールボックスにはそのまま届くようにしてあります。

試用期間中に6百通以上のスパムが来たわけですが、両方のフィルタをくぐり抜けたのはたった2通でした。bsfilterを2日ほど使ってみて、案外好調だったので .procmail を修正し、bsfilterでスパム判定であればメールボックスには届けるがケータイには飛ばさないようにしていました。このおかげでケータイがスパムで鳴ることはほとんどありませんでした。

特筆すべきことは「既存フィルタで見逃し、bsfilterで補足」の10通中9通は日本語スパムだったのですね。うちのスパムフィルタは日本語スパムだけが対処に困るという状況でしたので、bsfilterはまさに救世主です。双方で見逃した2通も学習させることによりスパムと判定するようになりました。bsfilterは学習させればどんどん賢くなります。

次は、SpamAssassinとbsfilterでスパム判定が食い違ったメールについて考察してみましょう。表中の番号はMHのファイル名ですので関係ありません。

1. 既存フィルタで捕捉、bsfilterで見逃し
   

   No.	SpamAssassin	bsfilter
   35105	13.8	0.66
   35106	24.2	0.72
   35168	7.8	0.5
   35222	5.1	0.52
   35241	18.8	0.90
   35243	6.6	0.54
   35272	8.2	0.50
   35273	7.7	0.50
   35350	10.8	0.50
   35358	8.4	0.89
   35368	11.3	0.73
   35387	7.5	0.76
   35411	10.1	0.79
   35458	14.1	0.65
   35553	10.2	0.51
   35675	7.2	0.93

2. 既存フィルタで見逃し、bsfilterで捕捉
   

   No.	SpamAssassin	bsfilter
   535	3.2	1.0
   536	2.6	1.0
   537	-2.1	0.99
   539	4.4	1.0
   540	1.2	1.0
   541	0.0	1.0
   542	2.5	1.0
   543	-2.1	0.99
   8781	0.4	1.0
   8807	4.9	1.0

ここで注目すべきは(2)でのSpamAssassinでのスコアの低さ。5.0以上ならスパムと判定しているのですが、中にはマイナスになっちゃってるのもあります(笑)。SpamAssassin内ではBAYES_00～50ぐらいで評価されているので、このスコアはゼロとかマイナスになります。で、このメールに関してだけ言うと、bsfilterはスパム率1.0か0.99と判定していますから驚異の判定率なわけですね。

とはいえ (1)の結果から判断すれば、bsfilter単体で動かすと「見逃すことがある」もしくは「まだ学習が足りない」ということになりますから、SpamAssassinと併用したほうが良いでしょう。(2)でのスコアがあまりにも低すぎますからbsfilterの結果をSpamAssassinの加点にするのは得策とはいえません。現時点でbsfilterが非スパムをスパムと誤判定したことはありませんが、試用期間が短いのでbsfilterのスパム率を過信するのもちょっと問題。

ということで、要はスパムがケータイまで飛んできてぴらりら着信音が鳴るのが嫌なだけですから、当面は『bsfilterでスパム判定されたメールはケータイには飛ばさない』という運営でよいでしょう。