グーグルはどうやってWebスパムと闘っているの？
2014年2月13日
カテゴリー :
日々、グーグルはどのようにしてWebスパムと闘っているのか、
みんなの疑問にマットカッツ氏が答えています。
検索スパムチームメンバーの1日とはどのようなものなのでしょうか？
Webスパムチームは、マニュアルスパムファイターとエンジニアで構成されています。
それでは、マニュアルスパムファイターである場合、どんな毎日を送っているのでしょうか？
マニュアルスパムファイターには、「現状の対応」と「先を見越した対応」が求められます。
現状の対応とはどういうことかというと、グーグルには毎日膨大な数のスパムレポートが届きます。
そのスパムレポートを検証し、スパムであれば、検索エンジンや検索結果に影響を与えないように
対応します。その過程として、優秀なスパムファイターは、スパムのパターンを見出して先を見越し
てスパム対応をします。
なぜそんなに検索結果で上位表示されるのか、影響を与えているものは何か、
どんな方法でスパムを排除したらいいか、などを順序立てて考えていきます。
これがスパムファイターにとっては、楽しいのだそうです。
その際、スパムファイターはエンジニアと協力してちょっとした微調整をしたり、
スパマーが使っているテクニックを見抜いたり、時にはそのスパマーを特定したりもします。
では、エンジニアはどんなことをしているのでしょうか？
エンジニアは、データーを解析したり、いままでのスパム事例を検証したりしています。
毎日、スパムを撃退するアイディアを考え→コーディングして→テストする、の繰り返しです。
アルゴリズムは一つではなく、たくさんのアルゴリズムがそれぞれの目的のために存在して
います。よく知られているペンギンアップデートは、スパムリンクの排除はできますが、
ハッキングなどには対応していません。そのため、ハッキングに関するアルゴリズムは
また別に対応策を検討する必要があります。
スパムサイトが存在することでユーザーが困ることがないように、ユーザーがスパムを見つける前に、
日々のデータを分析し、テストしてスパムを排除していく作業を毎日毎日繰り返しています。
何がスパムのトレンドか、何が新しいタイプのスパムなのか、
マニュアルチームやエンジニアなど、世界中からの情報をもとに分析しているのです。
グーグルはどのように検索アルゴリズムの更新を決めて、新しいアルゴリズムが
登場するのでしょうか？
グーグルは、一つずつのアルゴリズムに対して、「効果があるのか？」
「新しいアルゴリズムが加わったけどこのアルゴリズムは今でも必要なのか？」という
チェックを常に行っています。品質管理チーム、ナレッジチームは、どうすればいいか
考えることに関してとても優れています。
スパムを見つけるために、たくさんのトリップワイヤー（スパムに対する罠）を仕掛けて
新しいタイプのスパムに対応するアルゴリズムを探しています。
世界中に膨大なスパムが存在し、また作られています。
スパムの変化はとてもダイナミックで、スパムを取り巻く状況は常に変化しています。
1年の最初に発表した計画と、年の終わりに成し遂げたことが違うことがよくありますが、
その時々の状況にうまく対応して問題を一つずつ解決しながらアルゴリズムを更新しています。
アルゴリズムが廃止されることは、絶対にないのでしょうか？
グーグルは、検索結果の順位決めに絶対に口外しない原理原則をもっていますが
グーグルはいつでも最善の方法を探しています。
もし、現在の検索結果の順位決めの方法よりもいい方法が見つかれば、
たとえば、エレガントで、欠点がなく、簡潔で、シンプルな方法が見つかれば
アルゴリズムのあり方は変わるかもしれません。
（が、今すぐにアルゴリズムが無くなることはなさそうです）
参考サイト：
What's it like to fight webspam at Google?
