IBM hilft Webcrawlern durch dynamische Seiten

Vor allem E-Commerce-Seiten sind dynamisch, was die Indexierung mit der so genannten ‘Spidering-Technologie’ oder mit Webcrawlern erschwert oder verhindert.

IBM wird ‘WebSphere Commerce’ in der nächsten Version 5.6.1 mit einem Webcrawler aufpeppen, der auch dynamische Seiten durchsuchen kann. Vor allem E-Commerce-Seiten sind dynamisch, was die Indexierung mit der so genannten ‘Spidering-Technologie’ oder mit Webcrawlern erschwert oder verhindert.

Dabei springt die Software von Link zu Link und meldet die Ergebnisse an eine Suchmaschine. Dynamische Seiten bauen sich je nach Nutzer mit verschiedenen Inhalten auf. Ein Einkäufer bei Amazon, der bisher nur klassische Musik eingekauft hat, bekommt eine Seite mit den für ihn passenden Angeboten. Dabei werden automatische URLs mit vielen Sonderzeichen erstellt, über die ein ‘Spider’ stolpert und dann keine Ergebnisse mehr liefert. Daher weichen viele Händler auf Drittanbieter aus, die Inhalte auf durchsuchbaren statischen Seiten vorhalten.

IBM löst dieses Problem, indem die automatische Zeichenfolge ausgeblendet wird. Dadurch kann die Software auch die Angebote von Online-Retailern durchforsten. Das neue IBM-Feature ermöglicht es so, auch veränderte Angebote, neue hinzugekommene Kategorien und Unterkategorien zu erfassen. Das WebSphere-Feature bietet darüber hinaus Unterstützung für Site-Maps, die die Suche zusätzlich vereinfachen soll. Weitere Informationen und Tipps für die Verwendung will IBM bei der Veröffentlichung bekannt geben. Die Commerce Business Edition wird voraussichtlich 125.000 Dollar kosten. Die Professional Edition 80.000 und eine Expressversion kommt auf 20.000 Dollar pro Prozessor.