Greg Linden spekuliert über die Zukunft der Federated Search

In aller Kürze empfohlen: Eine anregende kleine Lektüre einschlieÃ?lich weiterführender Links nicht nur für Freunde der Suchmaschinentechnologie, sondern auch für Google-Kaffeesatzleser. (Federated Search und die OpenSearch-Initiative waren bei netbib hier, da und dort schon mal Thema.)


0 Gedanken zu „Greg Linden spekuliert über die Zukunft der Federated Search

  1. Hans-Werner

    Ich glaube nicht, dass Jakob jetzt speziell auf das Posting anspielte. Ich stimme aber ansonsten zu: Wenn der Begriff “Suchmaschinentechnologie” fällt — und das jetzt nicht wirklich nur zur Kategorisierung von Technologie — steckt meistens Unwissenheit oder aber das gezielte Ansprechen der Unwissenheit anderer (“Marketing”) dahinter. “Wir setzen jetzt auf Suchmaschinentechnologie”, “basiert auf Suchmaschinentechnologie”, … — alles nur blabla. Öbrigens auch, ein “2.0” irgendwo hinter zu schreiben (real men write ChangeLogs), aber, ach, geschenkt 🙂

  2. Lambert Heller Beitragsautor

    Hallo Jakob, ehrlich gesagt kann ich deinen Vorwurf, von wegen verstecktes Unwissen, nicht so ganz verstehen. Was ist das Problem? Gehen wir es der Reihe nach durch: Ich kenne den Unterschied zwischen Federated Search und Metasuche, und glaube, obwohl Suchmaschinentechnologie (ach, so darf ichs ja nicht nennen: Die Funktionsweise von Suchmaschinen, ist das so genehm?) nicht mein Spezialgebiet ist, dem Beitrag von Greg Linden eine interessante Öberlegung entnehmen zu können. Daraufhin habe ich hier darauf hingewiesen, ohne weitere Begründung. Damit habe ich offenbar eine angeregte kleine Diskussion in den Kommentaren ausgelöst. So, und nun kommst du und sagst, ebenfalls ohne weitere Begründung, man solle sich den Workshop in Regensburg anschauen. Auch gut. Aber inwiefern ist das jetzt ein Einwand gegen den Hinweis auf Greg Linden? Und inwiefern ist die Diskussion hier bloßes Lamentieren gewesen?

  3. Jakob

    Das mit dem unsachlichen Sprachgebrauch ist schon blöd. Wie wäre es, statt über “Föderierte Suche” oder “Metasuche” zu lamentieren und seine Unwissenheit hinter Begriffen wie “Suchmaschinentechnologie” zu verstecken, sich an den Stand der Wissenschaft zu orientieren und konkret zu sagen, welcher Algorithmus an welcher Stelle verwendet wird? Im September ist beispielsweise in Regensburg der International Workshop on Text-based Information Retrieval, daran sollte man sich orientieren.

  4. till

    Mathematisch ist es schon möglich, einen “föderierten Vektorraum” zu konstruieren, der dann auch ein “föderiertes relevance ranking” erlaubt. Das stellt aber gewisse Anforderungen an die beteiligten Indexe und es muss insbesondere möglich sein, einige statistische Daten über diese Indexe auszutauschen. Das scheitert aber schon an “geschlossener” Software, die diese Daten nicht hergibt.
    Ein wesentlicher Unterschied bei diesem Verständnis von “Metasuche” im Vergleich zu “föderierter Suche” war wohl, dass bei Metasuche eben Trefferlisten heruntergeladen und dann “gemischt” werden (nach irgendwelchen Kriterien eine Gesamtliste erzeugen). Ein echter Fortschritt der föderierten Suche wäre es, wenn dieser zeitintensive Prozess entfallen könnte und die Treffer eben aus den föderierten Indexen einzeln nach ihrer Relevanz geordnet abgerufen werden könnten. Das setzt aber vorraus, dass innerhalb der Föderation die Ordnung der Treffer zu einer Suchanfrage berechnet werden kann, ohne erst jeden einzelnen Treffer wieder mit allen anderen zu vergleichen. Theoretisch lösbar.
    Damit, dass jeder Treffer einen Rankingwert mitliefert, ist relativ wenig gewonnen, wenn sich dieser Wert nicht auf den gesamten föderierten Index bezieht, sondern nur auf den “lokalen”. Denn dann braucht man immernoch alle Treffer, um sie zu sortieren. Außerdem sind diese Werte für ein relevance ranking unbrauchbar, weil sie in Bezug auf den föderierten Index falsch berechnet sind. Dass das zusätzlich allerlei Missbrauch erlaubt (wenn ich “meine” Treffer immer am Anfang der Liste haben will, verschöner ich halt meine Rankingwerte), kommt erschwerend hinzu. Es macht aber schon technisch keinen Sinn…

  5. Hans-Werner

    In der Tat. Wenn nicht sogar ein absolut faktisch unmögliches Vorhaben, jedenfalls bei vernünftigem Ranking. Wie man sinnig einen gemeinsamen Vektorraum für ein Ranking auf die Beine stellen will, verrät jedenfalls leider keiner der deutschen Geld-in-Vascoda-Pumper. Und die Förderer sind leider nicht clever genug, da mal nachzufragen. Letztlich ist vermutlich der einzig gangbare, aber immer noch nicht manipulationssichere (ja, es gibt kommerzielle Interessen) Weg, Wortlisten zu aggregieren und zentral einen Index zu erstellen.

  6. till

    Man sollte vielleicht anmerken, dass in Deutschland verbreitet, insbesondere geprägt durch den Sprachgebrauch bei einem Großprojekt im Bibliothekswesen, unter “federated search” etwas anderes als unter “Metasuche” verstanden wird. In eben jenem Projekt vollzog man auch den Schwenk von der “Metasuche” mit ihren bekannten (und in dem Blogartikel angesprochenen) Problemen hin zu einer zentralen Indexierung der Daten. Eine zentrale Indexierung aller gewünschten Datenbestände lässt sich bei diesem Projekt aber in der Praxis kaum umsetzen, u.a. wohl auch aus den im letzten Abschnitt des Artikels von Prof. Goldman genannten Gründen. “Föderierte Suche” soll die Kluft zwischen langsamer, technisch schwieriger, ausfallanfälliger, immer von den ausgefeilten Suchmöglichkeiten eines Systems “abstrahierender” … Metasuche und einem einheitlichen Index schließen, indem unterschiedliche “Suchmaschinentechnologie” nach Außen als ein einheitlicher Index (mit einheitlichen Suchfeatures, einheitlicher Indexierung, einheitlichem relevance ranking. performant usw.) erscheint. Das ist in der Praxis allerdings ein sehr anspruchsvolles Vorhaben.