Wie vertrauenswürdig sind Gartners "Magic Quadrant" oder Berichte anderer Analysten?

Die Marktanalysen von  Gartner, IDC oder Forrester werden im Markt sehr beachtet und sind oft kaufentscheidend. Gartner ist der Branchenprimus und exemplarisch für andere Analysten.

Nach einer umfangreichen Evaluation des Gartner Leaders im "Magic Quadrant" im Bereich CRM- und Leadmanagement stelle ich die Zuverlässigkeit der Gartner "Magic Quadrant" Bewertung in Frage, anhand eines Fallbeispiels aus unserer Praxis.

Vorab möchte ich an dieser Stelle Wikipedia zitieren:
"Magic Quadrant (MQ) ist eine Reihe von Marktforschungsberichten des IT-Beratungsunternehmens Gartner, die sich auf proprietäre qualitative Datenanalysemethoden stützen, um Markttrends wie Richtung, Reife und Teilnehmer aufzuzeigen. Ihre Analysen werden für mehrere spezifische Technologiebranchen durchgeführt und alle 1-2 Jahre aktualisiert.

Kritik
Es wurde darauf hingewiesen, dass die Kriterien für den Gartner Magic Quadrant eher für Investoren und große Anbieter als für Käufer gelten. Ein Großteil der Kritik konzentriert sich auf die mangelnde Offenlegung des Geldes, das von den bewerteten Anbietern erhalten wurde, was zu Interessenkonflikten führt.

Kritikpunkt ist auch die mangelnde Offenlegung der Komponentenbewertungen des Anbieters und die mangelnde Transparenz der Gartner-Methodik zur Ableitung der Position des Anbieters auf der MQ-Karte.

Der Magic Quadrant und Analysten im Allgemeinen verzerren auch den Markt: Laut Untersuchungen ändern sie diesen Markt durch Anwendung ihrer Methoden zur Beschreibung eines Marktes, um ihn an ihre Tools anzupassen.

Ein weiterer Kritikpunkt ist, dass Open-Source-Anbieter von Analysten wie Gartner nicht ausreichend berücksichtigt werden.

Gartner war das Ziel einer Bundesklage (eingereicht am 29. Mai 2009) des Softwareanbieters ZL Technologies, in der die „Legitimität“ des Magic Quadrant-Bewertungssystems von Gartner in Frage gestellt wurde. Gartner reichte einen Antrag auf Abweisung ein, indem er den Schutz der ersten Änderung beantragte, da er behauptet, dass seine MQ-Berichte "reine Meinung" enthalten, rechtlich gesehen bedeutet Meinung, nicht auf Tatsachen beruhen. Das Gericht warf den ZL-Fall zurück, weil ihm eine spezifische Beschwerde fehlte. Diese Entscheidung wurde im Berufungsverfahren bestätigt."

Quelle: Wikipedia (Übersetzung aus dem Englischen)


Was erwarten Sie von einem Leader in einem hart umkämpften Markt mit hunderten von CRM- und Leadmanagement Lösungen? Professionalität!

Nachfolgend ein Auszug meiner Rückmeldungen an den 2019 Leader im "Magic Quadrant" im Bereich CRM-BPM und Leadmanagement:

« Nachdem wir von der guten Bewertung von Gartner und Forrester für Ihre CRM-BPM-Lösung angezogen wurden, kamen wir zu folgendem Ergebnis.

Um unser Feedback zu verstehen, einige Informationen über unsere Unternehmenswerte: Deutsche und Schweizer Geschäftsleute mögen unseren Ansatz, direkt und ehrlich zu sein. Das ist mit ein Grund, warum sie bei uns bleiben. Wir sind seit 20 Jahren CRM-Experten und nicht nur Verkäufer, die oft oberflächliche Versprechungen machen, die im Detail nicht gehalten werden.

Feedback zu unserem Produkttest (Leader im "Magic Quadrant" im Bereich CRM- und Leadmanagement):

  1. Manchmal ist die Demo sehr langsam. Ich sehe viele Verbindungsfehler im Browser wie Fehler beim Verbindungsaufbau
  2. Ich mochte die Android-App, war aber überrascht, wie wenige Leute sie verwenden.   
  3. Keine einmalige Anmeldung nach der Demo-Registrierung! Sie müssen sich erneut anmelden, um Zugang zur Akademie zu erhalten.
  4. Der Link mit der Begrüßungsmail führt zu einem Test in der Akademie, aber das Test-Login funktioniert dort nicht.   
  5. Die Marketingformulare erfordern eine HTML-Bearbeitung. Was sind die Pläne für einen WYSIWYG-Editor, wie die meisten Mitbewerber sie anbieten? Nach unserer Erfahrung möchten Marketer Kampagnen schnell und eigenständig einrichten, und Codierung ist dabei ein großes Hindernis.
  6. Gleiches gilt für die Nurtures. Es war schwierig für mich, die Nurtures zu finden (anscheinend als Kampagnen eingerichtet) und die Abläufe zu verwalten. Das BPM-Modell hat hier seine Komplexität für einen nicht erfahrenen Benutzer. Mir fehlten benutzerfreundliche Prozessausschnitte oder -bedingungen wie "In xx Tagen wurde kein Link geöffnet" und ein Beispiel für einen Double-Opt-In-Prozess.
  7. Andere Benutzer von trustradius.com schreiben dasselbe. Das CRM-BPM-Marketingmodul ist nicht benutzerfreundlich. Das Marketing Handbuch (PDF) mit 1211 Seiten bestätigt dies. Analysieren Sie die Mitbewerber und lernen Sie von ihnen. Heutzutage sind Videotrainings und Direkt-Hilfe erforderlich für benutzerfreundliche Anwendungen.


Feedback zum Marketingprozess (Leader im "Magic Quadrant"  im Bereich CRM und Leadmanagement):

  1. Der Geschäftsprozess und die "Customer Journey" waren verwirrend. Ich wurde per E-Mail von drei verschiedenen Personen angesprochen: Account Manager, CEO und Partner Development Director.
  2. Nach der Registrierung erhielt ich mehr als 15 E-Mails von Business Development Vertreter, Vertriebsleiter, Global Head of Sales Enablement, Global Channel Director und unaufgefordert einige Newsletter. Deshalb hat mein E-Mail-Client Ihre E-Mails in den SPAM-Ordner verschoben.
  3. Warum landet Ihr Unternehmen, das behauptet, der Master in Prozessen zu sein, im SPAM-Ordner? Haben Sie eine perfekte Customer Journey für potenzielle Partner? Ich erwarte hier klare Geschäftsprozesse und ein ausgewogenes Verhältnis von E-Mails.»


Auszug der Antworten des Leader im "Magic Quadrant"  im Bereich CRM- und Leadmanagement:
 
«Zunächst einmal vielen Dank für Ihre detaillierte E-Mail, die empfangen und ordnungsgemäß notiert wurde. Wir freuen uns sehr über dieses wertvolle Feedback, da wir stets bemüht sind, unsere Plattform und die Zufriedenheit unserer Partner zu verbessern.

In Bezug auf das Produktfeedback:

  1. Wir freuen uns über das Feedback zu unserem Produkt und werden die Langsamkeit der Demo und Fehler mithilfe unserer bestehenden Partner untersuchen. Der Fehler des Connectors wurde vorerst von unserem Support-Team aus der sofort einsatzbereiten Demo für die Untersuchung entfernt, und Ihre neue Instanz wurde bereitgestellt, um die Systemgeschwindigkeit zu verbessern.
  2. Wir freuen uns über Ihr Feedback zur BPM-Modellierung. Interessanterweise ist geplant, eine signifikante Verbesserung zur Vereinfachung der Prozessmodellierung in den nächsten Releases zu veröffentlichen.
  3. Wir arbeiten ständig an der Optimierung unseres Videotrainings und unserer Dokumentation. Zusammen mit unseren regionalen Sprachpartnern werden alle Dokumentationen aktualisiert, um das Format für Video- / GIF-Elemente attraktiver zu gestalten.


Vielen Dank für Ihr Feedback zu Ihrer Journey mit uns. Unser Marketing-Team hat den Prozess angepasst.»

 

Resümee

Das ist ja alles schön und recht, aber erwarten Sie von einer internationalen Firma, die in 110 Ländern mit 700 Partnern weltweit im Geschäft ist, Gartner Leader ist, nicht eine bessere CRM- und Marketing Automation Umsetzung in eigener Sache?

Das Produkt ist nicht günstig, der Kunde muss hohe Onboarding Beratungskosten und Lizenzgebühren investieren.

Ich beanspruche hier keine Vollständigkeit, allerdings gibt es genügend Indikatoren um die Zuverlässigkeit der renommierten Analysten von Gartner bei der Softwarewahl in Frage zu stellen.

Bei einem milliardenschweren CRM Markt sollte bei objektiver Bewertung Transparenz herrschen, was bei Gartner fehlt. Die Bewertungskriterien im Detail und die finanzielle Beteiligung der bewerteten Firmen werden nicht offengelegt.

Fazit

Gartners "Magic Quadrant" Bewertung gibt eine gute Übersicht verschiedener Anbieter. Sie sollten sich jedoch nicht nur darauf verlassen, sondern mit unabhängigen CRM-Experten, welche viele Produkte kennen, Ihre Evaluation begleiten und die geplanten Investitionen bewerten lassen.

  Testen Sie uns in einem kostenlosen Gespräch!  


Autor: Robert Schraner

 

How trustworthy are Gartner's "Magic Quadrant" or reports from other analysts?

The market research of Gartner, IDC and Forrester is widely recognized in the industry and is often the deciding factor when making a purchase. Gartner is the industry leader and serves as an example for other analysts.

After a comprehensive evaluation of the Gartner leader in the "Magic Quadrant" in the area of CRM and Lead Management, I question the reliability of the Gartner "Magic Quadrant" evaluation, using a case study from our practice.

First of all I would like to quote Wikipedia at this point:

"Magic Quadrant (MQ) is a series of market research reports published by IT consulting firm Gartner that rely on proprietary qualitative data analysis methods to demonstrate market trends, such as direction, maturity and participants. Their analyses are conducted for several specific technology industries and are updated every 1–2 years.

Criticism
It has been pointed out that the criteria for the Gartner Magic Quadrant cater more towards investors and large vendors than towards buyers. Much of the criticism is focused on the lack of disclosure of the money received from the vendors it rates, raising conflict of interest issues.

Also a source of criticism is the lack of disclosure on the vendor's component scores and the lack of transparency in Gartner's methodology used to derive the vendor's position on the MQ map.

The Magic Quadrant, and analysts in general, also skew the market: according to research, by applying their methodologies to describe a market, they change that marketplace to fit their tools.

Another criticism is that open source vendors are not considered sufficiently by analysts like Gartner.

Gartner was the target of a federal lawsuit (filed May 29, 2009) from software vendor, ZL Technologies, challenging the “legitimacy” of Gartner’s Magic Quadrant rating system.
Gartner filed a motion to dismiss by claiming First Amendment protection since it contends that its MQ reports contain "pure opinion", which legally means opinions which are not based on fact. The court threw out the ZL case because it lacked a specific complaint. That decision was upheld on appeal."

Source: Wikipedia

What do you expect from a leader in a highly competitive market with hundreds of CRM and lead management solutions? Professionalism!

Below is an excerpt of my feedback to the 2019 Leader in the "Magic Quadrant" in the area of CRM BPM and lead management:

«After having been attracted by the good Gartner and Forrester rating about your CRM-BPM solution, we came to the following conclusion.
To understand our feedback some information about our company values: German and Swiss business people like our approach of being straight and honest. One reason why they stay with us. We are CRM experts for 20 years and not just sales people who often make superficial promises which are not kept in detail.

Feedback on product testing (leader in the "Magic Quadrant" in the area of ​​CRM and Lead Management):

  1. Sometimes the demo is very slow. I see many many connection errors in the browser like WebSocket connection failed.
  2. I liked the android apps but was surprised how few people are using it.
  3. No SSO after demo registration! You have to sign in again for accessing the academy. The link with the welcome mail leads to a test in the academy, but the test login does not work there.
  4. The Marketing forms require HTML editing. What are the plans to allow a WYSIWYG editor as most competitors have? From our experience, marketeers want to set up campaigns fast and on their own, and coding is a big obstacle.
  5. The same is for nurtures. It was hard for me to find the nurtures (set up as campaigns it seems) and manage the flows. The BPM model does have it's complexity here for a not skilled user. I was missing easy-to-use process snippets or conditions, like "did not open a link in xx days", and sample double opt-in process.
  6. Other users at trustradius.com write the same. The CRM-BPM marketing module is not user-friendly. The marketing manual (PDF) with 1211 pages confirms it. Analyze the competition and learn from them. These days Video training and on the spot help is needed in user-friendly applications.

 

Feedback on the marketing process of the leader in the "Magic Quadrant" in the area of ​​CRM and Lead Management:

  1. The Business  process and "customer journey" was confusing. I was approached by three different people by email:  Account Manager,  CEO  and  Partner Development Director.
  2. After registration I received more than 15 emails from Business Development Representative, Sales Executive, Global Head of Sales Enablement, Global Channel Director and newsletter. That's why my email client moved your emails to the SPAM folder.
  3. Why does your company, who claims to be the master in processes, ends up in the SPAM folder? Have a perfect customer journey for potential partners. Clear business process and a good balance of emails.»


Extract from the answers of the 2019 leader in the "Magic Quadrant" in the area of ​​CRM and Lead Management:

«First of all, thank you for your detailed email that was received and duly noted. We deeply appreciate such valuable feedback as we always strive to improve our platform and our partner satisfaction.

Regarding the product feedback :

  1. We appreciate the feedback about our product and will investigate the slowness of the demo and errors with the help of our existing partners in the region. For now, the connector has been removed by our team of Support from out-of-the-box demo for the investigation and your new instance has been provided to track the system speed.
  2. We appreciate your feedback on the BPM modelling. Interesting enough, the significant improvement is planned to be released to simplify the process modelling in the nearest releases.
  3. We constantly work on the optimization of our video training and documentation. Together with our Regional Language Partners we are undergoing the update process of all the documentation to make the format more engaging with video/gif elements.


Thanks for your feedback about your journey with us. Our marketing team has sorted the process out.»

Summary

That's all fine and fair, but don't you expect from an international company that is in business with 700 partners in 110 countries worldwide, a Gartner Leader, not a better CRM and marketing automation implementation on its own behalf?

The product is not cheap, the customer has to invest in high onboarding consulting costs and license fees.

I do not claim completeness, but the indicators are sufficient to question the reliability of the renowned analyst company Gartner when choosing the software.

In a billion-dollar CRM market, objective evaluation should provide transparency, which Gartner lacks. The evaluation criteria in detail and the financial participation of the evaluated companies are not disclosed.

Conclusion

Gartner's "Magic Quadrant" rating provides an overview, but you should not rely on it, but with independent CRM experts who know many products to accompany your evaluation and have the planned investments assessed.

  Test us in a call free of charge!  

Author: Robert Schraner