News
ChatGPT ist nicht schlau genug für den 'Connector Ability'
Kann ChatGPT TeilnehmerInnen helfen, einen Test zu absolvieren und dadurch Einfluss auf eine Personalentscheidung nehmen?
Mehrere Forscher und Psychologen haben ChatGPT die Fragen aus verschiedenen IQ-Tests vorgelegt. ChatGPT wurde auf der Grundlage von Sprachmodellen entwickelt. Es überrascht nicht, dass vor allem Testfragen mit sprachlichem Inhalt von ChatGPT gut beantwortet werden können. Nahezu fehlerfrei beantwortet ChatGPT Fragen zu Ähnlichkeiten zwischen Wörtern. Auch Fragen zum Verständnis von Allgemeinwissen, Prinzipien und sozialen Situationen werden ausführlich beantwortet. Darüber hinaus scheint ChatGPT auch Tests zum logischen Denken gut zu verstehen und die richtige Antwort mit einer guten Argumentation zu geben.
Inwieweit ist unser Intelligenztest Connector Ability ChatGPT-sicher?
Die Abteilung PDAI (Produktentwicklung, Analytik und Innovation) untersuchte daher, inwieweit man mit ChatGPT beim Connector Ability höhere Punktzahlen erreichen kann. Experimentell wurden Fragen aus dem Connector Ability mit ihren Antwortalternativen an ChatGPT übermittelt und die gegebene Antwort getestet.
Insgesamt zeigt sich, dass ChatGPT noch nicht so gut ist, dass dieses KI-Programm den Teilnehmenden helfen kann, höhere Punktzahlen in unseren Tests zu erreichen.
Unsere Ergebnisse speziell nach Untertests
- Matrizen: ChatGPT kann noch keine Bilder entschlüsseln und gleichzeitig Muster in ihnen erkennen. Nur mit viel Aufwand und IT-Fachwissen können Bilder manuell in Programmiercode umgewandelt werden, sodass ChatGPT sie lesen und verstehen kann. Bei unserem großen Item-Pool ist dies eine nahezu unmögliche Arbeit und für den durchschnittlichen Testteilnehmer nicht machbar.
- Figurenreihen: Hier gilt das Gleiche wie bei den Matrizen.
- Zahlenreihen: Sehr einfache Ziffernfolgen löst ChatGPT korrekt. Sobald die Aufgaben jedoch schwieriger werden und mehrere Operationen gleichzeitig auftreten, findet ChatGPT keine Lösung oder das Programm wählt falsche Antwortalternativen.
Kurz gesagt, für den Connector Ability sehen wir noch keine Bedrohung durch ChatGPT, aber wir sind uns bewusst, dass die Entwicklung schnell ist und behalten das natürlich weiterhin im Auge!