Hace unas semanas, mi intuición me dijo que tenía que renovar alguna certificación SAP.
Bueno, quizás también tuvo algo que ver el hecho de recibir estos diez mensajes prácticamente seguidos.
Algunas estaban próximas a caducar y, si quería mantenerlas vigentes, tenía que completar los deltas correspondientes. Así que me puse con ello.
Y, ya que estaba, decidí no limitarme a las certificaciones más urgentes: también renové otras cuyo vencimiento llegaría algo más adelante. Trabajo adelantado y una preocupación menos.
Para mantener una certificación, SAP exige superar una evaluación dentro del periodo habilitado. Estas evaluaciones no consumen intentos del examen de certificación y pueden repetirse las veces que sea necesario. Además, SAP proporciona contenido específico para preparar las novedades incorporadas desde la certificación anterior.
Ya lo conté en su momento:
Hasta aquí, todo normal.
La diferencia es que esta vez decidí hacer un pequeño experimento.
Renovando las certificaciones con ChatGPT
SAP lleva tiempo explicándonos que Joule for Consultants ofrece acceso a conocimiento especializado, actualizado y procedente de fuentes de SAP que, en algunos casos, no están disponibles para las inteligencias artificiales generalistas.
Sobre el papel, esa es una ventaja importante.
Sin embargo, para renovar mis certificaciones no utilicé Joule for Consultants. Utilicé directamente ChatGPT, con la suscripción que cuesta unos 20 euros al mes.
El procedimiento fue bastante sencillo: a medida que aparecían las preguntas de las distintas evaluaciones, se las planteaba a ChatGPT y comprobaba qué respuesta proponía.
No guardé las preguntas, ni las voy a reproducir aquí, pero sí tuve la paciencia de ir contabilizando los resultados.
En total fueron 221 preguntas.
Antes de seguir, podéis intentar adivinar el resultado.
¿Cuántas creéis que falló ChatGPT?
Dos modelos distintos para renovar las certificaciones
A la hora de realizar las evaluaciones me encontré con dos formatos diferentes.
Algunas certificaciones todavía utilizan el modelo antiguo, basado en Questionmark. En este caso aparecen una serie de preguntas y, al terminar, puedes consultar el resultado obtenido y revisar cuáles has fallado.
Recomiendo generar y guardar siempre el certificado, por si acaso; aunque lo normal es que todo vaya bien y aparezcan en Credly en poco tiempo.
En el formato nuevo, la experiencia cambia un poco. Cuando comienzas la renovación puedes elegir entre realizar una evaluación hablando con una IA o responder a un cuestionario.
Yo elegí siempre la opción de las preguntas.
El problema es que, al finalizar, el sistema se limita a indicarte si has aprobado o no. No muestra el porcentaje obtenido ni permite revisar las respuestas incorrectas.
De hecho, uno de mis primeros intentos para renovar la certificación de SAP Cloud Application Programming Model terminó así:
Sabía que había fallado, pero no cuánto ni en qué preguntas. Para localizar los errores tuve que repetir la evaluación modificando algunas respuestas hasta conseguir aprobarla.
Esta diferencia entre ambos modelos hizo que calcular el resultado global fuera algo más laborioso.
Un proceso completamente manual
Mi proceso fue deliberadamente manual.
Copié las preguntas una a una, las pegué en ChatGPT, revisé la respuesta propuesta y fui anotando los resultados. No era la manera más rápida de renovar las certificaciones, pero mi objetivo no era simplemente aprobar: quería comprobar hasta qué punto una inteligencia artificial generalista podía responder correctamente preguntas técnicas de SAP.
En muchas respuestas, además de seleccionar las opciones, ChatGPT proporcionó una explicación y enlazó directamente las fuentes oficiales utilizadas. En este ejemplo se puede ver que fundamentó la respuesta en documentación de SAP Help Portal.
Es decir, aunque Joule for Consultants tenga acceso a fuentes exclusivas (desconozco cuáles son esas fuentes mágicas de conocimiento) de SAP, buena parte de la información necesaria para estas evaluaciones ya está publicada en la ayuda oficial y resulta accesible para ChatGPT.
Evidentemente, podría haber automatizado todo el proceso. Una herramienta podría haber leído las preguntas, consultado a la IA y seleccionado las respuestas sin necesidad de copiar y pegar manualmente.
Pero eso habría convertido el experimento en otra cosa. Yo quería ver las respuestas, comprobar las explicaciones y contabilizar los aciertos y los errores.
Aun así, queda claro que técnicamente sería posible dejar que la IA hiciera su magia.
Seis fallos de 221 preguntas
El resultado fue este:
| Resultado | Número |
|---|---|
| Preguntas planteadas | 221 |
| Respuestas correctas | 215 |
| Respuestas incorrectas | 6 |
| Porcentaje de acierto | 97,29 % |
ChatGPT acertó 215 de las 221 preguntas.
Solo falló seis.
Evidentemente, no estamos ante una prueba científica. Mezclé preguntas de distintas certificaciones, no comparé varios modelos y tampoco repetí todo el proceso en condiciones controladas.
Pero el resultado es el que es: un 97,29 % de aciertos utilizando una inteligencia artificial generalista.
Y fue más que suficiente para renovar todas las certificaciones.
¿De dónde obtiene la información?
Una parte importante de la documentación de SAP está disponible públicamente. Tenemos la ayuda oficial, SAP Learning, SAP Community, documentación técnica, blogs, notas y una enorme cantidad de contenido creado durante años por consultores, desarrolladores y empleados de SAP.
Otra parte puede requerir iniciar sesión con un usuario S o P. Cuando necesito consultar ese contenido, puedo acceder a él y proporcionar a ChatGPT la información necesaria para analizarlo, dándole acceso a mi navegador, por ejemplo.
Esto no significa que ChatGPT conozca todo SAP, ni que sus respuestas deban aceptarse sin revisarlas. Puede equivocarse, interpretar mal una pregunta o inventarse una respuesta perfectamente redactada.
De hecho, se equivocó seis veces.
La cuestión es que, para este caso concreto, acertó prácticamente todo sin disponer, al menos teóricamente, de esa capa exclusiva de conocimiento que constituye una de las principales ventajas de Joule for Consultants.
ChatGPT frente a Joule for Consultants
Según la información comercial publicada por SAP, Joule for Consultants consume 35 unidades de IA por usuario y mes. Cada unidad cuesta 7 euros, por lo que el coste teórico es de:
35 × 7 = 245 euros por usuario y mes.
Las unidades se compran anualmente en bloques de 100, aunque una empresa puede disponer ya de ellas como parte de otros contratos o utilizarlas en distintas capacidades de SAP Business AI.
Algo de eso conté por aquí:
Mi suscripción a ChatGPT cuesta unos 20 euros al mes.
Por tanto, la comparación directa sería:
- ChatGPT: aproximadamente 20 euros al mes.
- Joule for Consultants: 245 euros por usuario y mes.
- Diferencia: Joule for Consultants cuesta 12,25 veces más.
Sé que no son productos idénticos y que esta comparación tiene matices.
Joule for Consultants promete acceso a conocimiento especializado y actualizado, respuestas fundamentadas en fuentes de SAP y funcionalidades orientadas específicamente al trabajo de consultoría.Además, SAP habla de ahorros de tiempo de hasta hora y media diaria por consultor.
En la prueba que hice en su momento, os aseguro que no ahorré nada de tiempo, al contrario…
ChatGPT, por su parte, es una herramienta generalista que utilizo para muchas otras cosas: redactar, analizar información, programar, investigar, resumir documentación o discutir alternativas.
Precisamente por eso surge la pregunta.
¿Tiene sentido pagar 245 euros para este caso?
Para renovar mis certificaciones, la respuesta es bastante sencilla: no.
No tendría sentido pagar más de doce veces el precio de una herramienta que ya me ha proporcionado un 97,29 % de aciertos y con la que, además, hago muchas otras cosas.
Esto no demuestra que Joule for Consultants no tenga valor.
Lo que demuestra es que, si su propuesta se limita a responder preguntas sobre documentación de SAP, va a resultar cada vez más difícil justificar esa diferencia de precio.
Las inteligencias artificiales generalistas tienen acceso a una cantidad creciente de información sobre SAP. También permiten añadir documentación, analizar páginas concretas y trabajar con contenidos que el propio usuario puede facilitarles.
Por tanto, el valor diferencial de Joule for Consultants no puede ser simplemente:
Yo conozco documentación que ChatGPT no conoce.
Ese margen puede existir hoy en determinados contenidos, pero probablemente se irá reduciendo.
Si realmente SAP quiere que adoptemos la herramienta, debería «darle una vuelta» al precio, para empezar… 😉
Aprobar no significa aprender
Finalmente, todo esto nos lleva a la reflexión de siempre: tener un certificado sin acompañarlo de un proceso real de aprendizaje aporta bastante poco.
Y cada vez aporta menos.
Si una inteligencia artificial generalista puede responder correctamente 215 de 221 preguntas, automatizar el proceso y permitir renovar una certificación sin que la persona tenga que analizar realmente el contenido, el valor no puede estar únicamente en haber superado el cuestionario.
El certificado acredita que se ha completado una evaluación. El conocimiento se demuestra después: entendiendo el producto, tomando decisiones, configurando sistemas, resolviendo problemas y trabajando en proyectos reales.
La IA puede ayudarte a aprobar, pero no convierte automáticamente a nadie en consultor.
Ni para una persona ni para una inteligencia artificial, acertar preguntas equivale necesariamente a dominar una solución.
ChatGPT acertó el 97,29 % de las preguntas, pero no por eso puedo incorporarlo mañana a un proyecto y dejarlo hablando solo con el cliente.
Aunque, pensándolo bien, conozco algún caso en el que probablemente no se notaría demasiado… o tendría menos peligro 🤣
El verdadero valor de una herramienta como Joule for Consultants debería aparecer cuando trabaja con contexto real: documentación actualizada, escenarios concretos, procesos, configuraciones, incidencias, código y decisiones de proyecto.
Ahí es donde tendría sentido medirla.
No en si es capaz de contestar una pregunta tipo test, sino en si ayuda a un consultor a trabajar mejor, más rápido y con menos errores.
Confío en que haya mejorado desde la prueba que hice en el vídeo anterior.
La barrera de entrada es el precio
Me gustaría probar Joule for Consultants para compararlo en condiciones reales con ChatGPT y otras herramientas.
El problema es que la forma de comercializarlo no invita precisamente a una prueba informal. Las unidades de IA se compran en bloques de 100 y caducan al terminar el contrato.
Quizá la próxima vez que tenga que renovar las certificaciones me anime a comprar 100 unidades de IA y repita el experimento con Joule for Consultants.
Aunque, claro, después de haber obtenido un 97,29 % de aciertos por 20 euros al mes, tendría que justificar muy bien el gasto.
Y eso sin contar con que la renovación de las certificaciones es solo uno de los muchos usos que doy a ChatGPT.
Probablemente, pasar a una suscripción superior de ChatGPT me compense mucho más.
¿Está justificado Joule for Consultants?
No puedo responder todavía de forma general porque no lo he probado con la profundidad necesaria.
Quizá haga maravillas en determinadas fases de un proyecto y permita recuperar rápidamente la inversión, aunque me cuesta verlo.
Pero, para el caso concreto que he probado, los números son bastante claros:
221 preguntas, 215 respuestas correctas y seis errores.
Con esos resultados, es complicado justificar una herramienta que cuesta más de doce veces lo que pago actualmente.
SAP tendrá que demostrar que Joule for Consultants aporta bastante más que respuestas correctas sobre documentación SAP.
Porque, para eso, la competencia ya está peligrosamente cerca.
O, al menos, a seis preguntas de distancia.
Y me da en la nariz que para el resto de cosas, tampoco me aporta un valor 12 veces superior… 😉
Información oficial:
- Cómo mantener vigente una certificación SAP
- Preguntas frecuentes sobre las evaluaciones Stay Certified
- Características y precio de SAP Joule for Consultants
PD.- También tengo una newsletter en la que escribo sobre SAP, inteligencia artificial y otras cosas que, en ocasiones, hasta parecen relacionadas: No Lo Sabemos Todo.