Le problèmes des prompts IA

Attention tout ce que je dis est à prendre avec des pincettes et à relativiser dans le temps. Ce que j'écris en Janvier 2024 est valable pour Janvier 2024, mais à la vitesse où ces technologies évoluent, il n'est pas impossible que tout ceci soit obsolète d'ici un mois. Cependant, au moment où j'écris ces lignes, quelque chose se produit dans la sphère IA.

Un engouement de courte durée

L'IA a connu un boom à la fois médiatique et technique durant ces derniers mois. Et son apport dans la communauté tech a été remarquée et remarquable. En revanche, quelque chose est en train de changer. Nous sommes de plus en plus nombreux à être déçus des réponses de ces prompts.

Au tout début lors de la publication de ChatGPT, j'ai été assez bluffé par sa capacité de compréhension, de synthèse et même d'exécution. Mais avez vous aussi remarqué la réduction de ses interventions concernant l'exécution ?

Aujourd'hui si vous posez une question très technique à ChatGPT et que vous lui demandez une implémentation, il va vous dire "non non, voilà comment ça marche, je te laisse faire." Je ne suis pas le seul a avoir constaté ce changement, le youtuber de la chaîne Underscore aussi l'a remarqué et en parle dans une vidéo.

Clairement, je dois vous avouer que je suis assez déçu par ChatGPT. Au tout début, il était vraiment utile du moins, il essayait. En dépit de toute la hype autour du sujet, je trouvais que ses réponses étaient pertinantes quoiqu'imparfaites. Il m'arrivait souvent de corriger ce qu'il proposait, mais je gagnais énormément de temps sur la conceptions de certaines briques, juste en lui déléguant les implémentations.

Le problème de coûts

Il parait qu'en interne, OpenAI fait face à des coûts d'infra astronomiques pour pouvoir apporter une réponse précise à nos questions. Les machines et le courant nécessaire pour calculer les réponses ne sont pas à négliger. Néanmoins, s'il faut une infrastructure difficilement rentable pour faire une proof-of-concept de ce genre d'outil, c'est que la technologie n'est toujours pas matûre.

Bien sûr que tout commence bien quelque part, et que je ne doute pas que les prochaines implémentations seront de plus en plus parfaites. Mais pour le moment, je ne vous cache pas ma déception.

OpenAI avait même sorti une version premium pour certains early adopters qui veulent s'essayer à la version plus poussée qui permet aussi un lien avec Dall E pour la génération d'image. Pour toute la partie génération d'image, vraiment l'outil est top, en tout cas, il fait son travail. Mais côté prompt, l'outil ayant perdu autant en qualité, je ne vous cache pas que je ne m'y retrouve pas dans l'abonnement.

Aussi, pour l'instant, je préfère suspendre mon abonnement à ChatGPT 4 car je pense que c'est de l'argent jeté sur un projet encore trop jeune et qui n'a toujours pas fait ses preuves selon moi.

Quel est l'impact de "cet échec temporaire" ?

Si ChatGPT 4 n'est pas à la hauteur pour le moment, laissez moi avoir des doutes sur l'efficacité de Github Copilot de la même façon, ce dernier reposant sur le moteur de ChatGPT. Ce qui signifie que pour le moment ces outils, payant ne sont pas à la hauteur de leurs ambitions.

Pour autant, est-ce vraiment la fin des prompts ? Et bien peut-être pas !

Un petit français du nom de Mistral est en train de faire des prouesses en ce moment même. Je ne l'ai toujours pas testé mais ça viendra, en espérant qu'il tienne un peu plus la route comparé à ses homologues, ou devrais-je dire plutôt à son homologue, car il faut tout de même l'admettre, c'est bien ChatGPT qui a une longueur d'avance jusqu'à présent dans ce domaine.

Google et sa technologie Bard était tellement à la ramasse qu'ils ont même fait des montages vidéos pour partager de fake news sur leur modèle. Il n'est pas impossible qu'ils vous aient vendus des features qu'à ce jour leur IA est incapable de faire. En justifiant cela par : oui mais c'est un showcase de feature à venir...

Donc pour le moment, ne faites pas confiance aveuglément, faites vous même des essais et vous réaliserez que les outils ne sont clairement pas à la hauteur. Petite astuce même si vous voulez les faire délirer: demandez leur de vous sortir des alogorithmes de classification machine learning en python. Très souvent les snippets code qu'ils vous sortent sont obsolètes avec les versions actuelles des librairies et même, lorsque vous additionnerez chaques parties vous verrez à quel point tout est incohérent:

• Variables déclarés dans des blocs supérieurs qui sont inutilisés
• Code incompatible (même nom de variable ou de fonction)
• Résultat non fonctionnel tout simplement

Bref, cette technologie n'est tout simplement pas matûre... En espérant que cela change très vite.