Attention tout ce que je dis est à prendre avec des pincettes et à relativiser dans le temps. Ce que j'écris en Janvier 2024 est valable pour Janvier 2024, mais à la vitesse où ces technologies évoluent, il n'est pas impossible que tout ceci soit obsolète d'ici un mois. Cependant, au moment où j'écris ces lignes, quelque chose se produit dans la sphère IA.

## Un engouement de courte durée

L'IA a connu un boom à la fois médiatique et technique durant ces derniers mois. Et son apport dans la communauté tech a été remarquée et remarquable. En revanche, quelque chose est en train de changer. Nous sommes de plus en plus nombreux à être déçus des réponses de ces prompts. 

Au tout début lors de la publication de **ChatGPT**, j'ai été assez bluffé par sa capacité de compréhension, de synthèse et même d'exécution. Mais avez vous aussi remarqué la réduction de ses interventions concernant l'exécution ?

Aujourd'hui si vous posez une question très technique à **ChatGPT** et que vous lui demandez une implémentation, il va vous dire "non non, voilà comment ça marche, je te laisse faire."
Je ne suis pas le seul a avoir constaté ce changement, le youtuber de la chaîne **Underscore** aussi l'a remarqué et en parle dans une vidéo. 

Clairement, je dois vous avouer que je suis assez déçu par ChatGPT. Au tout début, il était vraiment utile du moins, il essayait. En dépit de toute la hype autour du sujet, je trouvais que ses réponses étaient pertinantes quoiqu'imparfaites. Il m'arrivait souvent de corriger ce qu'il proposait, mais je gagnais énormément de temps sur la conceptions de certaines briques, juste en lui déléguant les implémentations. 

## Le problème de coûts

Il parait qu'en interne, **OpenAI** fait face à des coûts d'infra astronomiques pour pouvoir apporter une réponse précise à nos questions. Les machines et le courant nécessaire pour calculer les réponses ne sont pas à négliger. Néanmoins, s'il faut une infrastructure difficilement rentable pour faire une proof-of-concept de ce genre d'outil, c'est que la technologie n'est toujours pas matûre. 

Bien sûr que tout commence bien quelque part, et que je ne doute pas que les prochaines implémentations seront de plus en plus parfaites. Mais pour le moment, je ne vous cache pas ma déception.

**OpenAI** avait même sorti une version premium pour certains early adopters qui veulent s'essayer à la version plus poussée qui permet aussi un lien avec **Dall E** pour la génération d'image. Pour toute la partie génération d'image, vraiment l'outil est top, en tout cas, il fait son travail. Mais côté prompt, l'outil ayant perdu autant en qualité, je ne vous cache pas que je ne m'y retrouve pas dans l'abonnement.

Aussi, pour l'instant, je préfère suspendre mon abonnement à **ChatGPT 4** car je pense que c'est de l'argent jeté sur un projet encore trop jeune et qui n'a toujours pas fait ses preuves selon moi.

## Quel est l'impact de "cet échec temporaire" ?

Si **ChatGPT 4** n'est pas à la hauteur pour le moment, laissez moi avoir des doutes sur l'efficacité de **Github Copilot** de la même façon, ce dernier reposant sur le moteur de **ChatGPT**. Ce qui signifie que pour le moment ces outils, payant ne sont pas à la hauteur de leurs ambitions. 

Pour autant, est-ce vraiment la fin des prompts ? Et bien peut-être pas !

Un petit français du nom de [Mistral](https://mistral.ai/) est en train de faire des prouesses en ce moment même. Je ne l'ai toujours pas testé mais ça viendra, en espérant qu'il tienne un peu plus la route comparé à ses homologues, ou devrais-je dire plutôt à son homologue, car il faut tout de même l'admettre, c'est bien **ChatGPT** qui a une longueur d'avance jusqu'à présent dans ce domaine. 

**Google** et sa technologie **Bard** était tellement à la ramasse qu'ils ont même fait des montages vidéos pour partager de fake news sur leur modèle. Il n'est pas impossible qu'ils vous aient vendus des features qu'à ce jour leur IA est incapable de faire. En justifiant cela par : oui mais c'est un showcase de feature à venir... 

Donc pour le moment, ne faites pas confiance aveuglément, faites vous même des essais et vous réaliserez que les outils ne sont clairement pas à la hauteur. Petite astuce même si vous voulez les faire délirer: demandez leur de vous sortir des alogorithmes de classification machine learning en python. Très souvent les snippets code qu'ils vous sortent sont obsolètes avec les versions actuelles des librairies et même, lorsque vous additionnerez chaques parties vous verrez à quel point tout est incohérent: 

- Variables déclarés dans des blocs supérieurs qui sont inutilisés
- Code incompatible (même nom de variable ou de fonction)
- Résultat non fonctionnel tout simplement

Bref, cette technologie n'est tout simplement pas matûre... En espérant que cela change très vite.


steve-johnson-_0iV9LmPDn0-unsplash-resized.jpg

large_steve-johnson-_0iV9LmPDn0-unsplash-resized.jpg

medium_steve-johnson-_0iV9LmPDn0-unsplash-resized.jpg

small_steve-johnson-_0iV9LmPDn0-unsplash-resized.jpg

thumbnail_steve-johnson-_0iV9LmPDn0-unsplash-resized.jpg

ChatGPT, Bard et compagnie. Les sociétés d'IA ont fait parlé d'elles en 2023, occultant ainsi la blockchain et les crypto-monnaies, phénomène du cycle précédent. Mais derrière tout cet engouement, quelque chose d'étrange se produit en ce début d'année 2024. Toutes ces technologies sont de moins en moins intéressantes. 

Le problèmes des prompts IA

Tout d'abord, **bonne année 2024** 🎉🎉 à vous et je vous souhaite pleins de bonnes choses pour vos projets professionnels cette année. 

### Etat des lieux

Lorsqu'une société change les méthodes de productions comme l'a fait Ford dans les années 1910, cela a été un cas très particulier où une révolution interne à la boîte fini par avoir un impact considérable sur le marché. La société Ford, en s'organisant autrement a réussi à faire exploser sa production et le marché a vu arriver plus de voitures, faisant ainsi baisser le prix d'acquisition de ces dernières.

Plus subtilement, l'arrivée des méthodes agiles dans le monde du travail peut difficilement se prévaloir d'avoir eu un tel impact sur le marché. Le plus gros du changement s'effectuant au sein même de l'entreprise. Certes, la méthode a apporté une meilleure planification du travail et probablement eu indirectement une influence sur les rendements, mais il est difficile d'en avoir la certitude. En revanche, le bien être des employés est concerné, d'où, je pense, sa mise en application de plus en plus fréquente. 

Au niveau organisationnel, le fait de travailler dans une startup est déjà un peu une révolution. Mais vous conviendrez que le modèle startup ne correspond qu'à une période de la durée de vie d'une société. Toute société a vocation à s'étendre et le fait même de rester est une startup serait contre productif pour une compagnie. 
Ce qui signifie qu'une hiérarchie horizontale ne dure qu'un temps. 

Dans de grosses structures où ça a été le cas à une époque (Google, Facebook, etc...), on est loin de ce mode de fonctionnement aujourd'hui. Car la boîte a des objectifs clairs et une méthode pour y arriver. De même elle s'est organisée en fonction ces objectifs. Et même si ces géants ont garder des cellules R&D où le développement est un peu plus anarchique et où l'on se prête mieux à des exercices expérimentaux, la boîte est organisée tout autour des services qu'elle propose déjà et qui représentent le chiffre d'affaire.

### De nos jours

Aujourd'hui, je m'interroge sur le fait qu'aucune boîte arrivée à maturité ait toujours le champs libre au niveau de la R&D pour bousculer le statu quo. Existe t-il un endroit où pour revisiter un fonctionnement déjà bien établi, on ait pas besoin de la validation de 30 managers dont peut être seulement 5% comprennent réellement les enjeux de cette décisions. Pour les autres, la seule donnée qui compte sera le résultat de la méthodo, que l'on peut difficilement anticiper tant qu'elle n'est pas adoptée. 

> A quand un monde où une analyse technique et quelques simulations suffisent pour l'adoption d'un modèle ?
> A quand un monde où chaque partie prenante des décisions, ne donnent un avis que lorsqu'ils ont les qualifications pour le faire (dans le cas contraire, ils prennent connaissance mais sans avis à donner sur le sujet) ?

Après avoir travaillé dans plusieurs sociétés, et vu comment est géré le management, je suis de plus en plus convaincu que la différence entre une boîte qui ne fait que croître et une boite qui se plante, se joue au moment des prises de décisions. A l'origine des échecs, il y a : des décisions mal prises, un manque de soutien... Des problèmes impliquant une hiérarchie. 

**Tout comme je suis intimement convaincu que la personne la plus à même de décider de la faisabilité d'un sujet, est la personne qui exécute la réalisation.** Le contraire serait totalement insensé, quand bien même, l'avis viendrai d'un expert en la matière.

Le fait est que: deux chefs ne cuisinent pas forcément de la même façon. Certains assaisonnent avant, d'autres après. Pour autant, il conviendrait que cette décision soit prise par celui qui réalise le plat non ? Sinon gare à la catastrophe.

Et je vous vois venir avec la question du budget, si un manager impose un sujet A avec un budget N. 

> Il faut impérativement que le sujet A rentre dans le budget N ! Il en va de la survie de la boîte...

Vraiment ?

**Alors, la réponse est non !**

C'est pas parce que la boîte a 3 jours à donner et un budget de 20k qu'on va faire une fusée pour aller sur la lune avec ça. 

Un **NON** ferme et catégorique. Car on ne fait pas n'importe quoi, sous prétexte de contraintes. 

### Et si le problème était dans la démarche ?

Ici, la fusée à faire en 3 jours pour 20k est un problème parce qu'on a défini l'objectif avec ça. 
En gros, il faut qu'avec ces contraintes là, on aille jusqu'à la lune. 

Honnêtement, vous me le demandez de cette façon, je vous envoie bouler illico ! 

En revanche, si le sujet est le suivant : 

> Nous avons 3 jours et 20k pour faire une fusée. Avec ça, jusqu'où pouvons nous aller ?

Là, il y a moyen de faire quelque chose de constructif. Car dans les faits, on ignore tout de notre capacité à atteindre un résultat, du moins pour un objectif qui en vaut la peine. Si vous me demandez de faire un simple formulaire, alors oui, on sait donner des délais raisonnables et instinctivement. Je parle de sujets qui impliquent de la R&D, car ici, on ignore tout ou presque du sujet et des problèmes que l'on va rencontrer. On en a une vague idée, mais on sera fixé en essayant.

Alors je vous pose la question, c'était quand la dernière fois que votre société a fait quelque chose de constructif avec ses équipes ?

**Je suis persuadé que la meilleure façon d'atteindre un objectif, est de faire en sorte que l'objectif soit désigné par les exécutants eux-même.**

Et dans l'idéal, il faudrait que les équipes fassent de cet objectif, leur objectif personnel. Pour cela, il faut les convier à la prise de décision, voire mieux, les laisser décider. L'engagement n'est jamais le même quand on nous dit de faire et quand on prend la décision de faire.

Car je pense qu'une boîte qui arrivera à laisser à ses employés, le choix de comment l'améliorer et comment la faire performer, aura tout gagné. Et je dirai même plus, si vous n'êtes pas capable de déléguer cette décision, c'est que le recrutement a été mal fait. 



large_philosophy.jpg

medium_philosophy.jpg

small_philosophy.jpg

thumbnail_philosophy.jpg

philosophy.jpg

L'IT un domaine propice à l'innovation. On a droit chaque année, à de nouvelles techniques, de nouveaux procédés, de nouvelles méthodes... Révolutionner aujourd'hui rime avec quelques chose qui aura un impact sur le marché. Plus rarement, certaines petites révolutions ont lieu en interne.

A quand la révolution de l'organisation dans la tech

_Petit disclaimer: Upgradists est ma société de consulting._

Pour toute société, avoir une présence en ligne c'est utile et même fondamentale ! 

On me demande de travailler sur des applications, sur des sites, je le fais volontiers. Mais, dès que c'est quelque chose uniquement pour moi, il est vrai que j'ai tendance à le repousser à chaque fois.

Cependant, j'ai toujours voulu publier quelque chose pour lister les projets sur lesquels je travaille et faire un "état des lieux" de ce qui a été fait. Le blog dev-freelance sert quand à lui à rentrer dans certains détails d'implémentation et s'adresse aux plus passionnés. 

Quoiqu'il en soit, il est enfin là: [le site Upgradists](https://upgradists.com)

Donc je vous invite à le visiter et à prendre connaissances de mon expérience passée et mes projets. Bonne navigation ! 🚢

small_blog-upgradists_resized.png

thumbnail_blog-upgradists_resized.png

blog-upgradists_resized.png

On dit toujours que c'est le cordonnier qui est mal chaussé... ce qui est vrai ! J'ai enfin publié un site sur la société Upgradists. Mais c'est surtout que cette fois j'étais un peu obligé de m'y mettre.

Un site Upgradists enfin !

Vous connaissez peut-être mon affection pour le fait maison... Je n'ai rien contre **Ghost CMS**, **Joomla** ou **Wordpress**, mais ces outils ne sont pas pour moi. J'ai besoin de quelque chose sur mesure pour faire un site à mon image et à ma façon.

Tout ici est bien plus <u>maintenable et évolutif</u>. Même si vous ne le voyez pas encore, ce moteur de blog est juste incroyable. 

Pour rappel on est sur du frontend **Next.js** et un backend **Strapi typescript**. Bien sûr tout a été personnalisé pour arriver à ce rendu. Ce blog bénéficie d'un caching lifecycle automatique, de l'autogénération de ressources (sitemap, etc.), permet de partager des média, et j'en passe.

Mais dernièrement je voulais y ajouter des fonctionnalités.

Démonstration d'un magnifique diagramme [Mermaid](https://mermaid.js.org/):

<div class="mermaid">
graph LR
  A --- B
  B-->C[fa:fa-ban forbidden]
  B-->D(fa:fa-spinner);
</div>

Voici une des nombreuses possibilités de ce moteur: Etre capable de générer des diagrammes dynamiquement !

Il y a même un [moteur de charts](https://www.chartjs.org/) pour générer dynamiquement des graphiques:

<div class="charts">
{"type":"bar","data":{"labels":["Red","Blue","Yellow","Green","Purple","Orange"],"datasets":[{"label":"# of Votes","data":[12,19,3,5,2,3],"borderWidth":1}]},"options":{"scales":{"y":{"beginAtZero":true}}}}
</div>

Vous verrez bientôt cela utilisé dans les prochains articles. 

Des optimisations invisibles ont aussi été déployés, sur le design, sur la refacto des composants React. Et ce n'est pas tout, un gros travail a été fait au niveau de l'optimisation. 

Sur le page la plus lourde on est passé de **448kb** post-compilation à **298kb** soit un changement notable qui devrait se faire ressentir sur la vitesse de chargement où je fais de mon mieux pour rester performant. Le site a un pageload que je trouve assez dingue comparé à ce qui se fait en ce moment sur le marché. 

Sur des pages simples on est à 500ms de chargement (cache off) de loadtime à 1s sur des pages plus complexes. J'ai jeté un oeil sur le marché et il est sûr que comparé à des moteurs classiques **Wordpress** et autre, on est sur une autre planète. Bref, je suis content de vous partager cela et de vous en faire profiter pour le confort de votre navigation. 

Bon surf à vous.

pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

large_pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

medium_pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

small_pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

thumbnail_pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

Puisqu'ici tout est fait maison (tout ce que vous voyez, ce que vous manipulez sur ce site), je me devais de refaire une passe sur les pages et d'optimiser certains points. Même si cela passe inaperçu, il y a eu des changements discrets. Explications...

Mise à jour du moteur de blog

### A quoi sert Elastic Search ?

Pour faire rapide 👉 **Elastic Search est un moteur de recherche**. 

Maintenant, qu'est-ce qu'un moteur de recherche ? 

Vous stockez probablement déjà des informations dans une base de données. Lorsque vous recherchez des informations dans cette base, vous allez utiliser des requêtes. Si vous voulez faire des tris dans ces requêtes, en base de données vous aurez les possibilités suivantes: 

- trier par ordre alphabétique
- trier par ordre croissant, décroissant

Supposez qu'un utilisateur recherche le terme: **Volleyball**, il est possible que ce terme apparaisse <u>dans le titre</u> d'un article ou <u>dans le contenu</u> de l'article. 

👍 S'il s'agit du titre, la probabilité est forte que cette article intéresse notre utilisateur. 

👎 Dans le cas où l'article contient le terme Volleyball, il n'est pas garantie que cela corresponde à un article intéressant. En effet, ce terme peut très bien faire partie d'une phrase comme: 

>La municipalité interdit toute pratique de sport de ballon tel que le football et le volleyball dans ce secteur.

Vous voyez le terme apparait bien, mais il est peu probable que son occurence soit intéressante pour notre utilisateur. 

Comment fait-on pour classer et trier les contenus par intérêt avec une base de données traditionnelle ? 

La réponse est simple : <u>on ne peut pas vraiment, car ces bases ne sont pas faîtes pour ça</u>. 

Ce que vous devrez faire, c'est faire la requête puis retraiter les résultats au niveau du code avec votre langage de programmation, en repoussant encore plus le délai de réponse à votre utilisateur, soit une expérience dégradée pour ce dernier. 😒

**C'est à ce moment qu'entrent en jeu les moteurs de recherches 🤠.**

Mais avant de faire des manipulations poussées et toute sorte de test de scoring, il convient de préparer son index. Pour les moteurs de recherches on ne parle pas de base de données mais d'index. En d'autre termes, d'injecter des données dans le moteur pour qu'il puisse les classer et les scorer.

Nous allons utiliser **Elastic Search** en tant que moteur de recherche, c'est un outil qui a fait ses preuves et qui est utilisé aujourd'hui par Cisco, Adobe, BMW, Yelp, etc...

Dans l'ordre nous allons:

- installer notre stack docker
- créer notre premier index
- injecter des données dans cet index
- requêter notre index

### 1 - Déploiement d'une stack Elastic

Nous allons commencer par créer nos serveurs grâce à **Docker**. Ici, je pars du principe que vous avez déjà **docker** et **docker-compose** d'installé sur votre machine. Si ce n'est pas le cas, je vous prie de commencer par là et de reprendre ensuite la lecture de cet article. Je pars aussi du principe que vous êtes sur un système qui permet de bosser rapidement avec **docker** et **bash**, donc un système **Linux** ou **Darwin** (Mac OS).

Pour aller vite, sachez que les développeurs d'elastic search ont eux même mis en place un repo qui permet la création rapide d'une stack docker [disponible à cette adresse](https://github.com/elkninja/elastic-stack-docker-part-one)

Si vous voulez lire l'article associé à ce repository, [le voici](https://www.elastic.co/fr/blog/getting-started-with-the-elastic-stack-and-docker-compose).

Cependant, dans cet article, la configuration est découpée en plusieurs blocs rendant tout cela difficilement lisible. Aussi je vous recommande de faire un pull du repo et de passer directement à la configuration de votre fichier **.env**.

```
# Project namespace (defaults to the current folder name if not set)
#COMPOSE_PROJECT_NAME=myproject

# Password for the 'elastic' user (at least 6 characters)
ELASTIC_PASSWORD=changeme

# Password for the 'kibana_system' user (at least 6 characters)
KIBANA_PASSWORD=changeme

# Version of Elastic products
STACK_VERSION=8.7.1

# Set the cluster name
CLUSTER_NAME=docker-cluster

# Set to 'basic' or 'trial' to automatically start the 30-day trial
LICENSE=basic
#LICENSE=trial

# Port to expose Elasticsearch HTTP API to the host
ES_PORT=9200

# Port to expose Kibana to the host
KIBANA_PORT=5601

# Increase or decrease based on the available host memory (in bytes)
ES_MEM_LIMIT=1073741824
KB_MEM_LIMIT=1073741824
LS_MEM_LIMIT=1073741824

# SAMPLE Predefined Key only to be used in POC environments
ENCRYPTION_KEY=c34d38b3a14956121ff2170e5030b471551370178f43e5626eec58b04a30fae2
```

Modifier les mots de passe dans le fichier .env en replaçant les occurences de changeme par quelque chose de votre choix.

Nous allons maintenant démarrer nos containers.

```
sudo docker-compose up -d
```

Une fois votre container démarré, votre **elastic search** est lancé, mais en **HTTPS** !

### 2 - Création d'un premier index

Je vais créer un index avec 2 shards. 

Les shards pour faire simple sont des points d'entrées vers les données. 
Splitter un index en deux shards permet de les parcourir simultanément (si votre disque dur le permet). 

⚠️ Attention un shard n'est pas un cluster, d'ailleurs si vous utilisez un cluster, sachez que vos shards seront répartis sur ces derniers. C'est à dire qu'ils ne seront pas multipliés par le nombre d'instance.

👉 Le fait de passer par un faux certificat risque de poser problème à curl, mais nous allons forcer les appels grâce au flag insecure.

👉 L'utilisation d'un user/password a une incidence sur comment vous allez requêter le service: 

```bash
curl --insecure -X PUT \
-u elastic:<mot de passe> \
https://localhost:9200/<nom de votre index> \
-H 'Content-Type: application/json' \
-d '{"settings":{"number_of_shards": 2}}' -v
```

Si jamais vous vous êtes trompé dans le nom, vous pouvez toujours supprimer cet index avec: 

```bash
curl --insecure -X DLETE \
-u elastic:<mot de passe> \
https://localhost:9200/<nom de votre index> -v
```

Vous pouvez aussi bien utiliser **Postman** pour le faire. Cependant, n'ayant pas de raccourci **--user**, vous devrez utiliser un header '**Authorization**' avec en value '**Basic [base64 de username:password]**'. 

Pour obtenir votre **base64**, vous pouvez utiliser la console, ou [ce site](https://www.blitter.se/utils/basic-authentication-header-generator/).

```bash
echo -n "username:password" | base64
```

### 3 - Injection du jeu de données

Commençons par télécharger un dataset. J'ai choisi les catégories d'articles du Huffington Post de 2012 à 2022. Rendez-vous [ici pour télécharger le dataset](https://www.kaggle.com/datasets/rmisra/news-category-dataset/). 

Décompressez cela dans un dossier et vous obtiendrez le fichier:

```
News_Category_Dataset_v3.json
```

Maintenant que vous avez votre index Elastic Search et votre jeu de données, il ne reste plus qu'à y injecter les données.

Vous pouvez créer une plus petite version du dataset pour commencer ce script, cela vous permettra de faire des tests au lieu de vous farcir les 209 000 lignes du dataset.

Nous allons batcher la lecture de ce fichier en faisant de chacun de ces **JSON** en appels **curl**. 

Pour cela, nous avons besoin de **bash**, donc je crée un fichier '**start_index.sh**' :

```
url="https://localhost:9200/"
index_name="<nom de votre index>"
username=elastic
pwd=<votre mot de passe>
input="./News_Category_Dataset_v3.json"

echo "Start indexing data"

index_path=$(echo "${url}${index_name}/_doc")
credentials=$(echo -n "${username}:${pwd}" | base64)

while IFS= read -r line
do
  echo "\nPushing new line..."
  curl --insecure -X POST $index_path -H 'Content-Type: application/json' -H "Authorization: Basic ${credentials}" -d "$line" -v
done < "$input"

```

Remplacez ce dont vous avez besoin.

Et vous pouvez lancer cela en faisant: 

```bash
sh start-index.sh
```

Vous laissez tourner car ça risque d'être long en fonction de la taille du dataset. ⌚

### 4 - Requêter l'index Elastic

Une fois que vous avez nourri votre Elastic Search 🍚, vous pouvez le requêter:

```bash
curl --insecure -X GET 'https://localhost:9200/<nom de votre index>/_search' \
-u <username>:<password> \
-H 'Content-Type: application/json' \
-d '{
    "query": {
    "query_string": {
      "query": "Obama"
    }
  }
}' 
```

Pour que ce soit plus lisible depuis la console vous pouvez **| jq** à la fin, à condition que vous ayez **jq**.

Idem, remplacez ce dont vous avez besoin et n'hésitez pas à utiliser **Postman**.

On obtient:

```bash
# ...
        "_id": "EQbHQosBiMuykQNzVA3o",
        "_score": 8.201126,
        "_source": {
          "category": "POLITICS",
          "headline": "Team Obama",
          "authors": "Jeff Danziger, ContributorPolitical cartoonist syndicated by the NYTimes worldwide",
          "link": "https://www.huffingtonpost.com/entry/team-obama_1_b_6125962.html",
          "short_description": "Team Obama",
          "date": "2014-11-08"
        }
      },
      {
        "_index": "news",
        "_id": "6gfQQosBiMuykQNzlQiE",
        "_score": 7.803393,
        "_source": {
          "category": "STYLE & BEAUTY",
          "headline": "White House Tree Lighting Photos: Michelle Obama & Family Cozy Up! (PHOTOS, VIDEO)",
          "authors": "Jessica Misener",
          "link": "https://www.huffingtonpost.com/entry/white-house-tree-lighting-michelle-obama-malia-sasha-photos_us_5b9c97dde4b03a1dcc802043",
          "short_description": "Plus... President Obama sings!",
          "date": "2012-12-07"
        }
      },
      {
        "_index": "news",
        "_id": "CAXEQosBiMuykQNzgsCL",
        "_score": 7.5903983,
        "_source": {
          "category": "POLITICS",
          "headline": "Obama and the 'N' Word",
          "authors": "Jonathan Richards, ContributorCartoonist",
          "link": "https://www.huffingtonpost.com/entry/obama-and-the-n-word_b_7646922.html",
          "short_description": "Obama and the 'N' Word",
          "date": "2015-06-23"
        }
      },
      {
        "_index": "news",
        "_id": "8gS4QosBiMuykQNzkXdu",
        "_score": 7.5273933,
        "_source": {
          "category": "COMEDY",
          "headline": "Conan O’Brien Zings Donald Trump In Spoof Barack Obama Netflix Trailer",
          "authors": "Lee Moran",
          "link": "https://www.huffingtonpost.com/entry/conan-barack-obama-netflix-spoof-stand-up-special_us_5ab22b23e4b008c9e5f2ce5a",
          "short_description": "Fake Obama brings the gags.",
          "date": "2018-03-21"
        }
      },
      {
        "_index": "news",
        "_id": "zAS9QosBiMuykQNzIvVo",
        "_score": 7.5273933,
        "_source": {
          "category": "WOMEN",
          "headline": "Obama Spent His First Week In Office Championing Women's Rights To Equal Pay",
          "authors": "Jenavieve Hatch",
          "link": "https://www.huffingtonpost.com/entry/obama-spent-his-first-week-in-office-championing-womens-rights-to-equal-pay_us_588f7aa5e4b02772c4e8105f",
          "short_description": "The Obama Foundation looks back.",
          "date": "2017-01-30"
        }
      }
    ]
  }
}
```

Et voilà votre index est configuré et contient des données. Vous pouvez maintenant y effectuer des requêtes et tester toute sorte de classement et de tris à votre guise.



nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

large_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

medium_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

small_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

thumbnail_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

Vous voulez vous exercer avec Elastic Search mais vous ne savez pas par où commencer ? Et si on s'installait une stack en local avec Docker pour y effectuer des tests ? Je vous propose aujourd'hui de créer tout ça de 0, ainsi que d'y injecter un premier jeu de données. 

Comment configurer rapidement un elastic stack local ?

Par où commencer lorsque l'on a besoin d'un jeu de données ?

### 1- Constituer soi même son jeu de données

Supposez que vous commenciez un business dans la vente automobile de marque Française. Vous allez constituer votre jeu de données avec les éléments suivants : 
- stock disponible chez les fournisseurs
- stock disponible chez vous
- liste des véhicules réservés ou achetés par des clients
- etc

Sur ces mêmes jeux de données vous allez commencer à effectuer des analyses: 
- combien de véhicules sont vendus par ces fournisseurs chaque années
- combien de véhicules vous vendez chaque années
- etc.

Mais avant même d'aller jusque là, imaginez un instant devoir passer en revue tout le stock disponible et les fiches complètes de chaque véhicules afin d'avoir un point de départ: la donnée sur laquelle viendront les analyses dans un second temps. Tout ceci est long et fastidieux...

### 2- Les sources de données existantes

C'est là qu'entre en jeu des sources de données existantes qui vont vous prémarcher une partie du travail. 🦥

Certains fournisseurs vous donnent immédiatement accès à leur stock que vous pourrez copier et coller chez vous histoire de gagner du temps... Mais dans bien des domaines vous serez livrer à vous même, contraint de commencer à partir de rien et de construire tout une base avec ces éléments.

Conscient de tout le travail que cela demande, certaines communautés se forment autour de la données et proposent même de s'échanger des jeux de données pour éviter à tout un chacun d'avoir à se farcir des heures de saisie.

J'ai nommé [kaggle.com](https://www.kaggle.com/)

![kaggle.png](https://bo.dev-freelance.fr/uploads/kaggle_3c94d826f2.png)

Site de référence sur lequel vous pourrez trouver énormément de listes en tout genre:

- liste d'animaux
- liste de séries TV
- liste de films
- liste de marque de voiture
- liste des titres d'article de presse
- etc...

Pour cela, penchez vous du côté des **datasets**.



scott-graham-5fNmWej4tAA-unsplash-resized.jpg

large_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

medium_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

small_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

thumbnail_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

Récupérer un jeu de données (dataset en anglais) n'a pas toujours été aussi simple. D'ailleurs la data a été et est toujours le nerf de la guerre dans l'informatique de demain. Dans le domaine de la stratégie, de l'IA, scientifique et des statistiques, les données sont au coeur de chacun de ses systèmes. Mais comment trouver une source de données ? 

Comment trouver ses jeux de données

### Pourquoi il n'est pas simple de modifier une table PostgreSQL directement en production ?

Lorsqu'il s'agit de votre base de données, la source de vérité sur laquelle vous vous appuyez pour des opérations, des calculs, ou même diffuser du contenu sur vos plateformes, **vous ne pouvez pas risquer de tout perdre**. Les enjeux sont importants au point que certaines compagnies prennent le temps de faire un backup de base avant ce genre d'opérations (il est notamment conseillé de le faire régulièrement). L'idée étant de pouvoir retomber sur vos pattes si vous rencontrez un problème. Cependant, vous conviendrez que si votre base fait 30go, le backup ne sera pas simple à faire.

Par ailleurs, il est difficile de mettre à jour une table de production car si l'opération est trop lourde pendant la modification de cette table, cela peut empêcher tout accès en parallèle. Ce qui implique littéralement un freeze de cette ressource pendant la durée de l'opération. Aussi, la question que vous devez vous poser est : **pouvez-vous vous permettre une interruption ?** Pour vous donner une idée, Amazon vend 150 produits par minutes. **Imaginer rendre une table produits inaccessible pendant 1 heure signifie se tirer une balle le pied !**

Donc, la gestion d'une base de données sur un projet actif n'est pas une mince affaire. 

### Les tâches obligatoires sur votre base

- 1. Toilettage Quotidien avec VACUUM

L'un des premiers défis réside dans le maintien de votre base de données en bonne santé au quotidien. C'est là que l'outil VACUUM entre en jeu. Il vous permet de récupérer de l'espace disque inutilisé suite aux suppressions, de prévenir la fragmentation, de nettoyer les transactions inachevées, et plus encore. La compréhension et l'utilisation appropriée de VACUUM sont cruciales pour maintenir la stabilité et la performance de votre base.

- 2. Optimisation de l'Architecture

Une architecture de base de données bien conçue est un élément clé de la performance. Savoir quand utiliser la redondance d'informations, c'est-à-dire répéter une colonne sur différentes tables pour éviter des jointures inutiles ou des sous-requêtes, peut considérablement accélérer vos requêtes.

- 3. Gestion du Volume de Données

Pour les projets de grande envergure, où des dizaines de sociétés vendent des milliers de produits chacune, le volume de données peut atteindre des dizaines, voire des centaines de gigaoctets. Il est essentiel de maintenir la base de données active dans une "tranche raisonnable" d'espace disque, idéalement en dessous de 1 Go pour garantir des performances optimales. Cela peut impliquer la mise en place d'une base de données active distincte de la base d'archives, avec des bascules périodiques pour libérer de l'espace et améliorer la réactivité de l'instance.

Il y a plusieurs façon de mettre à jour une table surtout si elle contient des données. Et par données, j'entends des dizaines, centaines de milliers de lignes, des millions voire plus. Croyez moi, à ce moment là, vous ne faîtes plus seulement un :

```
ALTER TABLE ADD COLUMN ... DEFAULT ...
```

Sous peine de mettre littéralement votre base de données en PLS ✝️.

Lorsque vous avez trop de données l'activation du **DEFAULT VALUE** peut faire très très mal à votre instance de base, le temps de passer sur chaque ligne pour y mettre la fameuse valeur par défaut. Au même moment, toutes les requêtes entrante vers cette table sont compromises, gros risques de perte d'accès à cause des **lock** de ressource etc. 


>Ne pas pouvoir répondre à une QUERY c'est une chose, mais perdre un INSERT/UPDATE/DELETE ça peut carrément être grave.

Il y a plusieurs façon de procéder dans ce cas de figure, certaines méthode sont plus complexes que d'autres, même si ce n'est pas mon domaine premier d'expertise (car je tiens à rappeler que c'est un métier à part entière et que nos experts **SysDBA**/**DBOps** sont biens plus qualifiés que moi pour vous aiguiller au mieux) je vais vous expliquer ce que je ferai dans ce cas. Bien sûr, ces méthodologies ont été testés et éprouvés sur le terrains avec mes confrères **DBOps** et sous couvert de leur expertise.

### 1- La nouvelle table

Il est tout à fait possible et plein de sens de créer une nouvelle table pour y effectuer les modification par rapport à une table initiale. On parle ici uniquement de la structure de table dans un premier temps.

Bien que cela comporte aussi ses inconvénients dans un second temps : 
Supposez que votre table principale fasse **10go**, cela signifie que vous allez vous retrouver avec le double, du moins, pendant un instant. Si vous êtes sur un serveur dont les limitations disque ne vous permettent pas d'aller aussi loin, cette procédure semble déjà compromise. 

Pour autant, cette méthode comporte aussi quelques avantages: 
**La sécurité et l'intégrité des données sur la table principale qui n'est pas altérée**, cela vous permet de structurer souplement vos colonnes et de prendre le temps d'améliorer le modèle. De plus, votre table principale est toujours accessible pour les utilisateurs. 

Une fois votre table terminée, vous pourrez à une heure de faible sollicitation (souvent le soir à 2h/3h du mat 🛏️), effectuer une bascule de données, via des batchs ou non. **Il est recommandé, pour avoir la garantie de récupérer 100% de l'état de la table initiale en sortie, d'utiliser des lock manuels pendant l'opération**. 

Cette solution est tout à fait convenable et fonctionne très bien. Quand votre opération est terminée, rien ne vous empêche de renommer les tables pour que la nouvelle puisse enfin remplacer l'ancienne.

### 2- Le batch update sur la table cible

Une autre alternative vous est possible : **directement modifier la table cible** !

>Cependant, pas si vite jeune fougeux(se) ! ✋

Rappelez vous ce que je vous ai dit plus haut, on ne fait pas un **ALTER TABLE** gratuit sur une table avec une **DEFAULT VALUE**. Votre base va cracher ses poumons ! 😷 

Pour cela je vous propose un peu d'algorithme et d'élégance pour paraphraser un ancien confrère.  

Voici un exemple de batch que je ferai, je batcherai par lot de 1000 les lignes afin de ne pas saturer ma base. De cette façon, j'ai plus de garantie qu'elle reste accessible en parallèle pour tout autre accès.

```
DO $$
DECLARE
  total_rows FLOAT; -- we need a float to calculate coeff 
  total_pages INTEGER; 
  pg_offset INTEGER = 1000; -- our limit for each iteration
  id_val INTEGER;
  temp_row RECORD;
BEGIN
  SELECT INTO total_rows count(*) FROM movies;
  total_pages = ceil(total_rows / pg_offset);
  
  -- log infos
  RAISE NOTICE 'Total rows: %', total_rows; 
  RAISE NOTICE 'Pages count: %', total_pages; 
  
  -- add new column without default value 
  ALTER TABLE movies ADD COLUMN in_collection BOOLEAN;
  
  -- batch update value
  FOR id_val IN 1..total_pages
  LOOP
    RAISE NOTICE 'Updating page % of %', id_val, total_pages; 
  	FOR temp_row IN
  	  SELECT * FROM movies LIMIT pg_offset offset pg_offset * (id_val - 1)
	LOOP
	  UPDATE movies SET in_collection=true WHERE id = temp_row.id;
	  COMMIT;
	END LOOP;
  END LOOP;
  
  RAISE NOTICE 'Job done, Rest soldier !';
  
END $$;
```

⚠️ Petite subtilité: l'usage du **FLOAT** pour **total_rows** est important pour la variable de coefficient. 

Le passage, même temporaire à un état flottant, bien que le **CEIL()** va suivre, est obligatoire ! Si vous déclarez cette variable en **INTEGER**, vous rencontrez un problème lors de l'opération 

```
CEIL(var / 1000); 
```

Si **var = 1300**, **var / 1000** ne sera plus 1.3 mais 1 et ça change tout avant exécution du **CEIL**. Oui, même si vous n'assignez pas le fameux 1.3 à votre **var** !  👈

__

Parenthèse fermée, rien ne vous empêche, quand tout est fini de faire un **ALTER COLUMN** et d'y ajouter votre **DEFAULT VALUE**. Au moins, on sait que les opérations d'écritures sont terminées.

Les notices permettent de suivre dans la console ce qu'il se passe pour ne pas vous faire poireauter à l'aveugle. 

Pour information, j'ai lancé cette requête sur une base temporaire de films avec exactement 7392 lignes et voici l'output console :

```
NOTICE:  Total rows: 7392
NOTICE:  Pages count: 8
NOTICE:  Updating page 1 of 8
NOTICE:  Updating page 2 of 8
NOTICE:  Updating page 3 of 8
NOTICE:  Updating page 4 of 8
NOTICE:  Updating page 5 of 8
NOTICE:  Updating page 6 of 8
NOTICE:  Updating page 7 of 8
NOTICE:  Updating page 8 of 8
NOTICE:  Job done, Rest soldier !
DO

Query returned successfully in 11 secs 493 msec.
```

**11.5sec pour 7392 lignes** ça laisse présager de ce que ça serait avec 10 millions de lignes. En extrapolant un peu, on serait au alentours de 4H30... 

Rien ne vous empêche de mettre des **hard limit** à vos batchs par exemple, d'ajouter des conditions pour s'arrêter à 1 000 000 de lignes, en vous obligeant ainsi à relancer plusieurs fois le script mais au moins vous aurez la possibilité de faire des contrôles entre les exécutions. N'oubliez pas ceci-dit, de commenter (double dash/tiret) la partie **ADD COLUMN** si vous le faites.

Pour conclure, je dirai que des solutions possibles pour faire une mise à jour de la structure de table en production sont :
- le backup de table et l'exécution brute des requêtes **ALTER TABLE** (bien que déconseillée)
- la nouvelle table et la copie incrémentale avec un batch  **SELECT** -> **INSERT** (bien que nécessitant un espace disque suffisant)
- le batch opération sur la table elle même 

C'est tout pour cet article qui j'espère vous apportera une solution dans vos problématiques quotidiennes. N'hésitez pas à le partager si vous avez apprécié, ou à me faire vos retours en commentaire ou sur la rubrique contact du site. Oui, je lis les messages ! 😉

large_warehouse.jpg

medium_warehouse.jpg

small_warehouse.jpg

thumbnail_warehouse.jpg

warehouse.jpg

Lorsque l'on veut modifier une table sur une base de production PostgreSQL, il convient de s'y ateler avec beaucoup de précautions. Bien sûr, tout va dépendre de la criticité de la base, de la fréquence d'utilisation, du volume de données etc... Mais en pratique, lorsqu'il s'agit de votre production il faut se préparer à une procédure très technique.

Comment modifier une grosse table PostgreSQL

Contrairement à ce que je peux laisser entendre dans mes écrits, Node.js a beau être ma techno préféré, JS/TS le langage dans lequel je me sens le plus à l'aise. Ce n'est pas le meilleur outil dans toutes les situations. 

Il y a effectivement de nombreuses possibilités notamment via les **spawn** etc pour faire des appels de commande terminal, mais l'async rend les choses un peu plus compliqués lorsque l'on veut uniquement séquencer des opérations.

Quand je parle de scripting, je parle d'opérations que j'exécute sur ma machine, mon OS, mon infra ou encore des scripts de scraping. Et je pense que **Python** est un outil bien plus adapté pour ce genre de chose.

## Pourquoi ? 

N'en déplaise aux fanboys Node.js de la première heure, **Python** est beaucoup plus puissant en terme d'outil. 

Dans 95% des cas (chiffre qui sort de ma tête, mais qu'on se le dise, qui ne doit pas être loin de la réalité), des gens se concentrent uniquement sur des fonctionnalités basiques lorsqu'ils font du scraping. 

Ils diront : **Puppeteer** c'est suffisant ! **Cypress** c'est trop cool, ou encore **Selenium** pour les plus techniques. 

Mais les gars, je vous mets au défi de créer un système bien plus complexe ou les interactions deviennent dynamique, etc... Par exemple, brancher vos scrapers sur des plateformes qui n'ont pas été adaptés pour la situation (login compris, captcha compris, sans détourner le système de connexion). Car la plupart du temps pour de l'automatisation E2E, les process sont adaptés pour gérer les scénarios de tests plus facilement. Et bien **Python** il peut faire tout ça, sans alléger le process et sans trop vous casser la tête.

## Compliqué ? 

Python permet de faire tellement de chose: 
- la lecture d'écran grâce à l'**opencv** (pour Open Computer Vision), c'est à dire être capable de prendre en entrée une image (typiquement ce sera un screenshot de votre page). 
- la prise en main de votre machine, déplacer la souris à votre place, taper au clavier à votre place etc...
- et pour pousser un peu plus, vous pouvez y ajouter un système de réseau de neurones si vous voulez y intégrer l'apprentissage et que votre système puisse évoluer

Figurez vous que Python fait tout cela facilement et sans broncher...


<iframe width="315" height="560"
src="https://www.youtube.com/embed/BUK0f-3R_qU"
title="YouTube video player" frameborder="0"
allow="accelerometer; autoplay; clipboard-write; encrypted-media;
gyroscope; picture-in-picture;
web-share"
allowfullscreen></iframe>

Par ailleurs, non je ne télécharge pas 🙈 ... Il faut bien que je teste quelque part 😇

Donc, je penses toujours que **Node.js** est le meilleur langage pour processer des pages sur un serveur grâce à son moteur fait pour l'i/o. 

Mais, ne restez pas dans votre zone de confort et explorez tous les langages car à chaque problème sa solution. Parfois un autre langage peut être un outil bien plus adapté à votre besoin.

todd-quackenbush-IClZBVw5W5A-unsplash.jpg

large_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

medium_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

small_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

thumbnail_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

Est-ce qu'en tant que développeur Typescript je ne fais que du ts ? Je ne jure que par lui et rien d'autre ? Et bien la réponse est non ! TS est un super langage pour coder des API et du frontend. Cependant, lorsque je code un script, automate, système ou autre, j'utilise autre chose.

Mon langage de scripting préféré

## Mon petit serveur

Comme à mon habitude, je travaille sur des projets persos et met en ligne mes tests sur des serveurs **VPS**. Dernièrement j'ai un de mes serveurs qui s'est fait hacké par un soit disant "rambler" qui me demandait <u>0.2 BTC</u> soit <u>4000€</u> au moment où je vous parle pour récupérer mes données. 

Bien entendu, il s'agissait d'un serveur de test donc autant vous dire qu'il peut s'asseoir dessus encore bien longtemps, avant de recevoir quoique ce soit de ma part. Quoiqu'il en soit j'ai tout de même réalisé qu'il y avait un problème quelque part. 

Mais où ?

### Ce que je vérifie par défaut sur mes serveurs

A chaque serveur que je monte, je prends le soin de mettre en place **ufw** (le firewall) et un **fail2ban** (pour empêcher le brut force). Et jusque là tout s'est toujours bien passé. Pour tout vous dire, je désactive toujours la connexion distante par mot de passe sur **SSH** et j'ai une liste de clé **SSH** autorisés que je garde précieusement (backupé au cas où). 

Jusque là j'ai eu des serveurs qui ont tenu bon. Je vois des logs passer, sur des dizaines de millier d'IP que j'identifie être une tentative de brut force de la part d'un bot net. Mais ils ne sont pas prêt d'y arriver et ça fait 5 ans que ça dure... 

### Trouver la faille

Le jour où je me suis fait hacké ce serveur, ils ont réussi à accéder à ma base  **MySQL** et ont tout extrait avant de supprimer et de laisser un message avec les instructions pour la récupération. Très bien mais comment ont-ils fait ?

J'étais pourtant persuadé que mon ufw était configuré en deny by default. Ce qui veut dire que le firewall rejette systématiquement tout ce qui rentre, à part ce que j'ai ajouté en liste comme étant autorisé. Par exemple certains ports, comme SSH, certains protocoles comme le Web avec Nginx, etc...

Me serais-je loupé cette fois-ci ? Aurais-je oublié de le faire ? 

Je vérifie... Et la réponse est **NON** !

Je n'ai absolument rien oublié, et tout était bien configuré. 

Donc il ne me reste plus qu'à tester quelque chose : <u>une connexion distante vers mon serveur **MySQL**</u>.

Résultat : Ca passe ! J'arrive à me connecter ! WTF ? 😱

Je suis sans voix, qu'est-ce qui a bien pu se passer pour que **ufw** ne fasse pas son boulot ?

Je reprends mes investigations, le service défaillant est **MySQL**. 

Il a été déployé comment ? Je suis passé par un **Docker**. 

Certes, j'ai fait l'erreur de laisser un mot de passe bidon, mais jusque là j'étais persuadé d'être derrière un intranet. Bon... Ceci n'est plus un problème.

Mais pour ce qui est de la vraie question : Qu'est-ce que **Docker** est en train de me faire là ? 🧐

Et ben la réponse est : vraiment n'importe quoi ! **Docker** crée ses propres règles firewall, donc il bypass **ufw** ! 

Pour régler le problème il faut configurer un fichier **/etc/docker/daemon.json** et ajouter une ligne :


```
{"iptables":false}
```

**Incroyable !**  🤔

Mais maintenant, j'en rigole, je me dis qu'il vaut mieux que ce soit un serveur de test qui sert à rien. Ca aurait pu être beaucoup plus grave, et ça veut dire que ça l'est pour beaucoup de gens qui ne savent pas que **Docker** et **ufw** ne font pas bon ménage, par défaut.

### Conclusion

Faîtes bien attention si vous aussi vous utilisez ces services, vous risquez d'avoir bien des surprises dans le futur. Mais cette expérience m'a fait réaliser qu'il vaut mieux ne jamais faire confiance lorsque l'on monte une machine et que l'on teste absolument tout pour vérifié le niveau de sécurité.

Content d'avoir appris quelque chose. 😄

large_clint-patterson-dYEuFB8KQJk-unsplash.jpg

medium_clint-patterson-dYEuFB8KQJk-unsplash.jpg

small_clint-patterson-dYEuFB8KQJk-unsplash.jpg

thumbnail_clint-patterson-dYEuFB8KQJk-unsplash.jpg

clint-patterson-dYEuFB8KQJk-unsplash.jpg

Ce genre de problèmes arrive à tout le monde et je ne serai pas le dernier. Lorsque l'on monte son serveur, il y a souvent des petites failles qu'il faut colmater pour éviter de se faire pirater. C'est ce que j'ai fait, pourtant des hackers sont passés, je vous explique comment il s'y sont pris.

Découvrez tous nos articles - page 4 sur 8