_Petit disclaimer: Upgradists est ma société de consulting._

Pour toute société, avoir une présence en ligne c'est utile et même fondamentale ! 

On me demande de travailler sur des applications, sur des sites, je le fais volontiers. Mais, dès que c'est quelque chose uniquement pour moi, il est vrai que j'ai tendance à le repousser à chaque fois.

Cependant, j'ai toujours voulu publier quelque chose pour lister les projets sur lesquels je travaille et faire un "état des lieux" de ce qui a été fait. Le blog dev-freelance sert quand à lui à rentrer dans certains détails d'implémentation et s'adresse aux plus passionnés. 

Quoiqu'il en soit, il est enfin là: [le site Upgradists](https://upgradists.com)

Donc je vous invite à le visiter et à prendre connaissances de mon expérience passée et mes projets. Bonne navigation ! 🚢

small_blog-upgradists_resized.png

thumbnail_blog-upgradists_resized.png

blog-upgradists_resized.png

On dit toujours que c'est le cordonnier qui est mal chaussé... ce qui est vrai ! J'ai enfin publié un site sur la société Upgradists. Mais c'est surtout que cette fois j'étais un peu obligé de m'y mettre.

Un site Upgradists enfin !

Vous connaissez peut-être mon affection pour le fait maison... Je n'ai rien contre **Ghost CMS**, **Joomla** ou **Wordpress**, mais ces outils ne sont pas pour moi. J'ai besoin de quelque chose sur mesure pour faire un site à mon image et à ma façon.

Tout ici est bien plus <u>maintenable et évolutif</u>. Même si vous ne le voyez pas encore, ce moteur de blog est juste incroyable. 

Pour rappel on est sur du frontend **Next.js** et un backend **Strapi typescript**. Bien sûr tout a été personnalisé pour arriver à ce rendu. Ce blog bénéficie d'un caching lifecycle automatique, de l'autogénération de ressources (sitemap, etc.), permet de partager des média, et j'en passe.

Mais dernièrement je voulais y ajouter des fonctionnalités.

Démonstration d'un magnifique diagramme [Mermaid](https://mermaid.js.org/):

<div class="mermaid">
graph LR
  A --- B
  B-->C[fa:fa-ban forbidden]
  B-->D(fa:fa-spinner);
</div>

Voici une des nombreuses possibilités de ce moteur: Etre capable de générer des diagrammes dynamiquement !

Il y a même un [moteur de charts](https://www.chartjs.org/) pour générer dynamiquement des graphiques:

<div class="charts">
{"type":"bar","data":{"labels":["Red","Blue","Yellow","Green","Purple","Orange"],"datasets":[{"label":"# of Votes","data":[12,19,3,5,2,3],"borderWidth":1}]},"options":{"scales":{"y":{"beginAtZero":true}}}}
</div>

Vous verrez bientôt cela utilisé dans les prochains articles. 

Des optimisations invisibles ont aussi été déployés, sur le design, sur la refacto des composants React. Et ce n'est pas tout, un gros travail a été fait au niveau de l'optimisation. 

Sur le page la plus lourde on est passé de **448kb** post-compilation à **298kb** soit un changement notable qui devrait se faire ressentir sur la vitesse de chargement où je fais de mon mieux pour rester performant. Le site a un pageload que je trouve assez dingue comparé à ce qui se fait en ce moment sur le marché. 

Sur des pages simples on est à 500ms de chargement (cache off) de loadtime à 1s sur des pages plus complexes. J'ai jeté un oeil sur le marché et il est sûr que comparé à des moteurs classiques **Wordpress** et autre, on est sur une autre planète. Bref, je suis content de vous partager cela et de vous en faire profiter pour le confort de votre navigation. 

Bon surf à vous.

pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

large_pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

medium_pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

small_pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

thumbnail_pavel-neznanov-w95Fb7EEcjE-unsplash-compressed.jpg

Puisqu'ici tout est fait maison (tout ce que vous voyez, ce que vous manipulez sur ce site), je me devais de refaire une passe sur les pages et d'optimiser certains points. Même si cela passe inaperçu, il y a eu des changements discrets. Explications...

Mise à jour du moteur de blog

### A quoi sert Elastic Search ?

Pour faire rapide 👉 **Elastic Search est un moteur de recherche**. 

Maintenant, qu'est-ce qu'un moteur de recherche ? 

Vous stockez probablement déjà des informations dans une base de données. Lorsque vous recherchez des informations dans cette base, vous allez utiliser des requêtes. Si vous voulez faire des tris dans ces requêtes, en base de données vous aurez les possibilités suivantes: 

- trier par ordre alphabétique
- trier par ordre croissant, décroissant

Supposez qu'un utilisateur recherche le terme: **Volleyball**, il est possible que ce terme apparaisse <u>dans le titre</u> d'un article ou <u>dans le contenu</u> de l'article. 

👍 S'il s'agit du titre, la probabilité est forte que cette article intéresse notre utilisateur. 

👎 Dans le cas où l'article contient le terme Volleyball, il n'est pas garantie que cela corresponde à un article intéressant. En effet, ce terme peut très bien faire partie d'une phrase comme: 

>La municipalité interdit toute pratique de sport de ballon tel que le football et le volleyball dans ce secteur.

Vous voyez le terme apparait bien, mais il est peu probable que son occurence soit intéressante pour notre utilisateur. 

Comment fait-on pour classer et trier les contenus par intérêt avec une base de données traditionnelle ? 

La réponse est simple : <u>on ne peut pas vraiment, car ces bases ne sont pas faîtes pour ça</u>. 

Ce que vous devrez faire, c'est faire la requête puis retraiter les résultats au niveau du code avec votre langage de programmation, en repoussant encore plus le délai de réponse à votre utilisateur, soit une expérience dégradée pour ce dernier. 😒

**C'est à ce moment qu'entrent en jeu les moteurs de recherches 🤠.**

Mais avant de faire des manipulations poussées et toute sorte de test de scoring, il convient de préparer son index. Pour les moteurs de recherches on ne parle pas de base de données mais d'index. En d'autre termes, d'injecter des données dans le moteur pour qu'il puisse les classer et les scorer.

Nous allons utiliser **Elastic Search** en tant que moteur de recherche, c'est un outil qui a fait ses preuves et qui est utilisé aujourd'hui par Cisco, Adobe, BMW, Yelp, etc...

Dans l'ordre nous allons:

- installer notre stack docker
- créer notre premier index
- injecter des données dans cet index
- requêter notre index

### 1 - Déploiement d'une stack Elastic

Nous allons commencer par créer nos serveurs grâce à **Docker**. Ici, je pars du principe que vous avez déjà **docker** et **docker-compose** d'installé sur votre machine. Si ce n'est pas le cas, je vous prie de commencer par là et de reprendre ensuite la lecture de cet article. Je pars aussi du principe que vous êtes sur un système qui permet de bosser rapidement avec **docker** et **bash**, donc un système **Linux** ou **Darwin** (Mac OS).

Pour aller vite, sachez que les développeurs d'elastic search ont eux même mis en place un repo qui permet la création rapide d'une stack docker [disponible à cette adresse](https://github.com/elkninja/elastic-stack-docker-part-one)

Si vous voulez lire l'article associé à ce repository, [le voici](https://www.elastic.co/fr/blog/getting-started-with-the-elastic-stack-and-docker-compose).

Cependant, dans cet article, la configuration est découpée en plusieurs blocs rendant tout cela difficilement lisible. Aussi je vous recommande de faire un pull du repo et de passer directement à la configuration de votre fichier **.env**.

```
# Project namespace (defaults to the current folder name if not set)
#COMPOSE_PROJECT_NAME=myproject

# Password for the 'elastic' user (at least 6 characters)
ELASTIC_PASSWORD=changeme

# Password for the 'kibana_system' user (at least 6 characters)
KIBANA_PASSWORD=changeme

# Version of Elastic products
STACK_VERSION=8.7.1

# Set the cluster name
CLUSTER_NAME=docker-cluster

# Set to 'basic' or 'trial' to automatically start the 30-day trial
LICENSE=basic
#LICENSE=trial

# Port to expose Elasticsearch HTTP API to the host
ES_PORT=9200

# Port to expose Kibana to the host
KIBANA_PORT=5601

# Increase or decrease based on the available host memory (in bytes)
ES_MEM_LIMIT=1073741824
KB_MEM_LIMIT=1073741824
LS_MEM_LIMIT=1073741824

# SAMPLE Predefined Key only to be used in POC environments
ENCRYPTION_KEY=c34d38b3a14956121ff2170e5030b471551370178f43e5626eec58b04a30fae2
```

Modifier les mots de passe dans le fichier .env en replaçant les occurences de changeme par quelque chose de votre choix.

Nous allons maintenant démarrer nos containers.

```
sudo docker-compose up -d
```

Une fois votre container démarré, votre **elastic search** est lancé, mais en **HTTPS** !

### 2 - Création d'un premier index

Je vais créer un index avec 2 shards. 

Les shards pour faire simple sont des points d'entrées vers les données. 
Splitter un index en deux shards permet de les parcourir simultanément (si votre disque dur le permet). 

⚠️ Attention un shard n'est pas un cluster, d'ailleurs si vous utilisez un cluster, sachez que vos shards seront répartis sur ces derniers. C'est à dire qu'ils ne seront pas multipliés par le nombre d'instance.

👉 Le fait de passer par un faux certificat risque de poser problème à curl, mais nous allons forcer les appels grâce au flag insecure.

👉 L'utilisation d'un user/password a une incidence sur comment vous allez requêter le service: 

```bash
curl --insecure -X PUT \
-u elastic:<mot de passe> \
https://localhost:9200/<nom de votre index> \
-H 'Content-Type: application/json' \
-d '{"settings":{"number_of_shards": 2}}' -v
```

Si jamais vous vous êtes trompé dans le nom, vous pouvez toujours supprimer cet index avec: 

```bash
curl --insecure -X DLETE \
-u elastic:<mot de passe> \
https://localhost:9200/<nom de votre index> -v
```

Vous pouvez aussi bien utiliser **Postman** pour le faire. Cependant, n'ayant pas de raccourci **--user**, vous devrez utiliser un header '**Authorization**' avec en value '**Basic [base64 de username:password]**'. 

Pour obtenir votre **base64**, vous pouvez utiliser la console, ou [ce site](https://www.blitter.se/utils/basic-authentication-header-generator/).

```bash
echo -n "username:password" | base64
```

### 3 - Injection du jeu de données

Commençons par télécharger un dataset. J'ai choisi les catégories d'articles du Huffington Post de 2012 à 2022. Rendez-vous [ici pour télécharger le dataset](https://www.kaggle.com/datasets/rmisra/news-category-dataset/). 

Décompressez cela dans un dossier et vous obtiendrez le fichier:

```
News_Category_Dataset_v3.json
```

Maintenant que vous avez votre index Elastic Search et votre jeu de données, il ne reste plus qu'à y injecter les données.

Vous pouvez créer une plus petite version du dataset pour commencer ce script, cela vous permettra de faire des tests au lieu de vous farcir les 209 000 lignes du dataset.

Nous allons batcher la lecture de ce fichier en faisant de chacun de ces **JSON** en appels **curl**. 

Pour cela, nous avons besoin de **bash**, donc je crée un fichier '**start_index.sh**' :

```
url="https://localhost:9200/"
index_name="<nom de votre index>"
username=elastic
pwd=<votre mot de passe>
input="./News_Category_Dataset_v3.json"

echo "Start indexing data"

index_path=$(echo "${url}${index_name}/_doc")
credentials=$(echo -n "${username}:${pwd}" | base64)

while IFS= read -r line
do
  echo "\nPushing new line..."
  curl --insecure -X POST $index_path -H 'Content-Type: application/json' -H "Authorization: Basic ${credentials}" -d "$line" -v
done < "$input"

```

Remplacez ce dont vous avez besoin.

Et vous pouvez lancer cela en faisant: 

```bash
sh start-index.sh
```

Vous laissez tourner car ça risque d'être long en fonction de la taille du dataset. ⌚

### 4 - Requêter l'index Elastic

Une fois que vous avez nourri votre Elastic Search 🍚, vous pouvez le requêter:

```bash
curl --insecure -X GET 'https://localhost:9200/<nom de votre index>/_search' \
-u <username>:<password> \
-H 'Content-Type: application/json' \
-d '{
    "query": {
    "query_string": {
      "query": "Obama"
    }
  }
}' 
```

Pour que ce soit plus lisible depuis la console vous pouvez **| jq** à la fin, à condition que vous ayez **jq**.

Idem, remplacez ce dont vous avez besoin et n'hésitez pas à utiliser **Postman**.

On obtient:

```bash
# ...
        "_id": "EQbHQosBiMuykQNzVA3o",
        "_score": 8.201126,
        "_source": {
          "category": "POLITICS",
          "headline": "Team Obama",
          "authors": "Jeff Danziger, ContributorPolitical cartoonist syndicated by the NYTimes worldwide",
          "link": "https://www.huffingtonpost.com/entry/team-obama_1_b_6125962.html",
          "short_description": "Team Obama",
          "date": "2014-11-08"
        }
      },
      {
        "_index": "news",
        "_id": "6gfQQosBiMuykQNzlQiE",
        "_score": 7.803393,
        "_source": {
          "category": "STYLE & BEAUTY",
          "headline": "White House Tree Lighting Photos: Michelle Obama & Family Cozy Up! (PHOTOS, VIDEO)",
          "authors": "Jessica Misener",
          "link": "https://www.huffingtonpost.com/entry/white-house-tree-lighting-michelle-obama-malia-sasha-photos_us_5b9c97dde4b03a1dcc802043",
          "short_description": "Plus... President Obama sings!",
          "date": "2012-12-07"
        }
      },
      {
        "_index": "news",
        "_id": "CAXEQosBiMuykQNzgsCL",
        "_score": 7.5903983,
        "_source": {
          "category": "POLITICS",
          "headline": "Obama and the 'N' Word",
          "authors": "Jonathan Richards, ContributorCartoonist",
          "link": "https://www.huffingtonpost.com/entry/obama-and-the-n-word_b_7646922.html",
          "short_description": "Obama and the 'N' Word",
          "date": "2015-06-23"
        }
      },
      {
        "_index": "news",
        "_id": "8gS4QosBiMuykQNzkXdu",
        "_score": 7.5273933,
        "_source": {
          "category": "COMEDY",
          "headline": "Conan O’Brien Zings Donald Trump In Spoof Barack Obama Netflix Trailer",
          "authors": "Lee Moran",
          "link": "https://www.huffingtonpost.com/entry/conan-barack-obama-netflix-spoof-stand-up-special_us_5ab22b23e4b008c9e5f2ce5a",
          "short_description": "Fake Obama brings the gags.",
          "date": "2018-03-21"
        }
      },
      {
        "_index": "news",
        "_id": "zAS9QosBiMuykQNzIvVo",
        "_score": 7.5273933,
        "_source": {
          "category": "WOMEN",
          "headline": "Obama Spent His First Week In Office Championing Women's Rights To Equal Pay",
          "authors": "Jenavieve Hatch",
          "link": "https://www.huffingtonpost.com/entry/obama-spent-his-first-week-in-office-championing-womens-rights-to-equal-pay_us_588f7aa5e4b02772c4e8105f",
          "short_description": "The Obama Foundation looks back.",
          "date": "2017-01-30"
        }
      }
    ]
  }
}
```

Et voilà votre index est configuré et contient des données. Vous pouvez maintenant y effectuer des requêtes et tester toute sorte de classement et de tris à votre guise.



nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

large_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

medium_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

small_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

thumbnail_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

Installez une stack Elastic Search avec Docker, créez-la de zéro et injectez vos premières données pour débuter vos tests en local facilement.

Comment configurer rapidement un elastic stack local ?

Par où commencer lorsque l'on a besoin d'un jeu de données ?

### 1- Constituer soi même son jeu de données

Supposez que vous commenciez un business dans la vente automobile de marque Française. Vous allez constituer votre jeu de données avec les éléments suivants : 
- stock disponible chez les fournisseurs
- stock disponible chez vous
- liste des véhicules réservés ou achetés par des clients
- etc

Sur ces mêmes jeux de données vous allez commencer à effectuer des analyses: 
- combien de véhicules sont vendus par ces fournisseurs chaque années
- combien de véhicules vous vendez chaque années
- etc.

Mais avant même d'aller jusque là, imaginez un instant devoir passer en revue tout le stock disponible et les fiches complètes de chaque véhicules afin d'avoir un point de départ: la donnée sur laquelle viendront les analyses dans un second temps. Tout ceci est long et fastidieux...

### 2- Les sources de données existantes

C'est là qu'entre en jeu des sources de données existantes qui vont vous prémarcher une partie du travail. 🦥

Certains fournisseurs vous donnent immédiatement accès à leur stock que vous pourrez copier et coller chez vous histoire de gagner du temps... Mais dans bien des domaines vous serez livrer à vous même, contraint de commencer à partir de rien et de construire tout une base avec ces éléments.

Conscient de tout le travail que cela demande, certaines communautés se forment autour de la données et proposent même de s'échanger des jeux de données pour éviter à tout un chacun d'avoir à se farcir des heures de saisie.

J'ai nommé [kaggle.com](https://www.kaggle.com/)

![kaggle.png](https://bo.dev-freelance.fr/uploads/kaggle_3c94d826f2.png)

Site de référence sur lequel vous pourrez trouver énormément de listes en tout genre:

- liste d'animaux
- liste de séries TV
- liste de films
- liste de marque de voiture
- liste des titres d'article de presse
- etc...

Pour cela, penchez vous du côté des **datasets**.



scott-graham-5fNmWej4tAA-unsplash-resized.jpg

large_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

medium_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

small_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

thumbnail_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

Trouvez facilement des datasets pour vos projets d'IA, statistiques ou recherche et explorez l'importance stratégique des données dans l'informatique de demain.

Comment trouver ses jeux de données

### Pourquoi il n'est pas simple de modifier une table PostgreSQL directement en production ?

Lorsqu'il s'agit de votre base de données, la source de vérité sur laquelle vous vous appuyez pour des opérations, des calculs, ou même diffuser du contenu sur vos plateformes, **vous ne pouvez pas risquer de tout perdre**. Les enjeux sont importants au point que certaines compagnies prennent le temps de faire un backup de base avant ce genre d'opérations (il est notamment conseillé de le faire régulièrement). L'idée étant de pouvoir retomber sur vos pattes si vous rencontrez un problème. Cependant, vous conviendrez que si votre base fait 30go, le backup ne sera pas simple à faire.

Par ailleurs, il est difficile de mettre à jour une table de production car si l'opération est trop lourde pendant la modification de cette table, cela peut empêcher tout accès en parallèle. Ce qui implique littéralement un freeze de cette ressource pendant la durée de l'opération. Aussi, la question que vous devez vous poser est : **pouvez-vous vous permettre une interruption ?** Pour vous donner une idée, Amazon vend 150 produits par minutes. **Imaginer rendre une table produits inaccessible pendant 1 heure signifie se tirer une balle le pied !**

Donc, la gestion d'une base de données sur un projet actif n'est pas une mince affaire. 

### Les tâches obligatoires sur votre base

- 1. Toilettage Quotidien avec VACUUM

L'un des premiers défis réside dans le maintien de votre base de données en bonne santé au quotidien. C'est là que l'outil VACUUM entre en jeu. Il vous permet de récupérer de l'espace disque inutilisé suite aux suppressions, de prévenir la fragmentation, de nettoyer les transactions inachevées, et plus encore. La compréhension et l'utilisation appropriée de VACUUM sont cruciales pour maintenir la stabilité et la performance de votre base.

- 2. Optimisation de l'Architecture

Une architecture de base de données bien conçue est un élément clé de la performance. Savoir quand utiliser la redondance d'informations, c'est-à-dire répéter une colonne sur différentes tables pour éviter des jointures inutiles ou des sous-requêtes, peut considérablement accélérer vos requêtes.

- 3. Gestion du Volume de Données

Pour les projets de grande envergure, où des dizaines de sociétés vendent des milliers de produits chacune, le volume de données peut atteindre des dizaines, voire des centaines de gigaoctets. Il est essentiel de maintenir la base de données active dans une "tranche raisonnable" d'espace disque, idéalement en dessous de 1 Go pour garantir des performances optimales. Cela peut impliquer la mise en place d'une base de données active distincte de la base d'archives, avec des bascules périodiques pour libérer de l'espace et améliorer la réactivité de l'instance.

Il y a plusieurs façon de mettre à jour une table surtout si elle contient des données. Et par données, j'entends des dizaines, centaines de milliers de lignes, des millions voire plus. Croyez moi, à ce moment là, vous ne faîtes plus seulement un :

```
ALTER TABLE ADD COLUMN ... DEFAULT ...
```

Sous peine de mettre littéralement votre base de données en PLS ✝️.

Lorsque vous avez trop de données l'activation du **DEFAULT VALUE** peut faire très très mal à votre instance de base, le temps de passer sur chaque ligne pour y mettre la fameuse valeur par défaut. Au même moment, toutes les requêtes entrante vers cette table sont compromises, gros risques de perte d'accès à cause des **lock** de ressource etc. 


>Ne pas pouvoir répondre à une QUERY c'est une chose, mais perdre un INSERT/UPDATE/DELETE ça peut carrément être grave.

Il y a plusieurs façon de procéder dans ce cas de figure, certaines méthode sont plus complexes que d'autres, même si ce n'est pas mon domaine premier d'expertise (car je tiens à rappeler que c'est un métier à part entière et que nos experts **SysDBA**/**DBOps** sont biens plus qualifiés que moi pour vous aiguiller au mieux) je vais vous expliquer ce que je ferai dans ce cas. Bien sûr, ces méthodologies ont été testés et éprouvés sur le terrains avec mes confrères **DBOps** et sous couvert de leur expertise.

### 1- La nouvelle table

Il est tout à fait possible et plein de sens de créer une nouvelle table pour y effectuer les modification par rapport à une table initiale. On parle ici uniquement de la structure de table dans un premier temps.

Bien que cela comporte aussi ses inconvénients dans un second temps : 
Supposez que votre table principale fasse **10go**, cela signifie que vous allez vous retrouver avec le double, du moins, pendant un instant. Si vous êtes sur un serveur dont les limitations disque ne vous permettent pas d'aller aussi loin, cette procédure semble déjà compromise. 

Pour autant, cette méthode comporte aussi quelques avantages: 
**La sécurité et l'intégrité des données sur la table principale qui n'est pas altérée**, cela vous permet de structurer souplement vos colonnes et de prendre le temps d'améliorer le modèle. De plus, votre table principale est toujours accessible pour les utilisateurs. 

Une fois votre table terminée, vous pourrez à une heure de faible sollicitation (souvent le soir à 2h/3h du mat 🛏️), effectuer une bascule de données, via des batchs ou non. **Il est recommandé, pour avoir la garantie de récupérer 100% de l'état de la table initiale en sortie, d'utiliser des lock manuels pendant l'opération**. 

Cette solution est tout à fait convenable et fonctionne très bien. Quand votre opération est terminée, rien ne vous empêche de renommer les tables pour que la nouvelle puisse enfin remplacer l'ancienne.

### 2- Le batch update sur la table cible

Une autre alternative vous est possible : **directement modifier la table cible** !

>Cependant, pas si vite jeune fougeux(se) ! ✋

Rappelez vous ce que je vous ai dit plus haut, on ne fait pas un **ALTER TABLE** gratuit sur une table avec une **DEFAULT VALUE**. Votre base va cracher ses poumons ! 😷 

Pour cela je vous propose un peu d'algorithme et d'élégance pour paraphraser un ancien confrère.  

Voici un exemple de batch que je ferai, je batcherai par lot de 1000 les lignes afin de ne pas saturer ma base. De cette façon, j'ai plus de garantie qu'elle reste accessible en parallèle pour tout autre accès.

```sql
DO $$
DECLARE
  total_rows FLOAT; -- we need a float to calculate coeff 
  total_pages INTEGER; 
  pg_offset INTEGER = 1000; -- our limit for each iteration
  id_val INTEGER;
  temp_row RECORD;
BEGIN
  SELECT INTO total_rows count(*) FROM movies;
  total_pages = ceil(total_rows / pg_offset);
  
  -- log infos
  RAISE NOTICE 'Total rows: %', total_rows; 
  RAISE NOTICE 'Pages count: %', total_pages; 
  
  -- add new column without default value 
  ALTER TABLE movies ADD COLUMN in_collection BOOLEAN;
  
  -- batch update value
  FOR id_val IN 1..total_pages
  LOOP
    RAISE NOTICE 'Updating page % of %', id_val, total_pages; 
  	FOR temp_row IN
  	  SELECT * FROM movies LIMIT pg_offset offset pg_offset * (id_val - 1)
	LOOP
	  UPDATE movies SET in_collection=true WHERE id = temp_row.id;
	  COMMIT;
	END LOOP;
  END LOOP;
  
  RAISE NOTICE 'Job done, Rest soldier !';
  
END $$;
```

⚠️ Petite subtilité: l'usage du **FLOAT** pour **total_rows** est important pour la variable de coefficient. 

Le passage, même temporaire à un état flottant, bien que le **CEIL()** va suivre, est obligatoire ! Si vous déclarez cette variable en **INTEGER**, vous rencontrez un problème lors de l'opération 

```
CEIL(var / 1000); 
```

Si **var = 1300**, **var / 1000** ne sera plus 1.3 mais 1 et ça change tout avant exécution du **CEIL**. Oui, même si vous n'assignez pas le fameux 1.3 à votre **var** !  👈

__

Parenthèse fermée, rien ne vous empêche, quand tout est fini de faire un **ALTER COLUMN** et d'y ajouter votre **DEFAULT VALUE**. Au moins, on sait que les opérations d'écritures sont terminées.

Les notices permettent de suivre dans la console ce qu'il se passe pour ne pas vous faire poireauter à l'aveugle. 

Pour information, j'ai lancé cette requête sur une base temporaire de films avec exactement 7392 lignes et voici l'output console :

```
NOTICE:  Total rows: 7392
NOTICE:  Pages count: 8
NOTICE:  Updating page 1 of 8
NOTICE:  Updating page 2 of 8
NOTICE:  Updating page 3 of 8
NOTICE:  Updating page 4 of 8
NOTICE:  Updating page 5 of 8
NOTICE:  Updating page 6 of 8
NOTICE:  Updating page 7 of 8
NOTICE:  Updating page 8 of 8
NOTICE:  Job done, Rest soldier !
DO

Query returned successfully in 11 secs 493 msec.
```

**11.5sec pour 7392 lignes** ça laisse présager de ce que ça serait avec 10 millions de lignes. En extrapolant un peu, on serait au alentours de 4H30... 

Rien ne vous empêche de mettre des **hard limit** à vos batchs par exemple, d'ajouter des conditions pour s'arrêter à 1 000 000 de lignes, en vous obligeant ainsi à relancer plusieurs fois le script mais au moins vous aurez la possibilité de faire des contrôles entre les exécutions. N'oubliez pas ceci-dit, de commenter (double dash/tiret) la partie **ADD COLUMN** si vous le faites.

Pour conclure, je dirai que des solutions possibles pour faire une mise à jour de la structure de table en production sont :
- le backup de table et l'exécution brute des requêtes **ALTER TABLE** (bien que déconseillée)
- la nouvelle table et la copie incrémentale avec un batch  **SELECT** -> **INSERT** (bien que nécessitant un espace disque suffisant)
- le batch opération sur la table elle même 

C'est tout pour cet article qui j'espère vous apportera une solution dans vos problématiques quotidiennes. N'hésitez pas à le partager si vous avez apprécié, ou à me faire vos retours en commentaire ou sur la rubrique contact du site. Oui, je lis les messages ! 😉

large_warehouse.jpg

medium_warehouse.jpg

small_warehouse.jpg

thumbnail_warehouse.jpg

warehouse.jpg

Modifiez une table PostgreSQL en production avec précaution : gérez la criticité, le volume de données et suivez une procédure technique adaptée.

Comment modifier une grosse table PostgreSQL

Contrairement à ce que je peux laisser entendre dans mes écrits, Node.js a beau être ma techno préféré, JS/TS le langage dans lequel je me sens le plus à l'aise. Ce n'est pas le meilleur outil dans toutes les situations. 

Il y a effectivement de nombreuses possibilités notamment via les **spawn** etc pour faire des appels de commande terminal, mais l'async rend les choses un peu plus compliqués lorsque l'on veut uniquement séquencer des opérations.

Quand je parle de scripting, je parle d'opérations que j'exécute sur ma machine, mon OS, mon infra ou encore des scripts de scraping. Et je pense que **Python** est un outil bien plus adapté pour ce genre de chose.

## Pourquoi ? 

N'en déplaise aux fanboys Node.js de la première heure, **Python** est beaucoup plus puissant en terme d'outil. 

Dans 95% des cas (chiffre qui sort de ma tête, mais qu'on se le dise, qui ne doit pas être loin de la réalité), des gens se concentrent uniquement sur des fonctionnalités basiques lorsqu'ils font du scraping. 

Ils diront : **Puppeteer** c'est suffisant ! **Cypress** c'est trop cool, ou encore **Selenium** pour les plus techniques. 

Mais les gars, je vous mets au défi de créer un système bien plus complexe ou les interactions deviennent dynamique, etc... Par exemple, brancher vos scrapers sur des plateformes qui n'ont pas été adaptés pour la situation (login compris, captcha compris, sans détourner le système de connexion). Car la plupart du temps pour de l'automatisation E2E, les process sont adaptés pour gérer les scénarios de tests plus facilement. Et bien **Python** il peut faire tout ça, sans alléger le process et sans trop vous casser la tête.

## Compliqué ? 

Python permet de faire tellement de chose: 
- la lecture d'écran grâce à l'**opencv** (pour Open Computer Vision), c'est à dire être capable de prendre en entrée une image (typiquement ce sera un screenshot de votre page). 
- la prise en main de votre machine, déplacer la souris à votre place, taper au clavier à votre place etc...
- et pour pousser un peu plus, vous pouvez y ajouter un système de réseau de neurones si vous voulez y intégrer l'apprentissage et que votre système puisse évoluer

Figurez vous que Python fait tout cela facilement et sans broncher...


<iframe width="315" height="560"
src="https://www.youtube.com/embed/BUK0f-3R_qU"
title="YouTube video player" frameborder="0"
allow="accelerometer; autoplay; clipboard-write; encrypted-media;
gyroscope; picture-in-picture;
web-share"
allowfullscreen></iframe>

Par ailleurs, non je ne télécharge pas 🙈 ... Il faut bien que je teste quelque part 😇

Donc, je penses toujours que **Node.js** est le meilleur langage pour processer des pages sur un serveur grâce à son moteur fait pour l'i/o. 

Mais, ne restez pas dans votre zone de confort et explorez tous les langages car à chaque problème sa solution. Parfois un autre langage peut être un outil bien plus adapté à votre besoin.

todd-quackenbush-IClZBVw5W5A-unsplash.jpg

large_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

medium_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

small_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

thumbnail_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

TypeScript est idéal pour les API et le frontend, mais découvrez pourquoi je préfère d'autres langages pour coder scripts, automates et systèmes.

Mon langage de scripting préféré

## Mon petit serveur

Comme à mon habitude, je travaille sur des projets persos et met en ligne mes tests sur des serveurs **VPS**. Dernièrement j'ai un de mes serveurs qui s'est fait hacké par un soit disant "rambler" qui me demandait <u>0.2 BTC</u> soit <u>4000€</u> au moment où je vous parle pour récupérer mes données. 

Bien entendu, il s'agissait d'un serveur de test donc autant vous dire qu'il peut s'asseoir dessus encore bien longtemps, avant de recevoir quoique ce soit de ma part. Quoiqu'il en soit j'ai tout de même réalisé qu'il y avait un problème quelque part. 

Mais où ?

### Ce que je vérifie par défaut sur mes serveurs

A chaque serveur que je monte, je prends le soin de mettre en place **ufw** (le firewall) et un **fail2ban** (pour empêcher le brut force). Et jusque là tout s'est toujours bien passé. Pour tout vous dire, je désactive toujours la connexion distante par mot de passe sur **SSH** et j'ai une liste de clé **SSH** autorisés que je garde précieusement (backupé au cas où). 

Jusque là j'ai eu des serveurs qui ont tenu bon. Je vois des logs passer, sur des dizaines de millier d'IP que j'identifie être une tentative de brut force de la part d'un bot net. Mais ils ne sont pas prêt d'y arriver et ça fait 5 ans que ça dure... 

### Trouver la faille

Le jour où je me suis fait hacké ce serveur, ils ont réussi à accéder à ma base  **MySQL** et ont tout extrait avant de supprimer et de laisser un message avec les instructions pour la récupération. Très bien mais comment ont-ils fait ?

J'étais pourtant persuadé que mon ufw était configuré en deny by default. Ce qui veut dire que le firewall rejette systématiquement tout ce qui rentre, à part ce que j'ai ajouté en liste comme étant autorisé. Par exemple certains ports, comme SSH, certains protocoles comme le Web avec Nginx, etc...

Me serais-je loupé cette fois-ci ? Aurais-je oublié de le faire ? 

Je vérifie... Et la réponse est **NON** !

Je n'ai absolument rien oublié, et tout était bien configuré. 

Donc il ne me reste plus qu'à tester quelque chose : <u>une connexion distante vers mon serveur **MySQL**</u>.

Résultat : Ca passe ! J'arrive à me connecter ! WTF ? 😱

Je suis sans voix, qu'est-ce qui a bien pu se passer pour que **ufw** ne fasse pas son boulot ?

Je reprends mes investigations, le service défaillant est **MySQL**. 

Il a été déployé comment ? Je suis passé par un **Docker**. 

Certes, j'ai fait l'erreur de laisser un mot de passe bidon, mais jusque là j'étais persuadé d'être derrière un intranet. Bon... Ceci n'est plus un problème.

Mais pour ce qui est de la vraie question : Qu'est-ce que **Docker** est en train de me faire là ? 🧐

Et ben la réponse est : vraiment n'importe quoi ! **Docker** crée ses propres règles firewall, donc il bypass **ufw** ! 

Pour régler le problème il faut configurer un fichier **/etc/docker/daemon.json** et ajouter une ligne :


```
{"iptables":false}
```

**Incroyable !**  🤔

Mais maintenant, j'en rigole, je me dis qu'il vaut mieux que ce soit un serveur de test qui sert à rien. Ca aurait pu être beaucoup plus grave, et ça veut dire que ça l'est pour beaucoup de gens qui ne savent pas que **Docker** et **ufw** ne font pas bon ménage, par défaut.

### Conclusion

Faîtes bien attention si vous aussi vous utilisez ces services, vous risquez d'avoir bien des surprises dans le futur. Mais cette expérience m'a fait réaliser qu'il vaut mieux ne jamais faire confiance lorsque l'on monte une machine et que l'on teste absolument tout pour vérifié le niveau de sécurité.

Content d'avoir appris quelque chose. 😄

large_clint-patterson-dYEuFB8KQJk-unsplash.jpg

medium_clint-patterson-dYEuFB8KQJk-unsplash.jpg

small_clint-patterson-dYEuFB8KQJk-unsplash.jpg

thumbnail_clint-patterson-dYEuFB8KQJk-unsplash.jpg

clint-patterson-dYEuFB8KQJk-unsplash.jpg

Ce genre de problèmes arrive à tout le monde et je ne serai pas le dernier. Lorsque l'on monte son serveur, il y a souvent des petites failles qu'il faut colmater pour éviter de se faire pirater. C'est ce que j'ai fait, pourtant des hackers sont passés, je vous explique comment il s'y sont pris.

Comment des hackers ont essayé de me ransomware

## Pourquoi faire de la sécurité informatique ?

Quels sont les risques encourus si je ne fait pas attention à mon matériel et mes logiciels ? Car oui, la sécurité informatique c'est un tout, et ça commence déjà par l'accès au matériel. Donc les locaux jouent déjà un rôle dans tout ça. 

Les devices contiennent souvent des code d'accès que vous sauvegardez dans vos navigateurs pour éviter d'avoir à les entrer à chaque fois. Pour beaucoup de gens, l'accès à leur machine, signifie immédiatement, l'accès à leur données sensibles.

### L'accès aux informations des particuliers

Tout d'abord en tant que particulier, faire attention à l'accès à nos devices, ça signifie mettre une barrière entre nos données et d'autres personnes mal intentionnées. Beaucoup de gens pourraient dire, oui mais je n'ai rien à cacher... Si si, je vous assure que si ! Votre carte bancaire par exemple, vous aurez tout intérêt à le cacher ! Votre adresse, vos itinéraires quotidiens, vos numéros de téléphone, tout peut servir et jouer contre vous. 

Il a été plusieurs fois prouvé que l'accès à des données vraisemblablement anodines ont causés énormément de tord à plusieurs personnes. Votre numéro de téléphone peut être utilisé pour vous spammer de SMS, d'appels surtaxés etc... Votre adresse peut servir pour vous prospecter, ou encore à savoir où venir régler des comptes si vous vous mettez à dos les mauvaises personnes. Votre profession peut servir à faire du démarchage ciblé, parfois même ce que l'on appelle le social engineering (une forme de hacking, basé sur l'humain).  Bruno Gaccio, qui travaillait aux guignols de l'info parlait d'une tentative d'assassinat sur sa personne basée sur son itinéraire personnel quotidien. 

Parfois, l'accès aux données des particuliers permettent aux hackers de remonter leur hack jusqu'au lieu de profession de ces derniers. Une faille d'un particulier devient alors un problème d'entreprise, donc il faut rester vigilant et se former à chaque instant !

### L'accès aux données des pro

De nombreuses fois, le fait de savoir qu'une personne était la secrétaire de direction d'une entreprise a permis à des hackers d'utiliser ses accès pour lui faire exécuter des ordres de virement. La personne a reçu un email de la part de son patron, enfin, en apparence, mais son manque de connaissance en informatique et de clairvoyance au moment où c'est arrivé ne lui a pas permis de voir la nuance dans le nom de domaine de l'entreprise, enregistré ailleurs que sur le traditionnel ".fr". 

Sur des serveurs, l'accès aux données peut compromettre énormément de gens. Le hack d'un site e-commerce peut diffuser à grande échelle des code de carte bancaire, nom et prénom, de tous les clients. Ceci est déjà arrivé ! Et les professionnels doivent prendre encore plus de mesure pour stocker ce genre d'informations compromettantes. Une certification est demandée pour être habilité à le faire, dans le cas contraire il faut passer par des services qui possèdent cette certification. La CNIL (organisme en charge des bonnes pratiques concernant les données informatiques) veille à ce que des règles soient respectées par les acteurs du web.

De même, sur des serveurs, il peut arriver que si vous stocker vos machines dans des datacenter. Les failles logiciels provenant de vos machines peuvent vous coûter cher. Etant donnée que vous êtes responsable du maintient et de la mise à jour des machines en matière de faille logicielle, si jamais vos machines donnent l'accès au datacenter à cause d'une faille, en tant qu'entreprise vous êtes passible de poursuites.

Il y a tellement à perdre dans ce genre de situation, que désormais les grands groupes etc accordent un budget dédié à la sécurité. De même pour ne prendre aucun risque sur les projets, je recommande souvent aux développeurs de partir de librairies créés from scratch par les équipes pour éviter les failles dans les paquets téléchargés. 

En outre, une entreprise si elle s'est faite hackée ou si elle a la moindre suspicion d'un hack sur ses serveurs, a l'obligation de le déclarer. C'est une loi qui date de plusieurs années maintenant, pourtant on apprend parfois que les sociétés font l'autruche et se taisent pendant des années. En 2012, on apprenait que Coca Cola s'est fait hacké par les chinois, lors de sa tentative d’acquisition de China Huiyuan Juice Group, et ce hack remontait à 2009...

### Comment mieux se protéger

En tant que particulier, il faut prendre le temps d'apprendre, de comprendre ce que l'on fait pour éviter tout problème. De plus, pour éviter le hack, il faut souvent éviter d'avoir un comportement qui nous fait prendre des risques. Les gens qui cherchent absolument à pirater du contenu sont les premiers touchés par ce genre de problème. En voulant absolument télécharger la dernière série à la mode, ils se font eux même contaminer leur machines. 

Par ailleurs, le hack arrive aussi dans des cas de téléphone ou ordinateur prêté aux enfants. Très souvent, il s'agit d'une porte d'entrée pour des gens mal intentionnées. Les enfants qui voient "nouveau jeu gratuit, clique ici"... C'est arrivé plus d'une fois et dans quasiment toutes les familles. Parfois on oublie que dans ces appareils, il y a un accès vers nos compte en banque, nos documents d'identité... Je ne dis pas qu'il ne faut plus prêter d'appareils aux enfants, mais surtout qu'il faut prendre le temps de surveiller ce qu'ils en font, et de leur inculquer les bons réflexes.

En tant qu'entreprise, je vous conseille un budget dédié à la sécurité informatique, tant les événements des dernières années ont changé la dimension du numérique. L'apparition des crypto locker et autres ransomware qui servent à mettre les boîtes à la merci des pirates ont démontré que très peu de sociétés prenaient cette menace au sérieux. 

### Parfois la menace vient de l'intérieur

Dans de nombreuses sociétés, on a pu trouver des éléments qui montre que les failles venaient de l'intérieur. Et que parfois ces failles étaient volontairement ouvertes ! De même, on a pu trouver énormément de cas où, des employés ont essayé de tirer profit de leur entreprise. En exploitant des machines pour miner de la crypto, en prenant des documents et demandant des rançons, etc... 

Je pense qu'il faut revoir les stratégie d'habilitations et d'accès aux fichiers dans une entreprise pour ne pas permettre à n'importe qui de faire n'importe quoi.

### Parfois même la menace vient d'une organisation corrompue

Dans certains pays où règne la corruption, il arrive même que des gens glissent des documents corrompus dans vos affaires pour vous faire porter le chapeau et vous mettre en prison. Le but n'est pas de vous emprisonner pour rien, si vous êtes quelqu'un d'influent, un politicien etc, vous risquez de vous retrouver hors course, car enfermé...

01net a [écrit sur le sujet](https://www.01net.com/actualites/certains-policiers-sont-passes-maitres-en-fabrication-de-fausses-preuves-informatiques.html) et montre à quel point des organismes officiels peuvent cacher des pirates.

### Conclusion

Il y a quelques temps, on apprenait que les failles peuvent aussi venir des appareils eux même. Certains fabriquant laissent volontairement ce que l'on appelle une backdoor (c'est ce que D. Trump reprochait à Huawei), d'autres le font involontairement (enfin c'est ce qu'ils disent). Intel et AMD ont connu ce genre de problèmes sur leur CPU et ont du mettre en place des mises à jour pour combler ces failles.

La meilleure arme contre le piratage, c'est d'être informé, des méthodes car même si elles évoluent toujours, il est plus probable que vous ne soyez pas le premier visé lorsque cela arrive. De même, il faut comprendre ce qui permet le hack, et ce qu'il y a à pirater pour prendre des mesures. Pour les société, il faut investir pour sa sécurité. Cela parait fou de devoir faire ça, mais c'est surtout beaucoup de bon sens. 



nahel-abdul-hadi-flha0KwRrRc-unsplash.jpg

large_nahel-abdul-hadi-flha0KwRrRc-unsplash.jpg

medium_nahel-abdul-hadi-flha0KwRrRc-unsplash.jpg

small_nahel-abdul-hadi-flha0KwRrRc-unsplash.jpg

thumbnail_nahel-abdul-hadi-flha0KwRrRc-unsplash.jpg

Cela fait un moment que les gens commencent à prendre conscience de la sécurité informatique et des enjeux autour de cela. L'informatique a fait avancer le monde dans de nombreux domaine, mais peut aussi être une menace sur d'autres plans, du moins, tant que l'on n'adopte pas de bonnes pratiques avec nos machines.

La sécurité informatique à tout prix

Plusieurs fois, je me suis posé ces questions :

- Comment Dailymotion a perdu face à Youtube ?
- Comment Deezer a perdu face à Spotify ?
- Comment Kodak a perdu face au numérique ?
- Comment IBM a perdu la course aux PC ?
- Comment Nokia a perdu face au smartphone ?

Comme le chef Michel Dumas 👨‍🍳, j'ai tourné et retourné ces questions dans ma tête de la manière suivante : 

- Est-ce que leur chute est forcément dû à leur concurrence ?
- Comment se fait-il qu'une entreprise leader en difficulté, n'a pas trouvé les ressources pour se retourner ?
- Comment conserver une position de leader ?

Tout ceci, bien sûr n'est que théorie et supposition. Bien sûr, je me suis pas mal documenté sur le sujet afin d'essayer d'y répondre clairement. Nous allons essayer d'analyser chacun des cas présentés.

### Un phénomène courant

D'après ce que j'ai pu constater, il n'est pas rare qu'une société leader dans le passé, disparaisse du jour au lendemain. Et dans 90% des cas, il s'agit d'une mauvaise décision prise en interne (on va dire que pour les 10% restants, il s'agit d'une pénurie de matière première ou d'un phénomène imprévisible, comme une catastrophe, décision externe, etc...).

Cela parait tout de même incroyable, qu'une mauvaise décision, un virage mal négocié ait emmené ces sociétés droit dans le mur. Mais c'est pourtant vrai !

#### La chute de Kodak

Chez Kodak, en 1976, Steve Sasson présente un modèle d'appareil photo capable de diffuser sur la télévision s'est fait rembarrer par le PDG avec une remarque dédaigneuse : "Pourquoi les gens voudraient visionner leur photo sur une télévision ?".

Mon analyse m'emmène à penser qu'il a commis plusieurs erreurs :
- Sa première erreur a été de penser à la place du marché, c'est à dire qu'il a préféré deviner, que cela ne plairait pas plutôt que de tester son produit. Cela relève d'un problème d'égo, après avoir eu raison un certain nombre de fois, on une tendance à penser que l'on connait déjà les attentes du marché.  
- Deuxièmement, il n'a pas vu plus loin que ce qui lui a été présenté. Son jugement s'est arrêté à ce qu'il a vu sans dépasser le cadre et voir les possibilités derrière. Car, rappelons-le, ils auraient très bien pu s'appuyer sur cette technologie pour être en avance sur la photo numérique. 

Et Kodak, a justement raté le coche du numérique, c'est tout de même dommage...

#### La chute de Dailymotion 

Dailymotion ou Daily pour les intimes, a longtemps été un adversaire à jeu égal avec Youtube, du moins, dans les premières années. Mais les deux sociétés ont pris des trajectoires totalement différentes suite au rachat de Youtube par Google. 

Que s'est-il passé ? 

D'un côté, vous avez un modèle américain qui conçoit l'investissement massif et qui injecte via Google des fonds colossaux dans la machine Youtube. De l'autre côté vous avez un modèle français où il y a moins d'argent sur la table car moins de moyen, parce que moins d'audience. Bien sûr, Dailymotion diffusait sur plusieurs pays, mais il faut l'avouer, cela marchait surtout sur notre territoire.

Ce que je pense :

L'Etat français a bridé le développement de la plateforme **Dailymotion**. Plusieurs fois, l'Etat s'est prononcé, parfois même en allant jusqu'à mettre son veto. Notamment sur la possibilité de rachat partiel par Yahoo... 

Ce qu'il fallait à Dailymotion dans ces moments là, c'était des fonds ! Rien d'autre que du cash pour nourrir la machine en R & D. Donc la stratégie pro-territoire, franco-français, et les enjeux de l'indépendance tech, je comprends, mais cela a eu un effet pire que si nous avions vendu partiellement la société. 

Concernant le montant du rachat, aucun organisme en France n'était prêt à le mettre sur la table, et les avancés technologiques de Dailymotion, de mon point de vue n'étaient pas aussi incroyable en matière d'innovation, pour justifier l'arrêt de la transaction. 

A titre de comparaison, **Fabrice Bellard (FFMPEG)**, **Jean Baptiste Kempf (VLC)** font bien mieux en matière d'innovation, mais personne ne parle de leur travail, à leur juste valeur j'entends. Et ces derniers ont opté pour l'open source, alors que ce qu'il font a littéralement révolutionné la tech... 

Des géants comme **Google** se servent de leur algorithmes sur Youtube, mais ici, personne n'est venu interdire ces champions d'ouvrir leur code source. C'est pourquoi, je ne comprends pas le positionnement des politiques, qui me parait souvent à contre-courant. 

Pendant son heure de gloire, le talent de Daily, c'était son acquisition et sa rétention !

#### La chute de Deezer

Pour Deezer, il y a un double problème. Je sais que ce que je vais dire ne va pas arranger son introduction en bourse même si je lui souhaite tout le meilleur pour la suite, mais, après avoir été largement leader sur le marché français. Deezer connait aujourd'hui un très gros recul, il passe de 51% à 30% en 6 ans. Sans compter le fait qu'il n'a toujours pas réussi à s'imposer à l'international. Avec 2% de couverture aujourd'hui, face au géant suédois Spotify qui prend 31% du marché mondial à lui seul. 

Je n'ai pas de formule miracle, mais je dois juste constater d'un point de vue totalement extérieur et sans avoir connaissance des tenants et aboutissants de ce milieu, que la stratégie de Spotify a toujours été de viser le marché international. Et cette stratégie a payé car ils se sont largement imposés, en mettant dès le début la langue de l'application en anglais.

Chez Spotify, ils avaient déjà pensé le produit pour le monde entier, alors qu'au tout début Deezer avait pensé le produit pour les français sur un modèle qui sera décliné ensuite. Peut-être que l'on peut se trouver des excuses comme : "c'est plus simple pour les suédois, de par leur culture, de faire un produit en anglais". Un phénomène que j'ai observé, c'est que souvent le marché français suit la tendance mondiale et que l'on reste rarement sur nos projets nationaux. Pour preuve : 
- Le Trombi s'est fait terrassé par Facebook
- Le minitel s'est fait engloutir par internet
- Priceminister (revendu à Rakuten depuis) est moins performant que Vinted 

Je n'ai pas de meilleure idée de comment cela aurait du se passer. Cependant, il reste un marché francophone mondial de 300 millions de personnes, donc la part de gâteau reste quand même intéressante. Mais il ne faut pas oublier que le leader mondial pourra toujours récupérer cette part dans le futur, étant donné qu'il dégage tout de même plus de marge avec un marché plus conséquent. 

#### Les erreurs d'IBM

IBM a longtemps été leader du marché informatique et même plus ! Pendant longtemps, l'action IBM a culminé tout en haut du marché américain. Et dans l'esprit de nombreux investisseurs, il s'agissait là d'une valeur sûre. Ce qui a été vrai pendant très longtemps, le déclin en bourse d'IBM n'étant que tout récent (à partir de 2014). 

IBM reste un des pilier de l'informatique moderne, ce n'est pas parce que, comparé aux GAFAM/FAANG, cette société est plus discrète que pour autant, elle ne fait rien. Elle reste dans de nombreux domaines telles que l'IA etc, une référence en la matière. C'est à elle qu'on doit Deep Blue qui a vaincu G. Kasparov aux échecs. Et même en ce moment, laissez moi vous dire que Google n'est pas le seul à préparer un ordinateur quantique ultra puissant. 

Cependant, malgré toutes ces avances IBM aurait pu être encore plus gros que ce qu'il est actuellement. Dans les années 80, lorsqu'IBM préparait son ordinateur personnel, la société a fourni beaucoup d'effort sur la partie assemblage du matériel, mais avait sous estimé l'importance de la partie logicielle. Ils ont ainsi utilisé un système Microsoft, propulsant cette société vers les sommets. 

C'est grâce à ce marché que Microsoft est devenu le géant que l'on connait aujourd'hui. Effectivement, les deux sociétés étaient sur des marchés différents, mais dans l'IT céder une part de marché peut s'avérer fatal, si la croissance de l'autre société dépasse la première. C'est face à ce genre d'opportunité qu'il faut réussir à avoir la vision nécessaire qui permet d'identifier une fusion acquisition stratégique pour l'entreprise (ce que fait avec brio des gens comme Bernard Arnault).

#### La chute de Nokia

Pendant longtemps, Nokia a été dominé le marché des téléphones portables avec son produit phare le 3310. Adopté par tous les jeunes pour ses jeux, sa capacité à créer des sonneries etc... Bien avant les smartphones, Nokia était leader de son marché.

Nokia avait des produits pour les jeunes, les professionnels, leur gammes pouvaient plaire à tout le monde. La firme finlandaise brillait par sa présence et ses produits offraient bien plus qu'un simple téléphone cellulaire standard qui, initialement, ne permettait que de passer des appels. La société avait innové pour prendre le marché et en 5 ans seulement, son destin bascule...

Rendez-vous compte, avant sa chute Nokia détenait à lui seul près de la moitié du marché mondial. Plusieurs analyses montrent que Nokia était devenu arrogant et pensait savoir ce qu'il fallait au marché. Lors de l'explosion des smartphone, la réelle révolution se basait alors sur la partie logicielle, Nokia continuait à se concentrer uniquement sur la partie matérielle. C'est à ce moment qu'il se sont fait dépasser par tous les autres acteurs Apple, Samsung, etc. Nokia se refusait d'abandonner son système Symbian, pourtant c'est ce dernier qui causa sa perte. L'ironie dans tout ça, c'est que Nokia essayait de ne pas reproduire les erreurs d'IBM et d'avoir la maîtrise de tout son produit. Les internes, quant à eux, parlent d'un patron qui voulait décider de tout. 

Je pense que sa position de leader a créé à la fois une peur de perdre cette position et en même temps une arrogance qui laisse penser que l'on sait ce qu'il faut à un marché. D'où la tendance à ignorer le besoin client et ne pas faire le deuil de ses échecs quitte à plonger avec eux.

### Conclusion

Au-delà de tous ces cas, et de ces destins tragiques et talents gâchés, il y a souvent une mauvaise décision, une décision interne (Kodak, IBM, Nokia...), externe (Dailymotion). Souvent, ces décisions ont été le fruit de l'égo. 

Un égo démesuré : 
- de vouloir avoir raison plutôt que de vouloir gagner
- de penser savoir ce qu'il faut, plutôt que de laisser le client décider
- de vouloir préserver une propriété intellectuelle sur un territoire mais sans proposer une solution alternative (injection de fonds au moins équivalente)

Jeff Bezos, le PDG d'Amazon est souvent décrit comme odieux avec son personnel. Je ne dis pas qu'il faut l'être, à vrai dire, je ne sais même pas s'il l'est vraiment. Mais, une chose est sûr, il a toujours dit que sa priorité numéro 1 était <u>sa clientèle</u>. Cela lui a valu de créer l'une des boîte tech les plus puissantes du monde, aujourd'hui. 

Ce qui m'amène à penser, que les sociétés qui défendent leur place de leader, arrêtent souvent d'innover, de créer et de donner de la valeur aux clients, car ces derniers déploient toute leur énergie pour maintenir leur position. Pour ne pas perdre du terrain, elle ne tente plus rien de nouveau, fuit toute forme de risque, toute tentative différenciente et continue de proposer les mêmes produits. 

Et à partir du moment où le focus n'était plus le besoin client, mais la société elle même et sa survie, c'était le commencement de la fin pour elle. Cela donne le champs libre pour une jeune pousse qui n'a rien à perdre, de venir ravager un marché dormant.

En outre, il nous reste encore des pépites sur le territoire français : **BackMarket** est un bon exemple. Ce genre de sociétés devra relever des challenges encore plus compliqués que ce qu'il a connu jusqu'à présent. 

Cependant, je pense que des sociétés comme **Le Bon Coin**, se mettent en danger à être leader sur un territoire uniquement. Certes, ils ont l'avantage de connaître ce marché. En revanche, le jour où un leader étranger arrive et ravage le marché (comme c'est déjà le cas avec **Vinted** qui prend une partie de son marché grâce à la livraison incluse), ils ne pourront pas lutter. 

Et je pense que si on possède un business étendu sur plusieurs marchés comme **leboncoin** qui propose des bonnes affaires en tout genre, voitures et immobilier, il ne faut pas s'attendre à un concurrent qui viendra prendre tout ces marchés en même temps. Le risque réel, est que plusieurs acteurs, champions sur chacun de ces sous marché viennent prendre des parts du bon coin jusqu'à ce que tout soit plus intéressant ailleurs. 


large_viktor-jakovlev-H0vuplqoX0c-unsplash.jpg

medium_viktor-jakovlev-H0vuplqoX0c-unsplash.jpg

small_viktor-jakovlev-H0vuplqoX0c-unsplash.jpg

thumbnail_viktor-jakovlev-H0vuplqoX0c-unsplash.jpg

viktor-jakovlev-H0vuplqoX0c-unsplash.jpg

La vie d'une société est à la fois une course et un marathon. Sur un marché compétitif, il faut réussir à conserver sa place de leader et cela semble être un exercice particulièrement difficile. Quels sont les points d'attention qui pourraient sauver une société de sa chute ?

Découvrez tous nos articles - page 7 sur 11