### A quoi sert Elastic Search ?

Pour faire rapide 👉 **Elastic Search est un moteur de recherche**. 

Maintenant, qu'est-ce qu'un moteur de recherche ? 

Vous stockez probablement déjà des informations dans une base de données. Lorsque vous recherchez des informations dans cette base, vous allez utiliser des requêtes. Si vous voulez faire des tris dans ces requêtes, en base de données vous aurez les possibilités suivantes: 

- trier par ordre alphabétique
- trier par ordre croissant, décroissant

Supposez qu'un utilisateur recherche le terme: **Volleyball**, il est possible que ce terme apparaisse <u>dans le titre</u> d'un article ou <u>dans le contenu</u> de l'article. 

👍 S'il s'agit du titre, la probabilité est forte que cette article intéresse notre utilisateur. 

👎 Dans le cas où l'article contient le terme Volleyball, il n'est pas garantie que cela corresponde à un article intéressant. En effet, ce terme peut très bien faire partie d'une phrase comme: 

>La municipalité interdit toute pratique de sport de ballon tel que le football et le volleyball dans ce secteur.

Vous voyez le terme apparait bien, mais il est peu probable que son occurence soit intéressante pour notre utilisateur. 

Comment fait-on pour classer et trier les contenus par intérêt avec une base de données traditionnelle ? 

La réponse est simple : <u>on ne peut pas vraiment, car ces bases ne sont pas faîtes pour ça</u>. 

Ce que vous devrez faire, c'est faire la requête puis retraiter les résultats au niveau du code avec votre langage de programmation, en repoussant encore plus le délai de réponse à votre utilisateur, soit une expérience dégradée pour ce dernier. 😒

**C'est à ce moment qu'entrent en jeu les moteurs de recherches 🤠.**

Mais avant de faire des manipulations poussées et toute sorte de test de scoring, il convient de préparer son index. Pour les moteurs de recherches on ne parle pas de base de données mais d'index. En d'autre termes, d'injecter des données dans le moteur pour qu'il puisse les classer et les scorer.

Nous allons utiliser **Elastic Search** en tant que moteur de recherche, c'est un outil qui a fait ses preuves et qui est utilisé aujourd'hui par Cisco, Adobe, BMW, Yelp, etc...

Dans l'ordre nous allons:

- installer notre stack docker
- créer notre premier index
- injecter des données dans cet index
- requêter notre index

### 1 - Déploiement d'une stack Elastic

Nous allons commencer par créer nos serveurs grâce à **Docker**. Ici, je pars du principe que vous avez déjà **docker** et **docker-compose** d'installé sur votre machine. Si ce n'est pas le cas, je vous prie de commencer par là et de reprendre ensuite la lecture de cet article. Je pars aussi du principe que vous êtes sur un système qui permet de bosser rapidement avec **docker** et **bash**, donc un système **Linux** ou **Darwin** (Mac OS).

Pour aller vite, sachez que les développeurs d'elastic search ont eux même mis en place un repo qui permet la création rapide d'une stack docker [disponible à cette adresse](https://github.com/elkninja/elastic-stack-docker-part-one)

Si vous voulez lire l'article associé à ce repository, [le voici](https://www.elastic.co/fr/blog/getting-started-with-the-elastic-stack-and-docker-compose).

Cependant, dans cet article, la configuration est découpée en plusieurs blocs rendant tout cela difficilement lisible. Aussi je vous recommande de faire un pull du repo et de passer directement à la configuration de votre fichier **.env**.

```
# Project namespace (defaults to the current folder name if not set)
#COMPOSE_PROJECT_NAME=myproject

# Password for the 'elastic' user (at least 6 characters)
ELASTIC_PASSWORD=changeme

# Password for the 'kibana_system' user (at least 6 characters)
KIBANA_PASSWORD=changeme

# Version of Elastic products
STACK_VERSION=8.7.1

# Set the cluster name
CLUSTER_NAME=docker-cluster

# Set to 'basic' or 'trial' to automatically start the 30-day trial
LICENSE=basic
#LICENSE=trial

# Port to expose Elasticsearch HTTP API to the host
ES_PORT=9200

# Port to expose Kibana to the host
KIBANA_PORT=5601

# Increase or decrease based on the available host memory (in bytes)
ES_MEM_LIMIT=1073741824
KB_MEM_LIMIT=1073741824
LS_MEM_LIMIT=1073741824

# SAMPLE Predefined Key only to be used in POC environments
ENCRYPTION_KEY=c34d38b3a14956121ff2170e5030b471551370178f43e5626eec58b04a30fae2
```

Modifier les mots de passe dans le fichier .env en replaçant les occurences de changeme par quelque chose de votre choix.

Nous allons maintenant démarrer nos containers.

```
sudo docker-compose up -d
```

Une fois votre container démarré, votre **elastic search** est lancé, mais en **HTTPS** !

### 2 - Création d'un premier index

Je vais créer un index avec 2 shards. 

Les shards pour faire simple sont des points d'entrées vers les données. 
Splitter un index en deux shards permet de les parcourir simultanément (si votre disque dur le permet). 

⚠️ Attention un shard n'est pas un cluster, d'ailleurs si vous utilisez un cluster, sachez que vos shards seront répartis sur ces derniers. C'est à dire qu'ils ne seront pas multipliés par le nombre d'instance.

👉 Le fait de passer par un faux certificat risque de poser problème à curl, mais nous allons forcer les appels grâce au flag insecure.

👉 L'utilisation d'un user/password a une incidence sur comment vous allez requêter le service: 

```bash
curl --insecure -X PUT \
-u elastic:<mot de passe> \
https://localhost:9200/<nom de votre index> \
-H 'Content-Type: application/json' \
-d '{"settings":{"number_of_shards": 2}}' -v
```

Si jamais vous vous êtes trompé dans le nom, vous pouvez toujours supprimer cet index avec: 

```bash
curl --insecure -X DLETE \
-u elastic:<mot de passe> \
https://localhost:9200/<nom de votre index> -v
```

Vous pouvez aussi bien utiliser **Postman** pour le faire. Cependant, n'ayant pas de raccourci **--user**, vous devrez utiliser un header '**Authorization**' avec en value '**Basic [base64 de username:password]**'. 

Pour obtenir votre **base64**, vous pouvez utiliser la console, ou [ce site](https://www.blitter.se/utils/basic-authentication-header-generator/).

```bash
echo -n "username:password" | base64
```

### 3 - Injection du jeu de données

Commençons par télécharger un dataset. J'ai choisi les catégories d'articles du Huffington Post de 2012 à 2022. Rendez-vous [ici pour télécharger le dataset](https://www.kaggle.com/datasets/rmisra/news-category-dataset/). 

Décompressez cela dans un dossier et vous obtiendrez le fichier:

```
News_Category_Dataset_v3.json
```

Maintenant que vous avez votre index Elastic Search et votre jeu de données, il ne reste plus qu'à y injecter les données.

Vous pouvez créer une plus petite version du dataset pour commencer ce script, cela vous permettra de faire des tests au lieu de vous farcir les 209 000 lignes du dataset.

Nous allons batcher la lecture de ce fichier en faisant de chacun de ces **JSON** en appels **curl**. 

Pour cela, nous avons besoin de **bash**, donc je crée un fichier '**start_index.sh**' :

```
url="https://localhost:9200/"
index_name="<nom de votre index>"
username=elastic
pwd=<votre mot de passe>
input="./News_Category_Dataset_v3.json"

echo "Start indexing data"

index_path=$(echo "${url}${index_name}/_doc")
credentials=$(echo -n "${username}:${pwd}" | base64)

while IFS= read -r line
do
  echo "\nPushing new line..."
  curl --insecure -X POST $index_path -H 'Content-Type: application/json' -H "Authorization: Basic ${credentials}" -d "$line" -v
done < "$input"

```

Remplacez ce dont vous avez besoin.

Et vous pouvez lancer cela en faisant: 

```bash
sh start-index.sh
```

Vous laissez tourner car ça risque d'être long en fonction de la taille du dataset. ⌚

### 4 - Requêter l'index Elastic

Une fois que vous avez nourri votre Elastic Search 🍚, vous pouvez le requêter:

```bash
curl --insecure -X GET 'https://localhost:9200/<nom de votre index>/_search' \
-u <username>:<password> \
-H 'Content-Type: application/json' \
-d '{
    "query": {
    "query_string": {
      "query": "Obama"
    }
  }
}' 
```

Pour que ce soit plus lisible depuis la console vous pouvez **| jq** à la fin, à condition que vous ayez **jq**.

Idem, remplacez ce dont vous avez besoin et n'hésitez pas à utiliser **Postman**.

On obtient:

```bash
# ...
        "_id": "EQbHQosBiMuykQNzVA3o",
        "_score": 8.201126,
        "_source": {
          "category": "POLITICS",
          "headline": "Team Obama",
          "authors": "Jeff Danziger, ContributorPolitical cartoonist syndicated by the NYTimes worldwide",
          "link": "https://www.huffingtonpost.com/entry/team-obama_1_b_6125962.html",
          "short_description": "Team Obama",
          "date": "2014-11-08"
        }
      },
      {
        "_index": "news",
        "_id": "6gfQQosBiMuykQNzlQiE",
        "_score": 7.803393,
        "_source": {
          "category": "STYLE & BEAUTY",
          "headline": "White House Tree Lighting Photos: Michelle Obama & Family Cozy Up! (PHOTOS, VIDEO)",
          "authors": "Jessica Misener",
          "link": "https://www.huffingtonpost.com/entry/white-house-tree-lighting-michelle-obama-malia-sasha-photos_us_5b9c97dde4b03a1dcc802043",
          "short_description": "Plus... President Obama sings!",
          "date": "2012-12-07"
        }
      },
      {
        "_index": "news",
        "_id": "CAXEQosBiMuykQNzgsCL",
        "_score": 7.5903983,
        "_source": {
          "category": "POLITICS",
          "headline": "Obama and the 'N' Word",
          "authors": "Jonathan Richards, ContributorCartoonist",
          "link": "https://www.huffingtonpost.com/entry/obama-and-the-n-word_b_7646922.html",
          "short_description": "Obama and the 'N' Word",
          "date": "2015-06-23"
        }
      },
      {
        "_index": "news",
        "_id": "8gS4QosBiMuykQNzkXdu",
        "_score": 7.5273933,
        "_source": {
          "category": "COMEDY",
          "headline": "Conan O’Brien Zings Donald Trump In Spoof Barack Obama Netflix Trailer",
          "authors": "Lee Moran",
          "link": "https://www.huffingtonpost.com/entry/conan-barack-obama-netflix-spoof-stand-up-special_us_5ab22b23e4b008c9e5f2ce5a",
          "short_description": "Fake Obama brings the gags.",
          "date": "2018-03-21"
        }
      },
      {
        "_index": "news",
        "_id": "zAS9QosBiMuykQNzIvVo",
        "_score": 7.5273933,
        "_source": {
          "category": "WOMEN",
          "headline": "Obama Spent His First Week In Office Championing Women's Rights To Equal Pay",
          "authors": "Jenavieve Hatch",
          "link": "https://www.huffingtonpost.com/entry/obama-spent-his-first-week-in-office-championing-womens-rights-to-equal-pay_us_588f7aa5e4b02772c4e8105f",
          "short_description": "The Obama Foundation looks back.",
          "date": "2017-01-30"
        }
      }
    ]
  }
}
```

Et voilà votre index est configuré et contient des données. Vous pouvez maintenant y effectuer des requêtes et tester toute sorte de classement et de tris à votre guise.



nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

large_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

medium_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

small_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

thumbnail_nicolas-hoizey--4trKf0Kbow-unsplash-resized.jpg

Vous voulez vous exercer avec Elastic Search mais vous ne savez pas par où commencer ? Et si on s'installait une stack en local avec Docker pour y effectuer des tests ? Je vous propose aujourd'hui de créer tout ça de 0, ainsi que d'y injecter un premier jeu de données. 

Comment configurer rapidement un elastic stack local ?

Par où commencer lorsque l'on a besoin d'un jeu de données ?

### 1- Constituer soi même son jeu de données

Supposez que vous commenciez un business dans la vente automobile de marque Française. Vous allez constituer votre jeu de données avec les éléments suivants : 
- stock disponible chez les fournisseurs
- stock disponible chez vous
- liste des véhicules réservés ou achetés par des clients
- etc

Sur ces mêmes jeux de données vous allez commencer à effectuer des analyses: 
- combien de véhicules sont vendus par ces fournisseurs chaque années
- combien de véhicules vous vendez chaque années
- etc.

Mais avant même d'aller jusque là, imaginez un instant devoir passer en revue tout le stock disponible et les fiches complètes de chaque véhicules afin d'avoir un point de départ: la donnée sur laquelle viendront les analyses dans un second temps. Tout ceci est long et fastidieux...

### 2- Les sources de données existantes

C'est là qu'entre en jeu des sources de données existantes qui vont vous prémarcher une partie du travail. 🦥

Certains fournisseurs vous donnent immédiatement accès à leur stock que vous pourrez copier et coller chez vous histoire de gagner du temps... Mais dans bien des domaines vous serez livrer à vous même, contraint de commencer à partir de rien et de construire tout une base avec ces éléments.

Conscient de tout le travail que cela demande, certaines communautés se forment autour de la données et proposent même de s'échanger des jeux de données pour éviter à tout un chacun d'avoir à se farcir des heures de saisie.

J'ai nommé [kaggle.com](https://www.kaggle.com/)

![kaggle.png](https://bo.dev-freelance.fr/uploads/kaggle_3c94d826f2.png)

Site de référence sur lequel vous pourrez trouver énormément de listes en tout genre:

- liste d'animaux
- liste de séries TV
- liste de films
- liste de marque de voiture
- liste des titres d'article de presse
- etc...

Pour cela, penchez vous du côté des **datasets**.



scott-graham-5fNmWej4tAA-unsplash-resized.jpg

large_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

medium_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

small_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

thumbnail_scott-graham-5fNmWej4tAA-unsplash-resized.jpg

Récupérer un jeu de données (dataset en anglais) n'a pas toujours été aussi simple. D'ailleurs la data a été et est toujours le nerf de la guerre dans l'informatique de demain. Dans le domaine de la stratégie, de l'IA, scientifique et des statistiques, les données sont au coeur de chacun de ses systèmes. Mais comment trouver une source de données ? 

Comment trouver ses jeux de données

### Pourquoi il n'est pas simple de modifier une table PostgreSQL directement en production ?

Lorsqu'il s'agit de votre base de données, la source de vérité sur laquelle vous vous appuyez pour des opérations, des calculs, ou même diffuser du contenu sur vos plateformes, **vous ne pouvez pas risquer de tout perdre**. Les enjeux sont importants au point que certaines compagnies prennent le temps de faire un backup de base avant ce genre d'opérations (il est notamment conseillé de le faire régulièrement). L'idée étant de pouvoir retomber sur vos pattes si vous rencontrez un problème. Cependant, vous conviendrez que si votre base fait 30go, le backup ne sera pas simple à faire.

Par ailleurs, il est difficile de mettre à jour une table de production car si l'opération est trop lourde pendant la modification de cette table, cela peut empêcher tout accès en parallèle. Ce qui implique littéralement un freeze de cette ressource pendant la durée de l'opération. Aussi, la question que vous devez vous poser est : **pouvez-vous vous permettre une interruption ?** Pour vous donner une idée, Amazon vend 150 produits par minutes. **Imaginer rendre une table produits inaccessible pendant 1 heure signifie se tirer une balle le pied !**

Donc, la gestion d'une base de données sur un projet actif n'est pas une mince affaire. 

### Les tâches obligatoires sur votre base

- 1. Toilettage Quotidien avec VACUUM

L'un des premiers défis réside dans le maintien de votre base de données en bonne santé au quotidien. C'est là que l'outil VACUUM entre en jeu. Il vous permet de récupérer de l'espace disque inutilisé suite aux suppressions, de prévenir la fragmentation, de nettoyer les transactions inachevées, et plus encore. La compréhension et l'utilisation appropriée de VACUUM sont cruciales pour maintenir la stabilité et la performance de votre base.

- 2. Optimisation de l'Architecture

Une architecture de base de données bien conçue est un élément clé de la performance. Savoir quand utiliser la redondance d'informations, c'est-à-dire répéter une colonne sur différentes tables pour éviter des jointures inutiles ou des sous-requêtes, peut considérablement accélérer vos requêtes.

- 3. Gestion du Volume de Données

Pour les projets de grande envergure, où des dizaines de sociétés vendent des milliers de produits chacune, le volume de données peut atteindre des dizaines, voire des centaines de gigaoctets. Il est essentiel de maintenir la base de données active dans une "tranche raisonnable" d'espace disque, idéalement en dessous de 1 Go pour garantir des performances optimales. Cela peut impliquer la mise en place d'une base de données active distincte de la base d'archives, avec des bascules périodiques pour libérer de l'espace et améliorer la réactivité de l'instance.

Il y a plusieurs façon de mettre à jour une table surtout si elle contient des données. Et par données, j'entends des dizaines, centaines de milliers de lignes, des millions voire plus. Croyez moi, à ce moment là, vous ne faîtes plus seulement un :

```
ALTER TABLE ADD COLUMN ... DEFAULT ...
```

Sous peine de mettre littéralement votre base de données en PLS ✝️.

Lorsque vous avez trop de données l'activation du **DEFAULT VALUE** peut faire très très mal à votre instance de base, le temps de passer sur chaque ligne pour y mettre la fameuse valeur par défaut. Au même moment, toutes les requêtes entrante vers cette table sont compromises, gros risques de perte d'accès à cause des **lock** de ressource etc. 


>Ne pas pouvoir répondre à une QUERY c'est une chose, mais perdre un INSERT/UPDATE/DELETE ça peut carrément être grave.

Il y a plusieurs façon de procéder dans ce cas de figure, certaines méthode sont plus complexes que d'autres, même si ce n'est pas mon domaine premier d'expertise (car je tiens à rappeler que c'est un métier à part entière et que nos experts **SysDBA**/**DBOps** sont biens plus qualifiés que moi pour vous aiguiller au mieux) je vais vous expliquer ce que je ferai dans ce cas. Bien sûr, ces méthodologies ont été testés et éprouvés sur le terrains avec mes confrères **DBOps** et sous couvert de leur expertise.

### 1- La nouvelle table

Il est tout à fait possible et plein de sens de créer une nouvelle table pour y effectuer les modification par rapport à une table initiale. On parle ici uniquement de la structure de table dans un premier temps.

Bien que cela comporte aussi ses inconvénients dans un second temps : 
Supposez que votre table principale fasse **10go**, cela signifie que vous allez vous retrouver avec le double, du moins, pendant un instant. Si vous êtes sur un serveur dont les limitations disque ne vous permettent pas d'aller aussi loin, cette procédure semble déjà compromise. 

Pour autant, cette méthode comporte aussi quelques avantages: 
**La sécurité et l'intégrité des données sur la table principale qui n'est pas altérée**, cela vous permet de structurer souplement vos colonnes et de prendre le temps d'améliorer le modèle. De plus, votre table principale est toujours accessible pour les utilisateurs. 

Une fois votre table terminée, vous pourrez à une heure de faible sollicitation (souvent le soir à 2h/3h du mat 🛏️), effectuer une bascule de données, via des batchs ou non. **Il est recommandé, pour avoir la garantie de récupérer 100% de l'état de la table initiale en sortie, d'utiliser des lock manuels pendant l'opération**. 

Cette solution est tout à fait convenable et fonctionne très bien. Quand votre opération est terminée, rien ne vous empêche de renommer les tables pour que la nouvelle puisse enfin remplacer l'ancienne.

### 2- Le batch update sur la table cible

Une autre alternative vous est possible : **directement modifier la table cible** !

>Cependant, pas si vite jeune fougeux(se) ! ✋

Rappelez vous ce que je vous ai dit plus haut, on ne fait pas un **ALTER TABLE** gratuit sur une table avec une **DEFAULT VALUE**. Votre base va cracher ses poumons ! 😷 

Pour cela je vous propose un peu d'algorithme et d'élégance pour paraphraser un ancien confrère.  

Voici un exemple de batch que je ferai, je batcherai par lot de 1000 les lignes afin de ne pas saturer ma base. De cette façon, j'ai plus de garantie qu'elle reste accessible en parallèle pour tout autre accès.

```
DO $$
DECLARE
  total_rows FLOAT; -- we need a float to calculate coeff 
  total_pages INTEGER; 
  pg_offset INTEGER = 1000; -- our limit for each iteration
  id_val INTEGER;
  temp_row RECORD;
BEGIN
  SELECT INTO total_rows count(*) FROM movies;
  total_pages = ceil(total_rows / pg_offset);
  
  -- log infos
  RAISE NOTICE 'Total rows: %', total_rows; 
  RAISE NOTICE 'Pages count: %', total_pages; 
  
  -- add new column without default value 
  ALTER TABLE movies ADD COLUMN in_collection BOOLEAN;
  
  -- batch update value
  FOR id_val IN 1..total_pages
  LOOP
    RAISE NOTICE 'Updating page % of %', id_val, total_pages; 
  	FOR temp_row IN
  	  SELECT * FROM movies LIMIT pg_offset offset pg_offset * (id_val - 1)
	LOOP
	  UPDATE movies SET in_collection=true WHERE id = temp_row.id;
	  COMMIT;
	END LOOP;
  END LOOP;
  
  RAISE NOTICE 'Job done, Rest soldier !';
  
END $$;
```

⚠️ Petite subtilité: l'usage du **FLOAT** pour **total_rows** est important pour la variable de coefficient. 

Le passage, même temporaire à un état flottant, bien que le **CEIL()** va suivre, est obligatoire ! Si vous déclarez cette variable en **INTEGER**, vous rencontrez un problème lors de l'opération 

```
CEIL(var / 1000); 
```

Si **var = 1300**, **var / 1000** ne sera plus 1.3 mais 1 et ça change tout avant exécution du **CEIL**. Oui, même si vous n'assignez pas le fameux 1.3 à votre **var** !  👈

__

Parenthèse fermée, rien ne vous empêche, quand tout est fini de faire un **ALTER COLUMN** et d'y ajouter votre **DEFAULT VALUE**. Au moins, on sait que les opérations d'écritures sont terminées.

Les notices permettent de suivre dans la console ce qu'il se passe pour ne pas vous faire poireauter à l'aveugle. 

Pour information, j'ai lancé cette requête sur une base temporaire de films avec exactement 7392 lignes et voici l'output console :

```
NOTICE:  Total rows: 7392
NOTICE:  Pages count: 8
NOTICE:  Updating page 1 of 8
NOTICE:  Updating page 2 of 8
NOTICE:  Updating page 3 of 8
NOTICE:  Updating page 4 of 8
NOTICE:  Updating page 5 of 8
NOTICE:  Updating page 6 of 8
NOTICE:  Updating page 7 of 8
NOTICE:  Updating page 8 of 8
NOTICE:  Job done, Rest soldier !
DO

Query returned successfully in 11 secs 493 msec.
```

**11.5sec pour 7392 lignes** ça laisse présager de ce que ça serait avec 10 millions de lignes. En extrapolant un peu, on serait au alentours de 4H30... 

Rien ne vous empêche de mettre des **hard limit** à vos batchs par exemple, d'ajouter des conditions pour s'arrêter à 1 000 000 de lignes, en vous obligeant ainsi à relancer plusieurs fois le script mais au moins vous aurez la possibilité de faire des contrôles entre les exécutions. N'oubliez pas ceci-dit, de commenter (double dash/tiret) la partie **ADD COLUMN** si vous le faites.

Pour conclure, je dirai que des solutions possibles pour faire une mise à jour de la structure de table en production sont :
- le backup de table et l'exécution brute des requêtes **ALTER TABLE** (bien que déconseillée)
- la nouvelle table et la copie incrémentale avec un batch  **SELECT** -> **INSERT** (bien que nécessitant un espace disque suffisant)
- le batch opération sur la table elle même 

C'est tout pour cet article qui j'espère vous apportera une solution dans vos problématiques quotidiennes. N'hésitez pas à le partager si vous avez apprécié, ou à me faire vos retours en commentaire ou sur la rubrique contact du site. Oui, je lis les messages ! 😉

large_warehouse.jpg

medium_warehouse.jpg

small_warehouse.jpg

thumbnail_warehouse.jpg

warehouse.jpg

Lorsque l'on veut modifier une table sur une base de production PostgreSQL, il convient de s'y ateler avec beaucoup de précautions. Bien sûr, tout va dépendre de la criticité de la base, de la fréquence d'utilisation, du volume de données etc... Mais en pratique, lorsqu'il s'agit de votre production il faut se préparer à une procédure très technique.

Comment modifier une grosse table PostgreSQL

Contrairement à ce que je peux laisser entendre dans mes écrits, Node.js a beau être ma techno préféré, JS/TS le langage dans lequel je me sens le plus à l'aise. Ce n'est pas le meilleur outil dans toutes les situations. 

Il y a effectivement de nombreuses possibilités notamment via les **spawn** etc pour faire des appels de commande terminal, mais l'async rend les choses un peu plus compliqués lorsque l'on veut uniquement séquencer des opérations.

Quand je parle de scripting, je parle d'opérations que j'exécute sur ma machine, mon OS, mon infra ou encore des scripts de scraping. Et je pense que **Python** est un outil bien plus adapté pour ce genre de chose.

## Pourquoi ? 

N'en déplaise aux fanboys Node.js de la première heure, **Python** est beaucoup plus puissant en terme d'outil. 

Dans 95% des cas (chiffre qui sort de ma tête, mais qu'on se le dise, qui ne doit pas être loin de la réalité), des gens se concentrent uniquement sur des fonctionnalités basiques lorsqu'ils font du scraping. 

Ils diront : **Puppeteer** c'est suffisant ! **Cypress** c'est trop cool, ou encore **Selenium** pour les plus techniques. 

Mais les gars, je vous mets au défi de créer un système bien plus complexe ou les interactions deviennent dynamique, etc... Par exemple, brancher vos scrapers sur des plateformes qui n'ont pas été adaptés pour la situation (login compris, captcha compris, sans détourner le système de connexion). Car la plupart du temps pour de l'automatisation E2E, les process sont adaptés pour gérer les scénarios de tests plus facilement. Et bien **Python** il peut faire tout ça, sans alléger le process et sans trop vous casser la tête.

## Compliqué ? 

Python permet de faire tellement de chose: 
- la lecture d'écran grâce à l'**opencv** (pour Open Computer Vision), c'est à dire être capable de prendre en entrée une image (typiquement ce sera un screenshot de votre page). 
- la prise en main de votre machine, déplacer la souris à votre place, taper au clavier à votre place etc...
- et pour pousser un peu plus, vous pouvez y ajouter un système de réseau de neurones si vous voulez y intégrer l'apprentissage et que votre système puisse évoluer

Figurez vous que Python fait tout cela facilement et sans broncher...


<iframe width="315" height="560"
src="https://www.youtube.com/embed/BUK0f-3R_qU"
title="YouTube video player" frameborder="0"
allow="accelerometer; autoplay; clipboard-write; encrypted-media;
gyroscope; picture-in-picture;
web-share"
allowfullscreen></iframe>

Par ailleurs, non je ne télécharge pas 🙈 ... Il faut bien que je teste quelque part 😇

Donc, je penses toujours que **Node.js** est le meilleur langage pour processer des pages sur un serveur grâce à son moteur fait pour l'i/o. 

Mais, ne restez pas dans votre zone de confort et explorez tous les langages car à chaque problème sa solution. Parfois un autre langage peut être un outil bien plus adapté à votre besoin.

todd-quackenbush-IClZBVw5W5A-unsplash.jpg

large_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

medium_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

small_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

thumbnail_todd-quackenbush-IClZBVw5W5A-unsplash.jpg

Est-ce qu'en tant que développeur Typescript je ne fais que du ts ? Je ne jure que par lui et rien d'autre ? Et bien la réponse est non ! TS est un super langage pour coder des API et du frontend. Cependant, lorsque je code un script, automate, système ou autre, j'utilise autre chose.

Mon langage de scripting préféré

Il y a quelques jours, je me réveillais un matin avec une notification de **Bankin** qui avait généré mon relevé. Curieux je me dis bon, je jette un oeil, et après quelques slides je vois une transaction mensuelle d'environ **40€** pour **AWS**. Le chiffre dans l'absolu n'est pas fou, mais si je vous dis que c'est pour un service qui est appelé à tout cassé 10 fois dans le mois, là c'est tout de suite overkill.

### Les frais chez AWS

Dernièrement je parlais de [comment je choisis d'héberger mes solutions](https://dev-freelance.fr/dev/passer-de-frontend-a-backend-le-deploiement) et je vous disais que j'optais souvent pour des **VPS** grâce à leur faible coût. Non pas que je trouve qu'**AWS** soit trop cher, mais trop cher pour ce que je fais. **En effet, tout dépend de votre objectif !**

#### L'envergure du projet

Lorsque vous avez un projet de taille moyenne voire plus, c'est à dire qu'il vous faut au moins une équipe et plusieurs mois avant de sortir quelque chose, bien sûr qu'une solution **AWS** de type **serverless** est justifié, car tout ce temps passé à ne pas gérer le déploiement vous permet de vous concentrer sur les développements et les fonctionnalités. En revanche lorsqu'il s'agit d'un petit projet, avec peu de requêtes entrantes, je vous conseille de réfléchir à deux fois.

Pour ma part j'avais opté pour **AWS Serverless** (**Lambda** + **API Gateway**) et **RDS Postgres** pour un projet mobile que j'utilisais de temps en temps avec des amis. Mais à ne pas regardé cela fait plus de 2 ans que je paye cette solution et que plus de 1000€ ont été débité en tout pour faire tourner une base de données et un processus d'**API Node**.

#### Combien j'aurais économisé si j'avais tout fait moi même ?

Et bien c'est assez incroyable, mais j'arrive à **compresser les frais de 8 à 10 fois** pour ce genre de petit projet. Cela signifie que sur une plage de temps similaire, j'aurais dépensé en tout **100€** et des brouettes, au lieu des **1000€**. Ce qu'il faut garder en tête, c'est souvent, combien de temps va durer ce projet, et si c'est du long terme, je vous conseille d'optimiser vos frais avant tout !

J'opterais donc pour une solution **Scaleway** ou **PulseHeberg** **VPS** pour héberger des petits projets personnels. D'ailleurs en ce moment même je suis sur la refacto de cette application.

### Conclusion

Lorsque vous faîtes des projets personnels, des prototypes, etc. pensez d'avance aux frais que ceux-là vont générer dans la durée. Et ne négligez pas les optimisations que vous pourrez faire d'avance. Optez pour des solutions managées dans le cas d'application live avec de grosses audiences sur des projets longs. 💸💸


towfiqu-barbhuiya-xkArbdUcUeE-unsplash.jpg

large_towfiqu-barbhuiya-xkArbdUcUeE-unsplash.jpg

medium_towfiqu-barbhuiya-xkArbdUcUeE-unsplash.jpg

small_towfiqu-barbhuiya-xkArbdUcUeE-unsplash.jpg

thumbnail_towfiqu-barbhuiya-xkArbdUcUeE-unsplash.jpg

AWS me facture une blinde chaque mois depuis des années pour un service que j'utilise à peine. Je décide d'optimiser ça.

Je lache AWS

## Les étapes de lancement de produit tech

On nous parle souvent des boîtes qui ont coulé, ou qui ont échoué etc... Pour chaque société autrefois leader de son marché qui a disparu par la suite, combien sont passées complètement inaperçues, car morte avant même d'arriver au marché ?

Lancer un produit sur une base applicative n'est pas de tout repos. 

Admettons que l'on ait fini ce que j'appelle le **pré-pré-lancement** : 
- avoir la vision du produit
- avoir monté l'équipe
- choisi les technologies
- avoir en tête les principaux use-cases
- connaitre sa cible

Il y a ensuite les phases : 
- de **pré-lancement** (on souhaite accélérer la sortie du produit) 
- d'**après-lancement** ou **post-lancement** (on ajuste au mieux le produit pour améliorer les rendements, on fait de l'acquisition d'utilisateurs)

La phase de **pré-lancement,** c'est à dire que l'**on a toujours pas de produit**, **ni de market-fit** est composée de 3 étapes (en tout cas aux yeux d'un développeur) : 
- **les premières briques** (la phase d'accélération)
- **le peaufinage** (la phase de stagnation)
- **le early-stage** (la phase de refacto/pivot)

![product-pre-launch-steps ><](https://bo.dev-freelance.fr/uploads/timeline_drawio_27ada4a6fb.png)

Si vous avez déjà fait plusieurs lancement de produits, vous connaissez ces étapes et si vous êtes actuellement en train de lancer votre produit, vous avez plus où moins une idée d'où vous vous positionnez en ce moment, sur cette frise.

En sachant que dans le temps, chacune de ces étapes sera de plus en plus complexe pour votre équipe. Cela signifie qu'**à chaque fois, les problématiques rencontrées seront plus compliqués à résoudre et c'est ici que vous allez vous expertiser dans votre marché**.

Puis, à chaque étape, vous êtes en train de mettre une barrière à l'entrée plus élevée pour la concurrence. 

J'ai plusieurs fois traversé ces phases sur de nombreux projets, où nous n'avons pas passé le pré-lancement. Je vous donne aujourd'hui 9 clés tirés des projets sur lesquels j'ai travaillé, qui sont allé jusqu'au lancement, car j'ai pu comparer en quoi nous avons agit différemment et les problèmes que nous avons résolus.

### I - La phase d'accélération

En général cette phase dure 3 à 6 mois et c'est dans cette phase que votre équipe technique prend le plus de plaisir à évoluer, car : 
- les résultats arrivent rapidement (la première API, les premiers écrans)
- beaucoup de choses sont faites
- tout semble aller vite

En revanche, il convient de faire des mouvements et des choix stratégiques ici pour ne pas se coincer dans les étapes à venir.

####  1 - Le choix des bons outils techniques ✔️

Si dès cette étape vous faite le mauvais choix de langage de framework etc., vous risquez d'avoir à faire des changements plus tard et ceux-ci peuvent s'avérer très coûteux. 

C'est pourquoi, ici, il faut être sûr de faire les bons choix et d'avoir les bons interlocuteurs techniques (des leads expérimentés) pour ne pas se tromper de voie.

**Un de techno switch tardif pour certaines société peut coûter plusieurs millions.**

#### 2 - S'entourer d'experts 🤝

Oui, vos équipes sont déjà constituées, cependant il existe des profils encore plus expérimentés qui, certes, ne resterons pas dans votre entreprise sur la durée mais peuvent faire monter en compétence vos équipes internes ou vous aider à débloquer une problématique complexe.

S'entourer d'expert (des intervenants par exemple) est vital pour vous aider à prendre les décisions stratégiques pour le long-terme.

Bien sûr, le but n'est pas de faire de l'over-engineering. Cependant, faire le mauvais choix à une étape cruciale de votre développement peut littéralement tuer votre produit. 

**Un expert n'est pas forcément technique, il peut aussi vous conseiller en stratégie, vous conseiller en marketing, être un product-owner, ou encore designer etc...**

>Imaginez-vous, en 2015, Deezer avait 51% des part du marché du streaming en France (source: capital.fr). En 2016, ces parts sont passé à 42%. Et en 2021, il reste moins de 30% du marché français pour Deezer et 2% du marché mondial et Spotify rafle plus de 31% du marché mondial (source: bfmtv.com).

On est bien d'accord qu'il y a un virage qui a été très mal négocié pour passer de leader à "presque disparu" d'un marché. Et dans toutes les tragédies des sociétés (je ferai un article prochainement sur ce sujet), **il y a un mauvais choix à l'origine de toute la dégringolade**.

Et personnellement, (peut être que je me trompe), je pense qu'**il y a forcément une personne sur Terre, où qu'elle soit, qui aurait pu vous insuffler la bonne direction, au bon moment**, mais, <u>soit vous ne l'avez pas sollicité, soit vous ne l'écoutiez pas</u>... 

#### 3 - Eviter les régression 🤚

Lorsque vous avancez très vite, sachez qu'il est tout aussi facile de reculer rapidement. Cette règle est universelle, mais dans le cas d'un projet tech, il y a peut être une solution.

Mettre en place des Tests Unitaires (TU) et des tests End to End (E2E) vous permettra d'éviter de faire marche arrière à chaque nouvelle feature.

C'est un outil qui concerne surtout l'organisation en tant que développeur, mais je vous conseille d'adopter des méthodologies TDD au plus tôt pour éviter de devoir le faire plus tard. 

De même, il y a plusieurs choses à prendre en compte : 
- Il est inutile de faire un coverage de plus de 80% (il faut se concentrer sur les key-features et les parcours critiques)
- Chaque fois que l'on aura décider de ne pas faire de tests pour quelque chose d'important, cela nous retombe dessus tôt ou tard
- Etre sûr de maîtriser ses scénarios de tests (avoir tous les cas en tête) car c'est le cas que l'on a pas vu venir qui pose souvent problème

>Régression = Retard !

**L'histoire a montré plus d'une fois, que des marchés se perdent, parce qu'à un moment, une entreprise accumule plus de retard que ses concurrents dans la sortie de son produit.** 

Cela a été le cas pour la sortie des vaccins, **les laboratoires français** ont été submergés par les retards. Cela a été aussi le cas pour **Google+**, car **Google** a trop longtemps délaissé les réseaux sociaux et ne pouvait plus rattraper **Facebook** lorsqu'il a voulu s'y mettre.

### II - La phase de stagnation

Après avoir été productif, place à une phase qui va être difficile à surmonter pour beaucoup d'entreprises. Cette phase où tout semble se ralentir, va amener avec elle plusieurs problèmes.

Chaque jour semble vous éloigner de votre objectif (le marché), le personnel se démotive, car on entre dans une phase répétitive. 

Les tâches de peaufinages consistent à faire des finitions graphiques ou d'architecture. Souvent, il s'agit même à faire du copier/coller de l'existant. Mais pourtant, cela arrive à démotiver les troupes. Parfois même, c'est à ce moment que certaines sociétés subissent un gros turnover.

Je n'ai malheureusement aucune formule miracle pour cette phase, car elle est inévitable. Mais j'ai quelques conseils à vous donner afin d'en tirer profit.

#### 1 - Gardez les plus motivés 🎣

Si vous subissez un turnover, comme cela peut être le cas dans toute les boites. Il faut savoir l'accepter. 

Peut-être que votre projet ne motive pas toutes les personnes de votre équipe autant qu'il vous motive vous, et c'est tout à fait normal. Après tout, <u>on a chacun nos objectifs dans la vie</u>. 

Ceux qui restent se démarqueront par : 
- leur motivation
- leur loyauté 

Vous pourrez leur donner plus de responsabilités à terme et il faut le voir d'un bon oeil, car il est difficile de porter tout le projet sur ses épaules.

Il faut aussi veiller à répartir équitablement la charge dans les équipes afin que personne n'ai l'impression d'en faire plus que les autres. 

De même, **vous êtes peut être en train de constituer le noyau dur de votre équipe**. 

#### 2 - Pousser la veille technique 🔬

Pendant la phase de stagnation, le projet semble évoluer lentement et nous faisons les observations suivantes : 
- il manque encore des fonctionnalités ou de la stabilité pour pouvoir aller au marché
- les dernières tâches semblent être les plus longues 
- souvent le travail est répétitif

Dès que vous sembler buter sur une situation complexe, demandez à vos équipes pour faire de la veille, afin de trouver des solutions innovantes aux problématiques. 

Peut être que la phase la plus difficile à traverser, sera aussi, celle d'une percée sans précédant pour votre entreprise. **Vous allez peut être résoudre un problème qui vous donnera une longueur d'avance sur vos concurrents**.

A cette étape, si vous trouvez quelque chose de très intéressant mais pas vital pour votre prototype, pensez à le noter pour plus tard. 

De même, lorsqu'il sera intéressant d'ajouter une fonctionnalité, il faudra arbitrer entre, sortir plus rapidement ou être prêt à attendre un peu plus mais augmenter la qualité du produit à terme.

#### 3 - Concevoir ses propres outils ⚒️

J'ai toujours poussé les équipes à avoir des outils adaptés aux problématiques quitte à les concevoir eux même. 

Je le dis souvent : **Vous imaginez vous enfoncer des clous à la main, aujourd'hui ?**

Un outil adapté c'est un gain de temps précieux car **l'ennemi numéro 1 de la société en phase de lancement, c'est le temps !** (Si pour vous, c'est l'argent, lancer plus vite vous fera résoudre ce problème).

>Lorsque vous aviez mis les premières briques de votre projet, combien de temps avez-vous gagné en utilisant un framework ? 

La bonne nouvelle, c'est que vous pouvez reproduire ce schéma pendant la création de votre produit. **A chaque fois que vous faîte quelque chose qui vous semble répétitif, il y a de fortes chances que vous ayez encore à le faire dans le futur. <u>La répétitivité est un excellent indicateur de ce qui peut être automatisé</u>**.

Vous êtes en train de créer un énième path pour votre API ? Vous pouvez l'automatiser.
Vous êtes en train de créer une nouvelle page de gestion de donnée dans votre backoffice ? Vous pouvez l'automatiser.
Vous êtes en train de créer un nouveau modèle de données pour votre DB ? Vous pouvez l'automatiser. 
etc...

Vous allez me demander comment automatiser tout ça ? 

Créez vous des scripts de génération de fichier. 

Il vous faut : 
- Faire des templates
- Créer un CLI (command line interface)

Même si vous gagnez 20%, 30% c'est bon à prendre non ? Alors faîtes-le !

Un autre avantage de l'automatisation, c'est que lorsque vous accueillerez un nouveau dans votre équipe, plutôt que lui faire faire une grosse montée en compétences, les outils d'automatisation vont accélérer sa productivité.

**Je précise tout de même que je parle ici d'outils (automatisation, organisation, etc...). Je ne parle pas d'innovation et de remise en question de tout le process (très important pour la suite).** 

### III - La phase de refacto/pivot

Une fois que vous aurez survécu à la phase de stagnation, il y a un rayon de soleil qui se profile à l'horizon. 

Généralement, vous allez entrer dans une phase où vous allez commencer à faire des ventes. Certes, vous n'allez pas atteindre immédiatement le point d'équilibre dépenses-rentabilité, mais vous allez pouvoir toucher un marché à taille réduite.

Il arrive que des entreprises fassent un lancement à grande échelle dès maintenant, mais cela n'est pas conseillé. En général, vous cherchez une audience réduite pour faire un lancement early stage pour ce que l'on appelle des early-adopters. 

Ces early adopters vous permettent de vous tromper dans vos hypothèses et de pouvoir recommencer. Le problème d'un marché, c'est que lorsque votre offre sera référencée comme étant "mauvaise" (car dysfonctionnelle, ou autre), vous aurez beaucoup plus de mal à convaincre de nouveau. 

Ces prospects que vous aurez atteint plus tôt grâce à votre communication, votre marketing, votre réseau, etc. et qui sont prêt à prendre votre produit. 

Essayez de lancer votre produit à tarif réduit (pour commencer). Je vous déconseille le gratuit même si beaucoup le recommandent, car cela peut être à double tranchant. 

Premièrement, le gratuit peut retirer de la valeur à votre produit, car il sera perçu comme étant facile à donner. Deuxièmement, il faut avouer que le marché francophone n'est pas le meilleur quand il s'agit de payer un produit. 

Les français sont souvent mécontent du prix, de la qualité, etc... bref, ils sont difficiles à convaincre. Notez que dans un pays anglo-saxon, la méthode du gratuit pour commencer peut fonctionner. 

Mais voyons plutôt ce que nous pouvons faire pour tirer profit de cette dernière phase de pré-lancement.

#### 1 - S'appuyer sur ses outils 🏗

Lorsque l'on commence à atteindre un marché, on va commencer à observer ce que l'on peut améliorer, refaire, et même recevoir le feedback de nos utilisateurs. C'est à ce moment précis, que vos outils (II - 3) seront utiles.

**Tout le temps passé, à créer vos propres outils et vos automatisations, vous donnera la capacité de pivoter plus vite.** 

#### 2 - Tirer profit de la veille technique, challenger les solutions 👨‍🔬

Ce que vous avez noté d'intéressant mais que vous avez choisi de le reporter à plus tard (II - 2) doit être fait à ce moment précis.

Pour vous illustrer ceci, je vais vous parler de l'importance d'avoir un produit tech robuste pour le déploiement à grande échelle : 

>Mise en situation : vous êtes la société A en phase de pré-lancement, vous avez créé un prototype très simple, qui n'est pas parfait mais fonctionnel. 
>En phase de refacto/pivot, vous sortez cette solution, qui fonctionne toujours à merveille avec une audience réduite.
>Lors du lancement, votre acquisition explose, mais votre application ne tient pas la charge car jusqu'ici vous fonctionnez qu'avec 100 utilisateurs maximum en parallèle. 

Il faut garder en tête que lorsque votre produit sera déployé à grande échelle, est-ce que vos fondations sont suffisamment solides pour tenir la charge ?

Si votre réponse à cette question c'est : si on a trop de charge on augmente les ressources machines, <u>cela signifie que votre produit n'est pas optimisé et peut-être pas prêt</u>.

Pour vous donner un exemple : 

>On est en 2018 en région parisienne, un confrère lance un projet d'application mobile en temps réel. Pendant toute la phase de tests il est monté à 100 machines en parallèle, et jusque là, ça allait. Lors du lancement réel, la stack ne tenait pas 5000 utilisateurs et pourtant, l'objectif initial était de monter à 100K utilisateurs.

Non seulement, l'échec du lancement a fait quitter les 5000 utilisateurs déçus par une expérience médiocre. De plus, cela mettait en évidence un énorme problème de conception qui impliquait une réimplémentation totale pour arriver à l'objectif. Finalement, cet échec a tué le projet... la boite s'est assise sur son investissement initial. Pire, les utilisateurs ont gardé un gout amer de cette expérience et l'image de la boite était entachée.

**Le problème ici, c'est que le sujet n'était pas suffisamment maîtrisé (manque de veille technique). De même, la conception aurait dû être challengé. La société aurait dû mettre en concurrence plusieurs approches mais ne l'a pas fait.**

Tout ceci me fait me questionner : Etes-vous toujours sûr à 100% du jugement de votre équipe ? 

Cela ne signifie pas remettre en question votre confiance en eux, mais juste accepter que personne ne maîtrise tous les sujets.

#### 3 - Emettre de nouvelles hypothèses 🤔

Lorsque vous êtes dans cette phases, il convient d'ajuster au mieux vos résultats en faisant des hypothèses et en les mettant à l'épreuve.

Si vous avez une conversion de 10 sur 100 prospects, peut-être que vous pouvez tester une nouvelle approche, un nouveau type de campagne publicitaire, un nouveau prix, etc... **Ces ajustements continus vous permettront de maximiser les résultats.** 

De même étant donné que vous avez déjà quelques retours de vos utilisateurs, vous pouvez désormais vous appuyer sur leur avis pour savoir de quoi ils ont besoin. 

Avec tous les outils et l'expérience que vous aurez obtenus des précédentes phases, vous êtes équipé pour répondre encore plus rapidement et encore mieux aux besoins de vos clients.

### Conclusion

De toutes les phases que traverse l'entreprise tech, la plus difficile est bien la phase de pré-lancement. Lorsque vous n'avez toujours pas atteint le marché, vous vous éloignez chaque jour de votre seuil de rentabilité, tout ce que vous faîtes au quotidien, c'est brûler votre cash. C'est pourquoi, je pense que <u>c'est la phase pendant laquelle vous devez faire preuve d'excellence</u>. 

Plus vous irez vite, plus vous réduirez les coûts. De même, il faudra prendre une série de bonnes décisions pour ne pas rencontrer le mur au bout de la piste. 

Le marché est peut-être cruel mais il a toujours raison. Et si des géants comme Google ont pu se planter sur les réseaux sociaux, cela montre qu'aucune société n'est à l'abris d'un mauvais jugement. 

Les solutions à ces problématiques se trouvent dans la maîtrise totale de votre sujet, soit par l'expérience, soit par le conseil d'experts. Mais il n'y a pas meilleur école que l'échec, donc je pense qu'il faut savoir rester détendu face à cela et en sortir grandi. 😁

large_markus-spiske-XrIfY_4cK1w-unsplash.jpg

medium_markus-spiske-XrIfY_4cK1w-unsplash.jpg

small_markus-spiske-XrIfY_4cK1w-unsplash.jpg

thumbnail_markus-spiske-XrIfY_4cK1w-unsplash.jpg

markus-spiske-XrIfY_4cK1w-unsplash.jpg

Une société tech passe en général par plusieurs phases lors de la création de son produit. Avant même d'aller au marché, elle rencontre déjà quelques résistances. 
Une fois que l'on a la vision, choisi les technologies, monté son équipe, que l'on a une idée des workflows (scéniarios d'utilisation) et que l'on connait son avatar client, comment affronter les difficultés pendant notre pré-lancement ? 

9 clés pour survivre à son pré-lancement

## C'est quoi la Webcup Réunion ?

Le concours de la **Webcup** est un hackathon organisé chaque année dans les îles de l'Océan Indien (la Réunion, Maurice, Rodrigues, Mayotte, les Comores et Madagascar) par [l'association Webcup](https://www.webcup.fr/) et a pour but de divertir et faire s'amuser les participants autour d'un projet Web excitant à réaliser dans un temps très court. 

Chaque île concourt d'abord sur son territoire afin de désigner son champion qui affrontera les autres îles ensuite dans une grande **Webcup** inter-îles. 

La **Webcup** et moi, c'est une longue histoire. J'ai été moi-même participant en 2015, j'ai passé un excellent moment. Mon sujet de l'époque, développer le réseau de transport révolutionnaire inter-îles. J'avais codé avec 3 amis (un excellent développeur back, une designeuse et une CM) une plateforme de ticketing en **AngularJS** (premier du nom) avec un backend **PHP**. Nous n'avions pas gagné ce soir là, malgré une seconde place et nous avions surtout beaucoup appris. Je vous en dis plus plus bas...

### Déroulement d'une Webcup

Lorsque vous participez à une **Webcup**, vous arrivez bien assez tôt pour pouvoir vous organiser. Le concours se déroule dans un gymnase équipé pour l'événement. 

Au lancement, vous recevrez les sujets et c'est le top départ pour les équipes qui ont 24 heures pour réaliser ce qui est demandé. 

Petit conseil : il faut vous positionner stratégiquement pour ne pas avoir le soleil dans les yeux le lendemain dès l'aube. 😵 Car non seulement, vous faîtes une nuit blanche de code, mais en plus, vous devez vous préserver physiquement pour être le plus efficace possible, intellectuellement.

![webcup-reunion ><](https://bo.dev-freelance.fr/uploads/taupe_thumb1_c99930bb91.jpg)
Crédit photo : https://www.webcup.fr

Tout au long de la soirée, vous recevrez davantage d'indications sur le concours. Au-delà du thème annoncé à l'ouverture, vous devrez réaliser des étapes bonus pour gratter un maximum de points. 💪

### Ce que la Webcup m'a appris

24 heures, c'est court et ça passe très vite ! Pourtant dit comme ça  24 heures ça parait long... Après tout, on fait des semaines de 35 heures, et 24 heures c'est déjà bien 2/3 d'une semaine de boulot.

Sauf que non. Chaque jour, le rythme de travail dans le boulot est différent car on arrive le matin, rechargé du sommeil de la veille. Lors d'une Webcup, enchaîner 24 heures de programmation, croyez moi, votre cerveau ne réagit plus du tout de la même façon. 

Vous pouvez vous prendre la tête pendant 2 heures pour quelque chose que vous faîte en 15 minutes en temps normal, mais fatigue oblige ! 😴

Donc que faut-il faire ? 

#### Faire des choix 

Il faut faire un maximum de choix radicaux en amont, c'est à dire, **être prêt à abandonner certaines features pour aller directement gagner le maximum de points essentiels**. Après le fait de se positionner stratégiquement, il faut aussi jouer stratégiquement ! 

La Webcup est transparente et les participants savent quels sont les éléments qui rapportent le plus de points. Donc, il faut savoir quand est-ce que c'est raisonnable de tenter la chose, ou pas. C'est pourquoi, il est aussi important de se connaître en tant que développeur. 

Savoir ce que l'on sait faire c'est une chose, mais c'en est une autre de savoir combien de temps cela nous prend pour apprendre une technique. L'apprentissage dans un laps de temps très court, c'est déjà plus difficile. On parle de comprendre, et d'exécuter en moins de 24 heures.

De plus, il faut toujours arbitrer lors des exercices en se demandant : 
- Est-ce que le jeu en vaut la chandelle ?
- Est-ce que je garde ou je retire telle feature à la place ?
- Est-ce que je tente le bonus ou pas ?

#### Planifier au maximum 

Lorsque l'on concourt en équipe, il faut une bonne organisation. Chacun doit être utile et faire avancer les autres, c'est pourquoi il faut répartir les tâches au mieux pour : 

- Ne pas se marcher dessus (faire 2 fois la même chose)
- Ne pas se retrouver dans une position d'attente de l'autre (il faut réussir travailler en parallèle)
- Savoir quoi faire après chaque tâche
- Etre flexible et inverser des rôles à tout moment

Une équipe doit se compléter et chacun doit motiver les autres à ne pas lâcher, car en 24 heures, vous vous demanderez souvent quand est-ce qu'on arrête ?

![webcup-pause-dej ><](https://bo.dev-freelance.fr/uploads/SL_3791011_thumb_9047d7b7f2.jpg)
Crédit photo : https://www.webcup.fr


Le mieux que je puisse vous conseiller, c'est de faire une pause à un moment (une sieste d'une heure ou deux). 🛌

De plus, je vais citer Abraham Lincoln : 

>Que l'on me donne six heures pour couper un arbre, j'en passerai quatre à préparer ma hache.

Prenez le temps d'élaborer une bonne stratégie, d'organiser les tâches, les développements etc en amont avec votre équipe. 

Un effet **waouw** peut rapporter énormément de points. Mais il faut sortir cet atout au bon moment, savoir quand est-ce que vous allez glisser ça dans votre application. Réussir à maîtriser l'effet de surprise.

#### Eviter les erreurs

Avec le temps, j'ai compris que ce qui coûte très cher à beaucoup de participants, c'est souvent les erreurs. 
**Les erreurs peuvent coûter plus cher que le fait de faire l'impasse sur les features, car vous risquez de perdre des points (au lieu de juste ne pas les avoir)**.

Pour éviter cela, il faut énormément de rigueur ! 

Revérifiez tout, l'orthographe, les liens, les boutons, les actions... Double checkez absolument tout (et à plusieurs) !

### Comment ça se passe en tant que Jury ? 

De l'autre côté de la table, le concours est tout autre. Vous arrivez généralement un peu plus tard et votre rôle sera de départager les candidats sur la base de leurs livrables.

Il faut savoir que nous n'avons pas accès au code source, nous irons vérifier nous même en tant que jury dev, que s'est-il passé dans le code pour qu'il y ait tel ou tel bug. Nous essayons d'interpréter et nous tentons même parfois quelques hacks pour vérifier si l'application est un peu "passoire" ou pas. 😈

Par ailleurs, je tiens à dire que même lors que je ne concours pas personnellement, j'ai toujours un peu le trac pour les candidats. Comme tout le monde on a aussi nos "chouchous" et on aimerait les voir faire un podium. 

Je pense même que je suis plus angoissé de devoir évaluer ces derniers, que l'être moi-même. Lors de nos tests, on se dit "Ahhh cette fonctionnalité n'est pas facile, c'est ici que tout va se jouer. J'espère vraiment que ça va passer et du premier coup...". La tension est à son comble !

Nous notons selon une grille et l'équipe webcup a pensé à beaucoup de choses : 

- le responsive
- l'accessibilité
- la lisibilité
- les fautes
- l'effet waouw
- etc...

**Les fonctionnalités comptent mais pas que ! De même, certaines sont plus importantes que d'autres**. 

Une fois noté, les résultats du jury seront additionnés pour désigner le vainqueur. 

### L'objectif du concours 

Au-delà de se challenger en tant que candidat, les objectifs du concours sont diverses. Vous pourrez tester vos compétences sous pression, avec des changements de dernières minutes. Cette compétition n'est pas seulement amusante, il y a de nombreux lots à gagner chaque année. 

L'association **Webcup** le dit : <u>ce concours révèle des talents</u>. 

**Des équipes inconnus arrivent à livrer des choses incroyables et en tant que jury, on est toujours surpris du niveau de ces équipes**. 

Avec le temps, j'ai compris autre chose...

Dans un projet d'application en entreprise, vous avez :

- une équipe avec laquelle il faut réussir à évoluer
- un date de sortie (donc une limite)
- des choix à faire sur les fonctionnalités à conserver pour sortir dans les temps
- des points essentiels sur lesquels vous n'avez pas droit à l'erreur
- une fatigue cumulée de toutes les tâches que vous aurez à gérer
- la pression d'une attente client sur les épaules

**Donc pour résumer, la Webcup, c'est un condensé d'expérience de toute votre vie de développeur que vous vivrez en seulement un jour**.

### L'équipe incroyable derrière de ce projet

Pour un concours génial, il faut une équipe géniale. 

Et c'est le cas avec l'association Webcup et les bénévoles qui agissent chaque année pour le changement numérique. Cette association fait de nombreux événement, ateliers, formations, autour de la tech pour former et transmettre. 

![Fabien-Degieux-Webcup ><](https://bo.dev-freelance.fr/uploads/Fabien_Degieux_5_038a0f2ad4.jpg)
Sur cette photo : Fabien Degieux du staff Webcup.


![alan-chakri-webcup ><](https://bo.dev-freelance.fr/uploads/alan_760caf852d.jpg)
Sur cette photo : Alan Chakri le président de l'association 


Je vous invite à consulter [leur site web](https://www.webcup.fr/) pour réaliser vous-même l'ampleur du travail de cette communauté. Tous ces membres (il y en a trop pour tous les citer), font chaque année le maximum pour faire profiter aux jeunes de leur expérience et faire s'exprimer les talents.

Alors pour tout leur travail, depuis des années, sans broncher face aux difficultés, je leur dis : un grand **MERCI** !

large_markus-spiske-uqeaZXZkquw-unsplash.jpg

medium_markus-spiske-uqeaZXZkquw-unsplash.jpg

small_markus-spiske-uqeaZXZkquw-unsplash.jpg

thumbnail_markus-spiske-uqeaZXZkquw-unsplash.jpg

markus-spiske-uqeaZXZkquw-unsplash.jpg

La Webcub est un concours Web où l'on a 24h pour réaliser un projet. Les participants peuvent concourir seuls ou en équipe et au bout de 24 heures, leurs travaux sont présenter aux membres du jury qui décideront de quels projets ont retenu leur attention. Je vous raconte tout ici...

J'ai été jury lors de la Webcup Réunion 2022

## Pourquoi préparer sa machine pour le code ?

Lorsque l'on a pas d'outil, on perd énormément de temps à faire les choses. Logique !

Imaginez-vous aujourd'hui enfoncer des clous à la main ou encore avec un gros caillou ?  🤔

Non, c'est absolument impossible. C'est pourquoi si vous voulez vous mettre au code, il vous faut préalablement installer des choses sur votre machine !

Dans cet article nous allons installer **Node.js**, mais aussi **Docker** et **Docker-Compose**. 

**Node.js** vous servira à coder, et Docker se chargera du déploiement de containers.

Ici nous ne parlerons pas d'IDE (le programme que vous utiliser pour coder), personnellement j'utilise [VSCode](https://code.visualstudio.com/) ou n'importe quel outil de [Jetbrains](https://www.jetbrains.com/) fera l'affaire. 

### Installation de Node.js

Si vous codez en javascript que ce soit pour du frontend ou du backend, il y a de fortes chances que vous ayez à installer **Node** sur votre machine. Oui, à la base **Node** c'est surtout pour exécuter du code Javascript sur un serveur sans avoir besoin de navigateur, mais détrompez vous, **Node.js** ne sert pas qu'à faire du backend. 

Depuis l'ascension des librairies compilés tels que : **React**, **Vue** ou **Angular**, vous ne pouvez plus vous passer de **Node.js** qui sert à compilé le code source écrit en Javascript interprétable sur votre navigateur.

#### Comment je m'y prends pour installer Node.js ?

J'ai remarqué que d'un projet à l'autre les versions de **Node.js** sont toujours différentes. 
Il est normal lorsqu'un projet est en production de gérer les mises à jour avec prudence, afin de garder toujours compatible les librairies, etc... Cependant, rien ne vous empêche sur vos projets personnels de faire des tests et passer à la version supérieur sans plus attendre.

C'est pourquoi lorsque j'installe **Node.js**, je ne l'installe jamais directement sur ma machine. Je passe par un gestionnaire de version pour, j'ai nommé : **NVM** (comme Node Version Manager).

#### Installer NVM sous Linux ou Mac OSX

Je vous écris ici la procédure préconisée par [les créateurs de NVM](https://github.com/nvm-sh/nvm) : 

```
# Installation via curl
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash
```

ou

```
# Installation via wget
wget -qO- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash
```

Les deux font exactement la même chose.


Une fois installé, n'oubliez pas d'exporter **NVM** afin de pouvoir vous en servir dans votre terminal : 

```
export NVM_DIR="$([ -z "${XDG_CONFIG_HOME-}" ] && printf %s "${HOME}/.nvm" || printf %s "${XDG_CONFIG_HOME}/nvm")"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm
```

#### Installer NVM sous Windows

N'hésitez pas à parcourir la documentation [nvm pour windows](https://github.com/coreybutler/nvm-windows#installation--upgrades).

Il vous faudra [télécharger une release](https://github.com/coreybutler/nvm-windows/releases).

Décompresser l'archive et installer le fichier **nvm-setup.exe**.

Une fois que **NVM** est installé, n'hésitez pas à tester directement dans un **Power Shell** : 

```
nvm ls
```

#### Utilisation de NVM

Vous pouvez désormais installer toutes les versions de **Node** que vous voulez !

```
# Installation de la version 16 de node
nvm install 16

# Installation de la version 14 de node
nvm install 14

# Faire de la v16 la version de node par défaut
nvm alias default 16

# Basculer à la version 14
nvm use 14
```

Pour information, à chaque fois que vous installez une nouvelle version, vos paquets globaux sont à réinstallé car cette version n'existait pas jusqu'à présent. C'est à dire que si vous voulez réinstaller **yarn**, il faudra refaire : 

```
npm i -g yarn
```

### Pourquoi utiliser Docker ?

**Docker** sert à déployer des containers sur votre machine, c'est à dire des blocs dans lesquels on va isoler certains processus, comme des programmes, des serveurs etc... 

De la même façon que vous utilisez des machines virtuelles pour pouvoir isoler des tests, ou déployer une version d'un système différent de celui de votre OS, etc... **Les containers servent à dissocier votre machine physique de ce qui tourne sur cette machine**. 

Et l'idée est d'autant plus ingénieuse que vous n'aurez pas besoin des couches d'interprétation basse comme c'est le cas pour les VM, Docker utilise votre système comme base, mais se propose d'isoler tout ce qui va tourner sur les couches supérieurs de votre système. 

De même, il s'agit de quelque chose de beaucoup plus léger qu'une VM. Lorsque vous démarrez une machine virtuelle, vous ponctionnez de la ressource physique depuis votre machine. Cela signifie que vous allez réquisitionner 2go de Ram, 2 CPU, un peu d'espace disque pour votre machine (que vous l'utilisiez ou non). 

A la différence, les containers tournent sur une couche supérieur à votre système d'exploitation, et ils peuvent prendre de la ressource uniquement en cas de besoin. Cela signifie tout simplement que votre machine pourra lancer sans problème une centaine de container en parallèle, là où elle aura du mal à dépasser les 4 VM en simultané.

On l'utilise généralement pour les serveurs HTTP comme Nginx, ou les serveurs de base de données. Cela vous permet de mettre à niveau votre container et voir si elle est toujours compatible avec le reste et dans le cas contraire vous pourrez revenir en arrière sans avoir de gros soucis. Pour aller plus loin, vous pourrez même lancer 5 serveurs Nginx ou 10 serveurs MySQL, chacun pointant sur des ports réseaux différents, sans créer de conflit avec une autre instance.

**L'idée est de pouvoir cloner, démarrer, arrêter les containers sans contraintes pour tout ce qui tourne sur votre machine.**

![docker-concept ><](https://bo.dev-freelance.fr/uploads/ezgif_5_6a45a382de_696f382182.png)

### Installation de Docker

J'utilise la community edition de Docker : 

[Docker pour Linux](https://docs.docker.com/engine/install/ubuntu/)
[Docker pour Windows](https://docs.docker.com/desktop/install/windows-install/)
[Docker pour Mac OSX](https://docs.docker.com/desktop/install/mac-install/)

Puis j'installe Docker-Compose.

#### A quoi sert Docker-Compose

**Docker-Compose** est un outil qui permet de gérer votre organisation de containers Docker via des fichiers. Cela signifie que vous allez pouvoir sauvegarder toute votre config dans un fichier que vous pourrez ensuite versionner. Car sans lui, **Docker** se configure en tapant des commande avec des options directement dans un terminal, donc ce n'est pas l'idéal pour visualiser si tout est OK.

Autrement dit, **Docker-Compose** est à **Docker** ce que la visseuse-dévisseuse est au tournevis. 

#### Comment installer Docker-Compose ?

Sur **Mac OSX** et sur **Windows**, **Docker-Compose** est livré avec le package de **Docker**. (Incroyable ! 😱)
Sous **Linux**, vous devez le faire vous même :

```
# Pour Ubuntu 20
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose
```

Vous pouvez maintenant vérifier que tout est ok avec cette commande : 

```
docker-compose --version
```

### Conclusion

Avec ces outils maintenant installé sur votre machine, vous êtes fin prêt pour des centaines de milliers de lignes de code. A vous la créativité sans limite ! 😝




towfiqu-barbhuiya-B3ssnD2ki64-unsplash.jpg

large_towfiqu-barbhuiya-B3ssnD2ki64-unsplash.jpg

medium_towfiqu-barbhuiya-B3ssnD2ki64-unsplash.jpg

small_towfiqu-barbhuiya-B3ssnD2ki64-unsplash.jpg

thumbnail_towfiqu-barbhuiya-B3ssnD2ki64-unsplash.jpg

Il y a un certain nombre de programmes qu'il faut avoir installer sur votre machine pour commencer à coder. Il existe encore beaucoup d'ordinateurs sur lesquelles il n'y a absolument rien pour commencer dans de bonnes conditions. Qu'à cela ne tienne, nous allons y remédier.

Le minimum syndical pour coder sur sa machine

## Pourquoi Trello ? 🤔

[Trello](https://trello.com/) est une application fascinante qui a donné une vraie direction à l'organisation de projets via des outils web très simples. Je dirais même que toute sa technicité se trouve dans sa simplicité. C'est un outil que j'aime beaucoup, en tant qu'utilisateur ou aussi pour sa partie code.

Il y a plusieurs défis à relever sur **Trello**, la partie temps réel, ainsi que des éléments de design comme le drag-and-drop etc... que je trouve génial. 

Un excellent moyen de s'exercer !

### Les outils que je choisis pour faire ce projet ⚒️

Une fois n'est pas coutume je vais me servir de **Meteor.js** pour pouvoir gérer à ma place le temps réel via le système de **Tracker**. 

Toujours en full **Typescript**, bien entendu !

Pour la partie graphique j'utilise **React** ainsi les librairies suivantes : 
- **twind** : j'en ai parlé dans [un précédent article](https://dev-freelance.fr/dev/tailwindcss-et-classnames-en-un-seul-package)
- **react-hook-form** : pour accélérer la création des formulaires
- **moment** : pour manipuler et formater les dates
- **sweetalert2** : pour les modals de confirmation
- **react-icons** : pour les icônes

Pour le stockage j'utilise **MongoDB**.

### Quelles sont mes observations après avoir développé ce prototype 🧐

Le but n'est pas de refaire Trello en entier, j'ai mis de côté la partie de gestion de compte utilisateurs.

Ce n'est pas le prototype le plus compliqué du monde si on se contente d'implémenter les fonctionnalités suivantes : 

- Création de boards
- Création de listes attachées à un board
- Création de tâche attachées à une liste
- Mise à jour du board (cascading update...)
- Suppression d'un board
- Suppression d'une tâche
- Suppression d'une liste

#### Les difficultés rencontrées 😅

Les mécaniques les plus techniques à gérer sont la partie Drag and Drop, j'ai compté 3 types de cas : 
- On déplace une tâche d'une liste à l'autre
- On déplace une tâche dans la même liste
- On déplace la liste entière

#### Ce que j'ai appris 🤓

La gestion du drag and drop en React est assez subtile, notamment le fait de gérer où est-ce que l'on va effectuer le drop, gérer les événements et savoir quand et pourquoi il faut arrêter les propagations. Je le redis, tout cela est subtil et vous demandera quelques essais avant que cela soit fructueux !

### On regarde le résultat ? 😁

Au bout de 4 heures environ, j'ai pu avoir des essais fonctionnels de bout en bout, et le tout avec le temps réel !


<iframe width="100%" height="400" src="https://www.youtube.com/embed/haNvdSWpZAI" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen onload="this.style.height=(this.contentWindow.document.body.scrollHeight+20)+'px';this.stype.width='100%';"></iframe>

Je reviendrai sur cet exercice avec un format différent pour vous montrer en détails comment j'ai pu arriver à ce résultat.

A très vite 😃




large_jo-szczepanska-5aiRb5f464A-unsplash.jpg

medium_jo-szczepanska-5aiRb5f464A-unsplash.jpg

small_jo-szczepanska-5aiRb5f464A-unsplash.jpg

thumbnail_jo-szczepanska-5aiRb5f464A-unsplash.jpg

jo-szczepanska-5aiRb5f464A-unsplash.jpg

Ce que je fais pour pratiquer le développement, c'est de créer ou recréer des applications existantes. N'exagérons rien, je ne propose pas autant de features que ces dernières, mais le but est de réaliser les fonctionnalités qui me plaisent chez ces applications un temps assez court (quelques heures ou quelques jours).

Découvrez tous nos articles de la catégorie Dev - page 4 sur 7