Exploitations de données structurées avec des tableurs

Les données personnelles (Nom, téléphone…), les coordonnées GPS des véhicules, les mesures prises par les instruments scientifiques, etc… ne sont pas consignées dans des fichiers word ou pdf mais des fichiers spéciaux qui permettent d’organiser les données en tableaux pour mieux les classer, les trier, les exploiter.

A voir dans ce cours

Autres cours à consulter

Comment les données sont-elles structurées ?

Les données sont organisées dans un tableau ou table. La structure de table permet de présenter une collection :

les descripteurs sur la 1ier ligne décrivant les données dans les colonnes,
un objet par ligne,
les données aux intersections.

Les données sont alors dites structurées.

Un objet

Dans le tableau précédent, l’objet est une personne qui est décrit par plusieurs descripteurs. Cela peut être un évènement ou autre chose.

Une donnée

C’est une valeur décrivant un objet digne d’intérêt pour celui qui choisit de la conserver.

Exemple : 06 75 34 : le numéro de téléphone d’une personne est une donnée.

Un descripteur

Plusieurs descripteurs peuvent être utiles pour décrire un objet.

Exemple : Pour décrire une personne, on utilise les descripteurs : nom, prénom, adresse et numéro de téléphone.

Pour assurer la sauvegarde et l’exploitation des données, ces dernières sont très souvent stockées dans des fichiers spécifiques à l’organisation des données : les extensions de ces fichiers sont *.csv ou *.xml ou *.json.

Comment les données structurées sont-elles codées ?

Pour commencer, prenons le format CSV (Comma Separated Values = données séparées avec des virgules) qui est très courant sur internet. Voici ce que nous dit Wikipédia sur ce format de fichier :

Un fichier CSV est un fichier texte. Chaque ligne du texte correspond à une ligne du tableau et les virgules correspondent aux séparations entre les colonnes. Les portions de texte séparées par une virgule correspondent ainsi aux contenus des cellules du tableau.

Voici un exemple du contenu d’un fichier CSV :

nom,prenom,date_naissance
Durand,Jean-Pierre,23/05/1985
Dupont,Christophe,15/12/1967
Terta,Henry,12/06/1978

Exercice 1 :

Réponses à rédiger sur un éditeur de traitement de texte ou sur feuille :

Dans l’exemple ci-dessus, identifier les 3 descripteurs.
Donner 2 exemples de données.
Indiquez un objet.

Télécharger le fichier (clique droit puis « Enregistrer sous… » ou « Télécharger ») ident_pointVirgule.csv
Ouvrir ce dernier à l’aide d’un :

Logiciel tableur (Excel ou Calc). Décrire ce que vous observez.
Logiciel éditeur de texte (Notepad++, sublimetext, word). Décrire ce que vous observez.

Comment pouvons-nous classer et trier les données ?

L’évolution des capacités de stockage (Cloud, disques dures…), de traitement et de diffusion des données fait que l’on assiste aujourd’hui à un phénomène de surabondance des données.

Même si les logiciels permettent de présenter les données de façon plus digeste pour les exploiter efficacement, les logiciels (Excel, Calc …) ou algorithmes (Python…) se développent pour effectuer des opérations tel que :

rechercher une information précise dans la collection (Appuyer : Ctrl + F)
trier la collection sur une ou plusieurs propriétés : www.microsoft.com/trier-les-données
filtrer la collection selon un ou plusieurs tests sur les valeurs des descripteurs : www.microsoft.com/filtrer-les-données
effectuer des calculs. : www.support.microsoft.com/fr-fr/office/créer-une-formule-simple
mettre en forme les informations produites pour une visualisation par les utilisateurs.

Exercice 2 :

Réponses à rédiger sur un éditeur de traitement de texte ou sur feuille :

Téléchargez et ouvrez le fichier ville_point_virgule.csv à l’aide d’un logiciel tableur.

Comme vous pouvez le constater, nous avons 12 colonnes. En première ligne se trouve les nombreux descripteurs (dep, nom, cp…) et les données de milliers d’objets.

Sans utiliser la molette de votre souris ou la barre de défilement latéral (interdit ; « ce ne serait pas du jeu »), vous devez :

Déterminer l’altitude maximale de votre commune en filtrant la bonne colonne. (Tutoriel « Filtre » : microsoft.com/filtrer-les-données)
N’afficher que les communes du Rhône en filtrant. Combien y en a-t-il ?
Trouver la ville la plus peuplée en triant la bonne colonne (Tutoriel « Trier » : microsoft.com/trier-les-données).
Trouver la ville la plus à l’Est de France en triant la bonne colonne (Aide « longitude / latitude) : https://www.geogebra.org/m/cuteaa3j)

Opérations dans un tableur

Tous les tableurs peuvent être utilisés pour cette partie : Excel, Calc, LatisPro, etc…

Le vocabulaire

Une case est appelée cellule. Chaque cellule est repérée par une coordonnée : B1 pour la cellule en orange.
Lorsque l’on souhaite réaliser un calcul comme sur une calculatrice ou utiliser une fonction (moyenne, somme…) dans une cellule, on commence avec le signe = comme indiquer dans la cellule A5.

Apprenons à effectuer des sommes et moyennes

Pour comprendre comment on effectue des sommes et des moyennes rapidement avec les tableurs, téléchargez et ouvrez le fichier *.csv suivant ( SNT_Excel_Somme_moyenne_eleve.csv) puis suivez les instructions indiquées sur la vidéo ci-dessous :

Exercice 3 : Moyenne de classe sans coefficient

Télécharger et ouvir le fichier *.csv : résultats_scolaires_sans_coefficient.csv

Travail :

En utilisant la fonction MOYENNE, calculer la moyenne de la classe en maths.
En utilisant la fonction MOYENNE, calculer la moyenne des notes d’Arthur uniquement.

Les calculs de moyenne sont rapides avec cette méthode mais si nous devons répéter cela à des dizaines voire centaines de colonne, le travail deviendrait vite fastidieux. La solution :

La « poignée de recopie » disponible en bas à droite de toute cellule…

… recopier la fonction MOYENNE de classe calculée en maths à l’ensemble des matières : cliquer-glisser en tirant sur la poignée de recopie :

Exemple de recopie de SOMME à l’aide de la poignée de recopie

… recopier la fonction MOYENNE d’Arthur à l’ensemble des élèves à l’aide d’un cliquer-glisser en tirant la poignée de recopie.
Trier le tableau pour classer du meilleur élève au moins bon élève. Quel est le meilleur élève ?
Filtrer le tableau pour ne faire apparaitre que les élèves qui ont sous la moyenne. Qui sont-ils ?

Exercice 4 : Moyenne de classe avec coefficients

Dans cette partie, il n’existe pas de fonction qui calcule une moyenne prenant en compte les coefficients.

Nous allons devoir écrire la formule pour la calculer ensuite la poignée de recopie se chargera de l’appliquer à tous les élèves.

Télécharger et ouvrir le fichier *.csv : résultats_avec_coefficient.csv

Travail :

Sur feuille, toruver la formule permettant de calculer la moyenne d’Arthur avec les coefficients.

Attention : la formule doit contenir les coordonnées de cellule et non les nombres.

Dans le tableur, rentrer la formule pour calculer la moyenne d’Arthur avec coefficient.
Recopier, avec la poignée de recopie, votre formule à l’ensemble des élèves.
Trier le tableau pour classer du meilleur élève au moins bon élève. Le classement a-t-il changé ?
Filtrer le tableau pour ne faire apparaitre que les élèves qui ont sous la moyenne. Y-a-t’il toujours le même nombre d’élèves ?

L'open data

Exercice 5 :

Travail :

Aller sur le site data.gouv.fr.

Tous les sites web dispose d’une page dans laquelle les webmasters du site se présentent et développent leurs objectifs. Cette page se trouve très souvent en pied de page. Pour data.gouv.fr, il faut cliquer sur le lien hypertext « Données de référence » situé dans le pied de page.

Pour qui s’adresse ce site ? Quel est son but ?
Qui alimente en données ce site ?

Dans le site web, trouver et télécharger :

1 fichier *.xml pas trop lourd (moins de 2Mo)
1 fichier *.csv pas trop lourd (moins de 2Mo)
1 fichier *.json pas trop lourd (moins de 2Mo)

Ouvrir chacun des fichiers avec le programme « textedit » ou « notepad ».

Constater les différences de rédaction du programme.

Travail :

Dans la cellule B5 taper : 2+3 puis la touche « entrée ».
Dans la cellule B6 taper : =2+3 puis la touche « entrée ».
Dans la cellule B7 taper : =A3+B3 puis la touche « entrée ».
Dans la cellule F3, on va calculer rapidement la somme de tous les nombres. Taper : =SOMME(A3:E3) puis « entrée »

Conseil pratique : au lieu de taper les cordonnées des cellules, on peut sélectionner avec la souris les cellules voulues. Essayez cela dans une case différente.

Dans la cellule F4, on va calculer rapidement la moyenne de tous les nombres. Taper : =MOYENNE(A3:E3) puis « entrée »

Le format JSON

Autre format de données, le JSON (JavaScript Object Notation) fonctionne avec un système de paire clé/valeur.

Un objet est encadré par des accolades. Les clés représentent les descripteurs et les valeurs sont les données.

{cle_1 : val_1, cle_2 : val_2, cle_3 : val_3}

Afin que la lecture des données sous cette forme soit plus simple, on écrira :

{
cle_1 : val_1,
cle_2 : val_2,
cle_3 : val_3
}

Un fichier au format JSON peut regrouper un grand nombre d’objets :

{
"nom" : "Durand",
"prenom" : "Jean-Pierre",
"date_naissance" : "23/05/1985"
},
{
"nom" : "Dupont",
"prenom" : "Christophe",
"date_naissance" : "15/12/1967"
},
{
"nom" : "Terta",
"prenom" : "Henry",
"date_naissance" : "12/06/1978"
}

Exercice 3 :

Réponses à rédiger sur un éditeur de traitement de texte ou sur feuille :

Dans l’exemple ci-dessus, identifier 2 descripteurs.
Donner 2 exemples de données.
Indiquez un objet.

Téléchargez le fichier ident.json
Ouvrir ce dernier à l’aide d’un :

Logiciel tableur (Excel ou Calc). Décrire ce que vous observez.
Logiciel éditeur de texte (Notepad++, sublimetext, word). Décrire ce que vous observez.

Générer des données JSON

De nombreux sites web proposent des services basés sur des API (Application Programming Interface). Ces sites sont capables de fournir des données aux formats JSON sur « simple demande ». Souvent, ces « demandes » sont effectuées par l’intermédiaire d’une url (=adresse web).

Nous allons illustrer ce propos en utilisant l’API d’un site qui fournit des informations météo au format JSON. Vous trouverez ce site à l’adresse suivante : openweathermap.org/api

Pour profiter de ce service, il est nécessaire d’obtenir une clé (API key) que votre enseignant vous fournira.

Exercice 3 :

Travail :

Ouvrez le navigateur mozilla firefox et copiez-collez l’url suivante dans la barre d’adresse du navigateur : http://api.openweathermap.org/data/2.5/weather?q=lyon,fr&lang=fr&units=metric&APPID=XXXXXXXXXXXXX

ATTENTION : il faut remplacer les « X » par la clé (API key) qui vous aura été fournie. Au lieu d’obtenir une page web, vous devriez obtenir une page dont le contenu ressemble au codage du format JSON.

Enregistrer les données au format JSON (mettre l’extension « .json » à la fin du nom de votre fichier)
Ouvrir votre fichier avec un logiciel tableur. Tutoriel : www.micka39.info/comment-fichier-json

A voir dans ce cours

Autres cours à consulter

Comment les données sont-elles structurées ?

Un objet

Une donnée

Un descripteur

Comment les données structurées sont-elles codées ?

Exercice 1 :

Comment pouvons-nous classer et trier les données ?

Exercice 2 :

Opérations dans un tableur

Le vocabulaire

Apprenons à effectuer des sommes et moyennes

Exercice 3 : Moyenne de classe sans coefficient

Exercice 4 : Moyenne de classe avec coefficients

L'open data

Exercice 5 :

Le format JSON

Exercice 3 :

Générer des données JSON

Exercice 3 :

Laisser un commentaire Annuler la réponse