Witify Logo Witify Logo

Des milliers d’artistes. Mesurés chaque semaine.

MID, la base de données d’une équipe de recherche de HEC Montréal sur l’industrie musicale, conçue et exploitée par Witify. Chaque semaine, les mesures de milliers d’artistes y entrent, datées.

Client
Secteur
Recherche universitaire
Technologies
Laravel, MySQL, Amazon S3

01 Les chiffres

Six chiffres, et d’où ils viennent

Les ordres de grandeur d’abord. Les volumes sont ceux de la base de production ; les autres nombres sont comptés dans le code de l’import et dans son journal.

  • Plus de 1,9milliard

    de mesures datées Chaque ligne porte la date de la livraison qui l’a apportée.

  • 3

    tables de plus d’un demi-milliard de lignes Les statistiques et les indicateurs des pistes, les indicateurs des albums.

  • Plus de 275Go

    de données Index compris.

  • Plus de 6 500

    artistes suivis Avec leurs 1,4 million d’albums et leurs 3,8 millions de pistes.

  • 21

    fichiers par livraison Importés en 18 étapes, toujours dans le même ordre.

  • 170

    livraisons enregistrées Une par semaine depuis août 2023.

Volumes lus dans la base de production le 13 novembre 2026 et arrondis. Les deux derniers nombres viennent du code de l’import et de son journal.

02 Avant

Une liste d’artistes, et rien pour garder leur histoire

Au départ, l’équipe tient dans un classeur une liste d’artistes choisis un à un. Pour étudier leurs trajectoires, il lui faut chaque mesure de chaque semaine, gardée avec sa date.
Fig. 01 La liste de départ : des artistes choisis un à un

03 Le flux

De 21 fichiers à la base, sans qu’une semaine se perde

Chaque semaine, le fournisseur dépose ses fichiers. Du dépôt à la base, personne n’y touche tant que tout va bien, et tout s’arrête dès qu’une ligne ne se lit pas.

01 Le trajet

Cinq arrêts entre le fournisseur et le chercheur

Dépôt daté, réception, import, base, extraits : chaque livraison suit les mêmes cinq arrêts, dans cet ordre. Toutes les cinq minutes, le système regarde si une nouvelle livraison est arrivée.
Fig. 02 Le trajet d’une livraison

02 Recevoir

21 fichiers attendus. Pas 20.

Rien ne commence avant que les 21 fichiers soient au dépôt. S’il en manque un, le système repasse toutes les cinq minutes ; passé le deuxième jour, la semaine est notée ignorée et la suivante peut passer.
Fig. 03 La livraison du 11 novembre, en cours de réception

03 Importer

18 étapes, toujours dans le même ordre

Les artistes d’abord, puis les albums et les pistes, pour que chaque mesure trouve à qui elle appartient ; les séries viennent ensuite. Une livraison à la fois, la plus ancienne d’abord.
Fig. 04 L’import en cours, étape 17 sur 18

04 Reprendre

Une ligne illisible arrête tout. Exprès.

L’étape note la ligne, le fichier et le message, et Witify reçoit un courriel. Plus rien n’est chargé tant que la cause n’est pas réglée ; l’import reprend alors à cette ligne, pas au début.
Fig. 05 L’étape en erreur, avec la ligne où reprendre

05 Clore

Chaque semaine laisse une trace

Statut, heure de début, durée : le journal garde chaque livraison, y compris celle qu’il a fallu ignorer. Les fichiers d’origine restent dans l’espace de dépôt.
Fig. 06 Les dernières livraisons

04 Le modèle

L’artiste au centre. Une date sur chaque mesure.

Un album ou une piste n’entre dans la base que par l’un de ses artistes. Chaque semaine, tout le catalogue revient, et quinze séries reçoivent de nouvelles lignes datées.
Fig. 07 Trois tables de référence, quinze séries datées

05 Les extraits

Une question de recherche devient un fichier

Les chercheurs décrivent un périmètre : des artistes, une période, des séries. Witify en tire un extrait en fichiers CSV, par une connexion réservée à la lecture.

Format

Une ligne par piste et par date

Les lignes étroites de la base sont regroupées : une colonne par mesure.

Périmètre

Resserrer avant d’exporter

Une demande trop large se compte en semaines d’export. On la resserre avec les chercheurs, puis la grande table est lue par tranches.

06 Nos choix

Trois choix pour que la série tienne, semaine après semaine

Trois décisions ont compté plus que les autres. Pour chacune : le risque à éviter, ce que nous avons choisi, et ce que l’équipe de recherche y gagne.

  1. Des fichiers, pas des millions d’appels.

    Le risque
    Interroger le fournisseur artiste par artiste, piste par piste : des millions d’appels chaque semaine.
    Notre choix
    Une livraison complète par semaine, déposée d’un bloc par le fournisseur dans un espace de dépôt, et conservée telle quelle.
    Le gain
    Une photo cohérente de tout le catalogue chaque semaine, dont les fichiers d’origine sont conservés.

  2. S’arrêter plutôt que laisser un trou.

    Le risque
    Une semaine chargée à moitié, ou chargée avant la précédente : une série faussée que personne ne remarque avant une analyse.
    Notre choix
    Une livraison à la fois, dans l’ordre des dates. À la moindre erreur, l’import s’arrête, nous prévient et attend ; il reprend ensuite à la ligne où il s’était arrêté.
    Le gain
    Chaque semaine est entière, ou clairement marquée comme ignorée dans le journal : jamais entre les deux.

  3. Des tables étroites pour durer.

    Le risque
    Des tables qui gonflent de plusieurs millions de lignes par semaine jusqu’à ralentir l’import, puis les requêtes des chercheurs.
    Notre choix
    Là où le volume est énorme, quelques colonnes typées et rien de plus ; le détail brut du fournisseur n’est gardé que là où il est rare. Une des deux variantes des statistiques des pistes a été abandonnée pour alléger la plus grande table.
    Le gain
    Depuis août 2023, la base grossit chaque semaine sans changer de forme.

07 Sous le capot

De quoi la base est faite

Une application qui travaille presque sans écran : des commandes planifiées, une base de données et un espace de dépôt. Voici ses composants, et ce qui a été mis en service depuis août 2023.
Application
Laravel, PHP, commandes planifiées ; l’import tourne sans écran
Données
MySQL, réglé pour l’écriture ; une connexion réservée à la lecture pour les extraits
Dépôt
Amazon S3, fichiers CSV compressés, un dossier daté par livraison
Import
Orchestrateur sur mesure, 18 étapes, lecture en continu, écriture par lots, reprise à la ligne
Surveillance
Sentry, contrôles de santé, disque, base de données et planificateur ; courriel à chaque échec
Sauvegardes
Instantanés mensuels

Les grandes étapes

  1. Août 2023 Import hebdomadaire La première livraison chargée, la base validée avec l’équipe.
  2. Septembre 2023 Dictionnaire de données Chaque table et chaque champ décrits pour les chercheurs.
  3. Janvier 2024 Premiers extraits Des fichiers préparés à la demande des chercheurs.
  4. Septembre 2024 Sauvegardes et contrôles Instantanés mensuels, surveillance du disque, de la base et du planificateur.
  5. Mars 2025 Import renforcé Artistes, albums et pistes portent une clé unique : les recharger ne crée plus de doublon. Une livraison incomplète ne bloque plus la suivante.
  6. Avril 2026 Extrait de grande taille Une lecture par tranches des plus grandes tables.

Vos données arrivent plus vite que vous ne les rangez ?

Trente minutes pour suivre le trajet d’un de vos fichiers, de sa source à votre base.

Ou écrivez-nous
Étude suivante Institut de l’énergie Trottier Lire l’étude de cas

Les noms et les chiffres affichés dans les interfaces sont donnés à titre d’exemple.