Aller au contenu

TIL - today I learnt...

Hayek's plosive

Par Hayek's plosive,
dans La Taverne

Messages recommandés

Lameador

Lameador

Posté
Posté
On 11/18/2020 at 11:49 AM, Prouic said:

Je pensais à ca car je sors d'un meeting avec des tables qui ont des colonnes 'Date' dans le titre ^_^, et des types qui s'écharpent deux heures pour savoir si c'est pertinent d'utiliser cette colonne par rapport à un truc précis....

 

C'est fou le nombre de fois par semaine ou j'explique ça, deux heures plus tôt je disais au patron de la perfo du datalake que son objet qui lui pose le plus de problème de refresh n'a absolument aucun lien avec le processus qui lui est associé, et qu'il mélange les structures de données qui lui gravitent autour avec l'objet lui même, qui n'est de toute façon pas celui qui est définit dans la méthode lui référant.

 

C'est à tous les étages, quelle indignité.

 

On 11/18/2020 at 12:12 PM, Rincevent said:

Putain, m'en parle pas.

 

On a un flux qui rafraîchit des données (par delta) toutes les 5 minutes. Il prend 2 à 3 minutes (premier facepalm). C'est du SSIS (pourquoi pas), avec deux manières de faire complètement différentes sans qu'il y ait de raisons (deuxième facepalm).

 

Dans le premier cas, on appelle une SP qui renvoie un dataset (troisième facepalm, on ne fait pas ça avec SSIS bordel), en utilisant des variables table remplies par des Insert-Exec complètement opaques et renvoyant des datasets complètement redondants, que l'optimiseur ne peut jointer que par des boucles imbriquées, parfois sur des types de données possiblement incompatibles (quatrième facepalm). 

 

Dans le second cas, on appelle une SP (évidemment nommée comme une vue, turlututu) qui va remplir une table de staging, dont les données seront mergées vers une table d'export où on prendra les données (c'est... moins pire, un peu). Sauf que le merge est généré dynamiquement, tantôt sur une colonne contenant un checksum de la ligne, tantôt sur les colonnes de la PK placées dans un Coalesce des familles (cinquième facepalm, qui pourrait compter double). Oh, et évidemment les tables de staging sont alimentées en delete-insert, et comme ce sont des heaps jamais entretenues, elles stockent quelques milliers de lignes sur plusieurs gigaoctets (sixième facepalm).

 

Et tout, tout, tout est à l'avenant ici. La prochaine fois je vous raconte comment toutes les tables d'un de nos ODS ne contiennent que deux types de colonnes, des NChar (de longueur fixe, donc) pour les attributs et des Float pour les jointures.

 

Les joies de la base de données, c'est que c'est souvent géré par les types qui comprennent le moins bien le sujet, et que les impacts de la dette technologique ne sont pas visible.

L'alternative, c'est le DBA facho qui bloque tout (mais énerve les devs, les gens qui comprennent des trucs, et au final voit ses serveurs décommissionnés).

Autre solution, le consultant Oracle qui vient facturer 2000€ jours et dont les préconisations sont écoutées par le management.

Lien vers le commentaire
Rincevent

Rincevent

Posté
Posté
il y a 1 minute, Lameador a dit :

Les joies de la base de données, c'est que c'est souvent géré par les types qui comprennent le moins bien le sujet, et que les impacts de la dette technologique ne sont pas visible.

La force des 4GL (et le SQL est le seul 4GL a avoir connu un succès aussi immense), c'est que tu peux faire des trucs exceptionnels avec peu de code si tu prends le temps de réfléchir correctement en amont. La faiblesse des 4GL, c'est que rares sont les gens qui comprennent qu'on doit raisonner différemment d'avec les 3GL, et que prendre le temps de réfléchir en amont est source d'exactitude des résultats (et bien souvent, de performance, parce qu'en SQL l'un va souvent de pair avec l'autre).

Lien vers le commentaire
Prouic

Prouic

Posté
Posté

Vu que je suis eternel débutant en SQL (ce n'etait pas mon metier il y a encore 2 ans, et ca ne l'est que 20% de mon temps depuis) tu pourrais m'orienter vers des formations intermédiaires, ou on apprend a construire/manipuler correctement des data set de taille raisonnable ? Il s'agirait principalement de pouvoir structurer correctement mon code. Techniquement j'en suis toujours a select et left join, dès que je vois des procédures et des loops je suis paumé (faut dire que le SQL c'est moche)

 

 

il y a une heure, Rincevent a dit :

On a un flux qui rafraîchit des données (par delta)

Déjà vous vous l'autorisez ca serait une grande avancée chez nous ....

Lien vers le commentaire
Rincevent

Rincevent

Posté
Posté
il y a 10 minutes, Prouic a dit :

Vu que je suis eternel débutant en SQL (ce n'etait pas mon metier il y a encore 2 ans, et ca ne l'est que 20% de mon temps depuis) tu pourrais m'orienter vers des formations intermédiaires, ou on apprend a construire/manipuler correctement des data set de taille raisonnable ? Il s'agirait principalement de pouvoir structurer correctement mon code. Techniquement j'en suis toujours a select et left join, dès que je vois des procédures et des loops je suis paumé (faut dire que le SQL c'est moche)

Hmmm je vais avoir besoin d'en savoir davantage. Concrètement, ce serait pour quel moteur (Oracle, SQL Server, PostgreSQL, DB, autre chose, ou un truc général et cross-moteur) ? Et pour creuser un peu, est-ce que tu as de bons souvenirs en théorie des ensembles ? Question subsidiaire : est-ce que tu vois pourquoi je te pose cette dernière question ? ;)

Lien vers le commentaire
Rincevent

Rincevent

Posté
Posté

Oui, ils font patie de la nébuleuse de micro-cultes pré-chrétiens au même titre que les Nazoréens ou les Elkasaïtes, sauf que eux ont survécu jusqu'à nos jours. J'ignorais qu'on les trouvait en Irak, toutefois. 

 

Du coup ça me donne vachement envie d'écouter l'émission. :)

  • Yea 1
Lien vers le commentaire
fryer

fryer

Posté
Posté
il y a 3 minutes, Rincevent a dit :

Oui, ils font patie de la nébuleuse de micro-cultes pré-chrétiens au même titre que les Nazoréens ou les Elkasaïtes, sauf que eux ont survécu jusqu'à nos jours. J'ignorais qu'on les trouvait en Irak, toutefois. 

 

Du coup ça me donne vachement envie d'écouter l'émission. :)

 

:) Bassorah initialement mais diaspora depuis 2003. L'emission est courte et donne envie d'acheter son bouquin (la nana doit avoir 26 ans)

Lien vers le commentaire
Rincevent

Rincevent

Posté
Posté
Le 21/11/2020 à 11:18, fryer a dit :

Les mandéens.

 

https://www.franceculture.fr/oeuvre/les-sabeens-mandeens-premiers-baptistes-derniers-gnostiques

 

https://podcloud.fr/podcast/chretiens-dorient/episode/les-saabeens-mandeens-du-sud-de-lirak-avec-claire-lefort

 

@Rincevent tu connaissais ?

Et donc apparemment on n'en parle pas que sur FrCul :

 

 

  • Yea 2
Lien vers le commentaire
poney

poney

Posté
Posté
il y a une heure, Bézoukhov a dit :

Mince alors.

 

 

@poney

 

 

Kouah ? 

En tant que kuulkapper je m'indigne. 

 

Encore un coup des hollandais. C'te basse vengeance pour les avoir foutu dehors a coup de pied aux miches en 1830.

Lien vers le commentaire
Rincevent

Rincevent

Posté
Posté
Il y a 11 heures, Adrian a dit :

TIL les réfugiés Hmong d'Asie du sud-est dans 2 villages en Guyane française.

 

https://en.wikipedia.org/wiki/Javouhey

https://en.wikipedia.org/wiki/Cacao,_French_Guiana

J'en ai connu deux (la major ou co-major de ma promo, et son copain).

Lien vers le commentaire

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant
Aller sur la liste des sujets
×
×
  • Créer...