Aller au contenu

TIL - today I learnt...

Hayek's plosive

Par Hayek's plosive
dans La Taverne

Messages recommandés

Lameador

Lameador

Posté
Posté
On 11/18/2020 at 11:49 AM, Prouic said:

Je pensais à ca car je sors d'un meeting avec des tables qui ont des colonnes 'Date' dans le titre ^_^, et des types qui s'écharpent deux heures pour savoir si c'est pertinent d'utiliser cette colonne par rapport à un truc précis....

 

C'est fou le nombre de fois par semaine ou j'explique ça, deux heures plus tôt je disais au patron de la perfo du datalake que son objet qui lui pose le plus de problème de refresh n'a absolument aucun lien avec le processus qui lui est associé, et qu'il mélange les structures de données qui lui gravitent autour avec l'objet lui même, qui n'est de toute façon pas celui qui est définit dans la méthode lui référant.

 

C'est à tous les étages, quelle indignité.

 

On 11/18/2020 at 12:12 PM, Rincevent said:

Putain, m'en parle pas.

 

On a un flux qui rafraîchit des données (par delta) toutes les 5 minutes. Il prend 2 à 3 minutes (premier facepalm). C'est du SSIS (pourquoi pas), avec deux manières de faire complètement différentes sans qu'il y ait de raisons (deuxième facepalm).

 

Dans le premier cas, on appelle une SP qui renvoie un dataset (troisième facepalm, on ne fait pas ça avec SSIS bordel), en utilisant des variables table remplies par des Insert-Exec complètement opaques et renvoyant des datasets complètement redondants, que l'optimiseur ne peut jointer que par des boucles imbriquées, parfois sur des types de données possiblement incompatibles (quatrième facepalm). 

 

Dans le second cas, on appelle une SP (évidemment nommée comme une vue, turlututu) qui va remplir une table de staging, dont les données seront mergées vers une table d'export où on prendra les données (c'est... moins pire, un peu). Sauf que le merge est généré dynamiquement, tantôt sur une colonne contenant un checksum de la ligne, tantôt sur les colonnes de la PK placées dans un Coalesce des familles (cinquième facepalm, qui pourrait compter double). Oh, et évidemment les tables de staging sont alimentées en delete-insert, et comme ce sont des heaps jamais entretenues, elles stockent quelques milliers de lignes sur plusieurs gigaoctets (sixième facepalm).

 

Et tout, tout, tout est à l'avenant ici. La prochaine fois je vous raconte comment toutes les tables d'un de nos ODS ne contiennent que deux types de colonnes, des NChar (de longueur fixe, donc) pour les attributs et des Float pour les jointures.

 

Les joies de la base de données, c'est que c'est souvent géré par les types qui comprennent le moins bien le sujet, et que les impacts de la dette technologique ne sont pas visible.

L'alternative, c'est le DBA facho qui bloque tout (mais énerve les devs, les gens qui comprennent des trucs, et au final voit ses serveurs décommissionnés).

Autre solution, le consultant Oracle qui vient facturer 2000€ jours et dont les préconisations sont écoutées par le management.

Rincevent

Rincevent

Posté
Posté
il y a 1 minute, Lameador a dit :

Les joies de la base de données, c'est que c'est souvent géré par les types qui comprennent le moins bien le sujet, et que les impacts de la dette technologique ne sont pas visible.

La force des 4GL (et le SQL est le seul 4GL a avoir connu un succès aussi immense), c'est que tu peux faire des trucs exceptionnels avec peu de code si tu prends le temps de réfléchir correctement en amont. La faiblesse des 4GL, c'est que rares sont les gens qui comprennent qu'on doit raisonner différemment d'avec les 3GL, et que prendre le temps de réfléchir en amont est source d'exactitude des résultats (et bien souvent, de performance, parce qu'en SQL l'un va souvent de pair avec l'autre).

Prouic

Prouic

Posté
Posté

Vu que je suis eternel débutant en SQL (ce n'etait pas mon metier il y a encore 2 ans, et ca ne l'est que 20% de mon temps depuis) tu pourrais m'orienter vers des formations intermédiaires, ou on apprend a construire/manipuler correctement des data set de taille raisonnable ? Il s'agirait principalement de pouvoir structurer correctement mon code. Techniquement j'en suis toujours a select et left join, dès que je vois des procédures et des loops je suis paumé (faut dire que le SQL c'est moche)

 

 

il y a une heure, Rincevent a dit :

On a un flux qui rafraîchit des données (par delta)

Déjà vous vous l'autorisez ca serait une grande avancée chez nous ....

Rincevent

Rincevent

Posté
Posté
il y a 10 minutes, Prouic a dit :

Vu que je suis eternel débutant en SQL (ce n'etait pas mon metier il y a encore 2 ans, et ca ne l'est que 20% de mon temps depuis) tu pourrais m'orienter vers des formations intermédiaires, ou on apprend a construire/manipuler correctement des data set de taille raisonnable ? Il s'agirait principalement de pouvoir structurer correctement mon code. Techniquement j'en suis toujours a select et left join, dès que je vois des procédures et des loops je suis paumé (faut dire que le SQL c'est moche)

Hmmm je vais avoir besoin d'en savoir davantage. Concrètement, ce serait pour quel moteur (Oracle, SQL Server, PostgreSQL, DB, autre chose, ou un truc général et cross-moteur) ? Et pour creuser un peu, est-ce que tu as de bons souvenirs en théorie des ensembles ? Question subsidiaire : est-ce que tu vois pourquoi je te pose cette dernière question ? ;)

Rincevent

Rincevent

Posté
Posté
il y a 48 minutes, Hayek's plosive a dit :

D'habitude c'est JRML qui se fait torpiller.

 

Foutez le camp bande de degueulasses.

Ok.

 

@Prouic : MP ?

Rincevent

Rincevent

Posté
Posté

Oui, ils font patie de la nébuleuse de micro-cultes pré-chrétiens au même titre que les Nazoréens ou les Elkasaïtes, sauf que eux ont survécu jusqu'à nos jours. J'ignorais qu'on les trouvait en Irak, toutefois. 

 

Du coup ça me donne vachement envie d'écouter l'émission. :)

  • Yea 1
fryer

fryer

Posté
Posté
il y a 3 minutes, Rincevent a dit :

Oui, ils font patie de la nébuleuse de micro-cultes pré-chrétiens au même titre que les Nazoréens ou les Elkasaïtes, sauf que eux ont survécu jusqu'à nos jours. J'ignorais qu'on les trouvait en Irak, toutefois. 

 

Du coup ça me donne vachement envie d'écouter l'émission. :)

 

:) Bassorah initialement mais diaspora depuis 2003. L'emission est courte et donne envie d'acheter son bouquin (la nana doit avoir 26 ans)

Rincevent

Rincevent

Posté
Posté

Bordel, il y a beaucoup plus d'épisodes sur PodCloud que quand je cherche dans le flux donné par Podcast Addict. Quelqu'un sait pourquoi ?

Bézoukhov

Bézoukhov

Posté
Posté

J'ai la vague intuition que la destruction de l'Université post-68, en enlevant une grande partie du prestige du métier de professeur, a asséché les sources de recrutement de l'Université.
Y aurait une étude à faire dessus.

Hayek's plosive

Hayek's plosive

Posté
  • Auteur
Posté
Il y a 7 heures, Rübezahl a dit :

L'émission d'Arte sur l'écriture hier soir était très très bien.

Si on veut piger d'où vient notre alphabet, c'est très bien expliqué.

Vu le premier épisode, génial. 

WBell

WBell

Posté
Posté
On 11/18/2020 at 12:40 PM, Lameador said:

Autre solution, le consultant Oracle qui vient facturer 200€ jours et dont les préconisations sont écoutées par le management.

Il ne manque pas un 1 devant le 2 ? 

Lameador

Lameador

Posté
Posté
56 minutes ago, WBell said:

Il ne manque pas un 1 devant le 2 ? 

Il manque surtout un zéro à la fin 

Rincevent

Rincevent

Posté
Posté
Le 21/11/2020 à 11:18, fryer a dit :

Les mandéens.

 

https://www.franceculture.fr/oeuvre/les-sabeens-mandeens-premiers-baptistes-derniers-gnostiques

 

https://podcloud.fr/podcast/chretiens-dorient/episode/les-saabeens-mandeens-du-sud-de-lirak-avec-claire-lefort

 

@Rincevent tu connaissais ?

Et donc apparemment on n'en parle pas que sur FrCul :

 

 

  • Yea 2
poney

poney

Posté
Posté
il y a une heure, Bézoukhov a dit :

Mince alors.

 

 

@poney

 

 

Kouah ? 

En tant que kuulkapper je m'indigne. 

 

Encore un coup des hollandais. C'te basse vengeance pour les avoir foutu dehors a coup de pied aux miches en 1830.

Rincevent

Rincevent

Posté
Posté
Il y a 11 heures, Adrian a dit :

TIL les réfugiés Hmong d'Asie du sud-est dans 2 villages en Guyane française.

 

https://en.wikipedia.org/wiki/Javouhey

https://en.wikipedia.org/wiki/Cacao,_French_Guiana

J'en ai connu deux (la major ou co-major de ma promo, et son copain).

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant
Aller sur la liste des sujets
×
×
  • Créer...