Malky Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 J'suis étonné qu'il n'y ait pas encore de topic idm/breakcore/electronica sur liborg ... Les derniers qui ont essayé sont dans une fosse commune, présentement. Tu veux les rejoindre ? Lien vers le commentaire
DirtyHayek Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 Les derniers qui ont essayé sont dans une fosse commune, présentement. Tu veux les rejoindre ? Toi tu serais ultranéolibéralistique radical pratiquant que ça m'étonnerait pas ... Lien vers le commentaire
Cugieran Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 Tu codes en quoi pour tout mettre en ram ? Matlab ? vb.net C'est surtout qu'il y a de gros gros datasets. Bah quelle importance ? ça doit être picole +++ puis lampadaire. oh je vais grimper au lampadaire, et paf je tombe ai j'ai mal à ma cheville, je boite... T'as des granules pour ça? Lien vers le commentaire
Malky Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 vb.net [...] gros gros datasets. Il ne reste plus beaucoup de place dans la fosse commune, mais là je ferais une exception. T'as des granules pour ça? Tamalou 15 CH, ça devrait le faire. Lien vers le commentaire
NoName Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 Je ne suis pas fan des instruments de chantier, mais ce qui me rend inécoutable la plupart des trucs aux derniers niveaux c'est l'omniprésence des thèmes scato/grimdark. Ça me désintéresse totalement d'entendre un mec me hurler dessus pendant deux minutes qu'il va violer ma famille. Quand ça se met à parler de viol de cadavres ou que c'est du grindcore il faut jeter. Les trucs scato ça passe uniquement si c'est des trucs à la ultravomit Lien vers le commentaire
poney Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 Wow placer 'grunge' et 'démonstrations techniques' dans la même phrase, ça c'est balaize Cantrell c'est pas un demi-mauvais. Lien vers le commentaire
POE Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 T'as des granules pour ça? Des granules pour quoi ? Les commentaires idiots ? Pour arrêter de dessiner des bites partout ? Pourquoi pas, mais il faudra une consultation longue. Lien vers le commentaire
Mathieu_D Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 A bah pour le coup c'est mon employeur actuel qui aimerait que je parte plus tôt que ce qui m'arrange. (à une semaine près) Lien vers le commentaire
Rincevent Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 vb.net C'est surtout qu'il y a de gros gros datasets. Tu sais, les clauses WHERE, c'est pas toujours inutile. Lien vers le commentaire
Mathieu_D Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 Tu sais, les clauses WHERE, c'est pas toujours inutile. Chez un client j'avais montré une requête qui permettait d'aller 1500 fois plus vite. (SAS passthrough ou pas passthrough pour ceusses qui connaissent.) Lien vers le commentaire
Bézoukhov Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 C'est affreux SAS. J'ai l'impression que c'est des mecs qui se sont mis autour d'une table pour se demander : "Bon, si on prenait toutes les conventions en matière de script qui ont existé, et si on faisait exactement l'inverse, ça donnerait quoi ?" En plus, quand tu as besoin d'un truc précis, tu trouves jamais de réponse claire sur internet. J'attends juste que ce truc meure pour qu'on me laisse utiliser ce que je veux . D'ailleurs, en fait, je pourrais voir si je suis capable de me connecter à la base Oracle avec R . Quelqu'un a déjà fait ? Lien vers le commentaire
Cugieran Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 Il ne reste plus beaucoup de place dans la fosse commune, mais là je ferais une exception. No way. Des granules pour quoi ? Les commentaires idiots ? Pour arrêter de dessiner des bites partout ? Pourquoi pas, mais il faudra une consultation longue. Arrêter de dessiner des bites? Ca fait ça aussi les charlatans? T'façon ça m'intéresse pas. Je suis un dessinateur de pénis comblé. Tu sais, les clauses WHERE, c'est pas toujours inutile. Chez un client j'avais montré une requête qui permettait d'aller 1500 fois plus vite. (SAS passthrough ou pas passthrough pour ceusses qui connaissent.) C'est du calcul. On a besoin de tout ce qu'on met dedans. Ce qui n'est pas utile est soigneusement éliminé avant. Bien évidemment. Lien vers le commentaire
Rincevent Posté 30 juillet 2015 Signaler Share Posté 30 juillet 2015 Mouais. Y a des juniors qui ont dû laisser des "SELECT *" un peu partout, je suppose. Blague à part, pour toi un gros dataset, c'est combien de lignes et de Ko ? En dessous de 10 MLignes, c'est pas gros, on est bien d'accord ? Même MySQL peut le faire les doigts dans le nez, c'est dire. Lien vers le commentaire
Cugieran Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 +/- quelques dizaines de Mo. Variables hydro et météo dt=3600s. Plusieurs dizaines de stations, plusieurs dizaines d'années. SQL on s'en balance un peu. On est en SQL pour la DB mais on va pas gagner grand chose avec ça puisqu'il n'est pas question de ne charger qu'une partie du DS selon des critères. Vraiment, c'est pas possible de faire mieux. Le pas de temps de calcul (600s), la structure des modèles et les conditions mathématiques qui vont derrière imposent que les objets aient tout un tas d'infos en mémoire vive. Rien à faire à ce niveau. C'est pour ça que je goûte pas plus que ça les discussions avec les infos : tu utilises 30Go de RAM? Tu dois faire une erreur... Bah non. Y'a déjà 40 couillons qui se sont penchés sur la question et... non. Lien vers le commentaire
Mathieu_D Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Mmoui bon c'est en VB hein. Même en R avec certains packages tu pourrais rester sur le disque. Lien vers le commentaire
Mathieu_D Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 bigmemory et ff en sont deux exemples. Lien vers le commentaire
Cugieran Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Mmoui bon c'est en VB hein. Même en R avec certains packages tu pourrais rester sur le disque. J'aurais même pas du lancer une discussion là-dessus. C'est toujours la même chose. Personne n'a la moindre idée des contraintes opérationnelles et tout le monde a une grande idée sur le sujet (dont l'une est inévitablement d'utiliser R qui n'a pas la moitié des fonctions dont on a besoin et qui ne sait pas faire ça parce qu'on ne peut pas rester sur le disque avec ce type de structure de modèle, sauf si on aime attendre, longtemps.). Ca rate pas. J'aurais du parier. C'est juste infiniment plus complexe qu'un calcul qui pourrait aller plus vite avec un autre soft ou code. Il y a des questions d'interface (parce qu'il n'y a qu'un informaticien qui peut penser qu'on va calibrer avec plusieurs dizaines de paramètres avec des fichiers txt...), il y a des questions d'intégrations de SIG, il y a tout un tas d'autres contraintes pour les calculs temps réel... et une bonne dizaine d'infos de tous horizons qui sont passés par là et qui (shit alors) n'ont pas eu vos idées, les cuistres. Bref, c'était juste pour me plaindre que mon PC a passé 10 minutes à ne presque pas répondre. Personne n'est mort, pas de blessés, pas d'appel à l'aide. C'est cool. Lien vers le commentaire
Poil à gratter Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 A bah pour le coup c'est mon employeur actuel qui aimerait que je parte plus tôt que ce qui m'arrange. (à une semaine près) Ah, c'est bon ça. J'aurais même pas du lancer une discussion là-dessus. C'est toujours la même chose. Personne n'a la moindre idée des contraintes opérationnelles et tout le monde a une grande idée sur le sujet (dont l'une est inévitablement d'utiliser R qui n'a pas la moitié des fonctions dont on a besoin et qui ne sait pas faire ça parce qu'on ne peut pas rester sur le disque avec ce type de structure de modèle, sauf si on aime attendre, longtemps.). Ca rate pas. J'aurais du parier. Et personne ne vous a proposé de faire le calcul en distribué avec des machins genre Hadoop, Storm, etc. ? Lien vers le commentaire
Mathieu_D Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Ce que je comprends et que j'ai vu chez beaucoup de clients c'est que votre traitement est un peu boîte noire, et beaucoup d'expertise a été accumulée. Ça couterait bien trop cher de le refaire avec des technos state of the art pour un gain marginal.Classique. Lien vers le commentaire
Cugieran Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Ca c'est déjà bien plus exact. On a deux personnes dédiées à ça (sur 12) qui traquent tout ce qu'ils peuvent. Ils ont pas trouvé de solution miracle. Le modèle en lui même est gourmand en données et il a fondamentalement besoin de les conserver un certain temps durant le calcul et il n'y a pas guère d'autre solution pour l'heure. Nos deux concurrents à échelle mondiale sont dans la même situation et ils sont bieeeeeen plus gros que nous avec des services informatique bieeeeen plus importants. Pour les calculs ponctuels, on fait avec de bonnes machines. Pour l'automatique, toutes les heures, le serveur crache ses poumons. C'est quand même pas un gros pbl non plus. Juste, le "ne répond pas" de google chrome pendant que t'es bloqué, c'est chiant. 10 minutes, mais c'est chiant. Lien vers le commentaire
Cugieran Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Et personne ne vous a proposé de faire le calcul en distribué avec des machins genre Hadoop, Storm, etc. ? Je ne suis pas spécialiste mais c'est assez limitant d'avoir un débit internet pas exceptionnel? Lien vers le commentaire
Mathieu_D Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Il faudrait surtout tout refaire pour que les calculs soient parallélisables. Lien vers le commentaire
Cugieran Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Mmm ouais à 1000 balles par jour, c'est quand même pas un option. Lien vers le commentaire
neuneu2k Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 C'est pour ça que je goûte pas plus que ça les discussions avec les infos : tu utilises 30Go de RAM? Tu dois faire une erreur... Bah non. Y'a déjà 40 couillons qui se sont penchés sur la question et... non. Non c'est pas énorme 30G, par contre ça peut très probablement etre acceleré, ou au moins tourner sur une machine dediée qui ne bloque pas un humain pendant 10 minutes... De plus, il est probable que les accès mémoires ne soient pas SI random que ça et une analyse des shémas d'accès pourrait probablement permettre de paralelliser (certainement pas linéairement, mais quand meme avec du gain), maintenant, ça ne vaut possiblement pas le cout d'optimiser plus loin si ça ne prends "que" 10 minutes et réponds au besoin, perso je demanderai juste du temps sur une machine de calcul partagée. Et vb.net c'est moche, mais ça pourrait très facilement etre pire, de fait, à moins d'utiliser uniquement des librairies de calcul optimisées, ça va nettement plus vite que R. Et "travailler sur disque", si les accès sont globaux tel que ça semble etre le cas si c'est de la simulation, ça veut juste dire multiplier le temps d'execution par plusieurs milliers... hadoopburp ou pas hadoopburp. Lien vers le commentaire
Poil à gratter Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Ouais les calculs distribués faut quand même avoir un débit correct et effectivement faut que les calculs soient parallélisables et parallélisés Mais ouais si c'est juste 10 minutes de temps en temps, ça ne vaut pas le coup. Mieux vaut une machine dédiée. Ou prendre un bouquin en attendant. Allez draguer l'hôtesse d'accueil... Lien vers le commentaire
Cugieran Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Oh la machine dédiée est là. Une grosse lame. Mais bon on est un peu nombreux et elle est souvent occupée. Lien vers le commentaire
POE Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Je me demande s'il existe un truc en ligne pour conception d'écrans de logiciel, design...si quelqu'un connait. Lien vers le commentaire
Astha Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Bon ben voila recommandé de démission envoyé et manager prévenu oralement. La roue tourne, la vie continue. (en s'améliorant) Ah tu quittes la compagnie des mines et la fosse place Rihour Lien vers le commentaire
Poil à gratter Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Oh la machine dédiée est là. Bon, et l’hôtesse d'accueil? Lien vers le commentaire
Mathieu_D Posté 31 juillet 2015 Signaler Share Posté 31 juillet 2015 Ah tu quittes la compagnie des mines et la fosse place Rihour Pour Roubaix ! /fear Lien vers le commentaire
Messages recommandés