Εμφάνιση αναρτήσεων με ετικέτα Tips and tricks. Εμφάνιση όλων των αναρτήσεων
Εμφάνιση αναρτήσεων με ετικέτα Tips and tricks. Εμφάνιση όλων των αναρτήσεων

Πέμπτη, 5 Απριλίου 2018

Qlik blogs...

Qlik
Το Qlik community είναι μια εξαιρετική πηγή γνώσης για όλους τους Qlik Developers, είναι δύσκολο να έχεις μια απορία και να μην έχει ήδη απαντηθεί στα forum του... Λογικά δεν θα χρειαστεί κάποιος να ψάξει κάπου αλλού στο internet για να πάρει απαντήσεις στις Qlik αναζητήσεις του, υπάρχουν όμως κάποια blogs με Qlik θεματολογία τα οποία έχουν τιμητική θέση στο feedly μου... Είναι blogs που συντηρούν επιφανή μέλη της Qlik κοινότητας, consultants και developers που η γνώμη τους "μετράει" και με έχουν "ξελασπώσει" με κάποιο post τους ουκ ολίγες φορές...

Τα Qlik blogs του timeline μου είναι τα:

  • QlikView Cookbook: Το blog του θρύλου Rob Wunderlich είναι μια εξαιρετική πηγή για tips, utilities και νέα της Qlik κοινότητας...
  • The Qlik Fix: Είναι το blog του Barry Harmsen, ενός εκ των συγγραφέων του πολύ καλού βιβλίου "QlikView 11 for Developers"... Ενημερώνεται συχνά και στα σχόλια των posts του συχνά ξεκινάνε πολύ ενδιαφέρουσες συζητήσεις...
  • Qlik Tips: Ακόμα ένα blog από τον πολυγραφότατο (Βιβλίο 1, Βιβλίο 2, Βιβλίο 3) Stephen Redmond, με διαρκή παρουσία από το 2009...
  • QlikView Maven: Ακόμα ένα blog με 10-ετή παρουσία στο Qlik σύμπαν...
  • Quick Intelligence: Τελευταίο αλλά όχι καταϊδρωμένο, το blog του επιφανούς μέλους της Qlik κοινότητας, Steve Dark, ενός ανθρώπου που έχει διακριθεί και ξεχωρίσει μεταξύ των υπολοίπων μελών της Qlik κοινότητας για τις γνώσεις και τα επιτεύγματά του...

Πέμπτη, 9 Νοεμβρίου 2017

QlikView - Local directory service provider...

Το QlikView προσφέρει μια πληθώρα επιλογών όσων αφορά τη διαχείριση των χρηστών οι οποίοι θα έχουν πρόσβαση στο Access Point... Κάποιες από αυτές τις επιλογές χρησιμοποιούν NTFS Authorization (το οποίο χειρίζονται τα Windows) και κάποιες DMS Authorization  ( το οποίο χειρίζεται το QlikView)... Κάποιες από αυτές τις επιλογές δεν μπορούν να λειτουργήσουν παράλληλα ακριβώς λόγω αυτή της διαφοροποίησης στο Authorization, όπως ας πούμε ο Active Directory service provider (NTFS) με αυτόν του Custom Directory (DMS)...

Αυτές τις ημέρες εμφανίστηκε μια ενδιαφέρουσα περίπτωση στην δουλειά όταν κλήθηκα να δώσω πρόσβαση στο QlikView  σε χρήστες οι οποίοι δεν ανήκαν στο εταιρικό Active Directory... Όπως προείπα η λύση του Custom Directory απορρίφθηκε αφού δεν ήταν συμβατά τα Authorization types των δύο service connectors (AD και Custom) οπότε η λύση που επιλέχθηκε ήταν αυτή του Local directory provider...  Όπως θα δούμε και στο σχετικό help page της QlikView , o connector χρησιμοποιεί την λίστα των local users ενός επιλεγμένου μηχανήματος (στην περίπτωσή μου ήταν αυτό στο οποίο είναι εγκατεστημένος ο QlikView Server)...

Η διαδικασία ήταν εξαιρετικά απλή... Αρχικά δημιούργησα local windows χρήστες στον server, τους οποίους πρόσθεσα  στο Group των Users του server με δικαιώματα read.... Αν δεν ξέρεις πώς γίνεται αυτό μπορείς να ακολουθήσεις αυτόν τον οδηγό ο οποίος περιγράφει πολύ καλά τα απαραίτητα βήματα, στην περίπτωσή μας απλά δεν βάζουμε τον νέο χρήστη στο Administrators Group... Κατόπιν τα βήματα που υπολείπονται για να ολοκληρωθεί η διαδικασία περιγράφονται περίφημα στο help page της QlikView  και αυτά ακολούθησα κι εγώ, είναι εξαιρετικά εύκολα και κατανοητά... 

Ο χρήστης που θα δοκιμάσει να συνδεθεί στο Access Point θα χρειαστεί να πληκτρολογήσει στον Internet Explorer το url του Access Point, στην περίπτωσή μου δούλεψε μόνο όταν πληκτρολόγησα καρφωτά την IP του server, κάτι τέτοιο δηλαδή http://192.xxx.xx.xx/qlikview/index... Θα εμφανιστεί ένα Windows Login form όπου πρέπει να συμπληρώσει το username και το password του local user που έχουμε δημιουργήσει και... αυτό είναι, συνδέθηκε!

Προσοχή!!! Για να μπορεί ο χρήστης να έχει πρόσβαση σε συγκεκριμένες εφαρμογές πρέπει ο local user που χρησιμοποιεί να έχει πάρει τα κατάλληλα read δικαιώματα στα directories του server που είναι αυτές αποθηκευμένες, διαφορετικά θα έχει πρόσβαση σε ένα κενό Access Point...

Σάββατο, 23 Σεπτεμβρίου 2017

QlikView - Tips and Tricks...

Μικρά tips που φάνηκαν χρήσιμα από τη δουλειά της εβδομάδας που πέρασε:

  • Αν προσπαθούμε να φιλτράρουμε τα data που διαβάζουμε στο load script και να κρατήσουμε μόνο τις τιμές εκείνες που περιέχουν αριθμούς μπορούμε να χρησιμοποιήσουμε την function IsNum ... Υπάρχουν όμως και περιπτώσεις που η IsNum θα επιστρέψει TRUE, πχ '3E4', διότι θα το θεωρήσει scientific numeric format, ενώ εμείς δεν θα θέλαμε κάτι τέτοιο... Μια καλή λύση για να αντιμετωπίσεις τέτοιου είδους προβλήματα είναι η παρακάτω γραμμή κώδικα την οποία απλώς προσθέτεις στο where statement:

    Len(Purgechar(Field, '0123456789'))=0

    Links: Len, PurgeChar

  • Θέλουμε να "καθαρίσουμε" το πεδίο που διαβάζουμε το οποίο είναι αριθμητικό αλλά έρχεται από το data source με προπορευόμενα μηδενικά (leading zeros) στα αριστερά της τιμής; Χρησιμοποιούμε το παρακάτω transformation και η δουλειά μας έχει γίνει:

    Replace(Ltrim(Replace(Field, '0', ' ')), ' ', '0')

    Links: Replace, Ltrim

  • Αν φορτώνετε δεδομένα από data sources όπως το SAP που η ονοματοδοσία των πεδίων επιτρέπει το να ξεκινάει το όνομα του πεδίου από αριθμό, θυμηθείτε ότι αν θέλετε να διατηρήσετε αυτή την ονοματοδοσία στο QlikView θα πρέπει να περικλείσετε το όνομα του πεδίου μέσα σε αγκύλες, όπως φαίνεται παρακάτω, αν δεν θέλετε να σας επιστρέφει error το load script...

    [0MATERIAL]

Κυριακή, 6 Αυγούστου 2017

QlikView and Google Maps integration and more...

Το σημερινό post αφορά τρία links που περιέχουν πληροφορία εξαιρετικά χρήσιμη για εμένα, όπως αποδείχτηκε, τις προηγούμενες μέρες όταν και δούλευα πάνω σε μια εφαρμογή με ένα αρκετά sophisticated dashboard πωλήσεων...

Το πρώτο, από το Analytics Vidhya, περιέχει ένα πολύ καλό οδηγό για τη δημιουργία Box Plot σε QlikView...  Το Box Plot δεν είναι ευρέως χρησιμοποιούμενο chart και απαιτεί αυτός που το διαβάζει να έχει κάποιες γνώσεις στατιστικής και να αντιλαμβάνεται κάποια βασικά μεγέθη αλλά είναι ένα chart που σε εκπαιδευμένα μάτια μπορεί να απεικονίσει γρήγορα και παραστατικά πολύ πληροφορία...

Το δεύτερο link είναι και πάλι από το Analytics Vidhya και είναι ένας εξαιρετικό οδηγός για το πως να ενσωματώσεις Google Maps στην  QlikView εφαρμογή σου χωρίς την χρήση  add ons ή την αναγκαστική χρήση του web view... Είναι μια αρκετά πολύπλοκη υλοποίηση η οποία περιγράφεται όμως βήμα βήμα και η οποία αν γίνει όπως πρέπει ανταμείβει με εξαιρετικά αποτελέσματα...

Το τρίτο link είναι ένα εξαιρετικό δωρεάν on line tool από τη Google, που δίνει τη δυνατότητα στον προγραμματιστή, μέσω ενός πολύ καλού wizard να δημιουργήσει τον χάρτη που θα ενσωματώσει στην εφαρμογή του, οτιδήποτε είναι αυτή, QlikView ή όχι... Οι δυνατότητες παραμετροποίησης του look and feel του χάρτη είναι πολλές και δίνουν τη δυνατότητα να δημιουργήσει πραγματικά κάτι που αντικατοπτρίζει τις επιλογές και το στυλ του κάθε προγραμματιστή χωρίς να τον περιορίζει σε προσχεδιασμένα και "κλειστά"  templates... Το τελικό παραγόμενο του wizard είναι είτε ένα json αρχείο το οποίο ενσωματώνεται κατάλληλα στην κάθε εφαρμογή είτε ένα link η χρήση του οποίου οδηγεί στο επιθυμητό αποτέλεσμα... Ο χάρτης που εγώ κατασκεύασα για την εφαρμογή πάνω στην οποία δούλευα είναι ο παρακάτω:

Map visualization

Τετάρτη, 8 Μαρτίου 2017

QlikView - Δημιουργία calculated dimension με τα 20 πρώτα members σε άθροισμα τιμών...

Ας υποθέσουμε ότι έχουμε ένα dimension που περιέχει τα Materials που εμπορεύεται η εταιρεία μας και ένα measure που απεικονίζει το Revenue... Έστω ότι θέλουμε να κατασκευάσουμε ένα νέο calculated dimension το οποίο θα περιέχει μόνο τα πρώτα 20 Materials σε άθροισμα Revenue είτε για να το χρησιμοποιήσουμε σε ένα chart είτε για να το χρησιμοποιήσουμε σαν φίλτρο σε ένα drop down box...

Η λύση είναι εξαιρετικά απλή και χρειάζεται μόνο η παρακάτω γραμμή κώδικα για να δημιουργήσει το  calculated dimension:


Η μόνη διαφοροποίηση που υπάρχει ανάλογα με το που θα χρησιμοποιηθεί αυτό το calculated dimension είναι ότι όταν το χρησιμοποιήσουμε μέσα σε ένα chart πρέπει οπωσδήποτε να θυμηθούμε να επιλέξουμε την επιλογή "Suppress Null Values" στα dimension settings έτσι ώστε να μην επιστρέψει τιμές για τα nulls...

Κυριακή, 12 Φεβρουαρίου 2017

QlikView - Reusable measures...

Συνήθως, όταν φτιάχνουμε ένα QlikView app, τα measures που χρησιμοποιούμε είναι συγκεκριμένα, αυτό που αλλάζει είναι η απεικόνισή τους είτε σε table like objects είτε σε γραφήματα διαφόρων ειδών, συνδυάζοντάς τα με όσα και όποια dimensions επιθυμούμε... Το best practice υπαγορεύει ότι τα measures πρέπει να φορτώνονται από το script στην τελική τους μορφή και να χρησιμοποιούνται χωρίς να γράφουμε πολύ κώδικα στα expressions των objects στο layout της εφαρμογής όμως δυστυχώς (ή ευτυχώς, δεν έχω αποφασίσει ακόμα) αυτό δεν συμβαίνει πάντα... Όταν το app είναι μικρό και τα objects λίγα, μια πιθανή αλλαγή στο calculation ενός ή περισσότερων από αυτά δεν είναι κάτι σπουδαίο, όταν όμως έχεις να κάνεις με apps τα οποία κουβαλάνε δεκάδες measures σε δεκάδες διαφορετικά objects τότε μια πιθανή αλλαγή του business logic δημιουργεί τεράστιο πονοκέφαλο στον developer...

Το πρόβλημα αυτό αποφεύγεται με τον εξής απλό αλλά έξυπνο τρόπο... Κάθε ένα από τα measures που χρησιμοποιούμε γίνεται ένα variable το οποίο δημιουργούμε στην οθόνη Variable Overview του QlikView (Settings → Variable Overview)

Variable Overview

Όταν θέλουμε να χρησιμοποιήσουμε αυτό το measure σε κάποιο object, κάνουμε reference το σχετικό variable που έχουμε ήδη δημιουργήσει...  Ο τρόπος που χρησιμοποιούμε το variable στο expression box του κάθε object είναι της παρακάτω μορφής χωρίς την χρήση quotes:

=$(vUnitsSold)
Με την χρήση αυτή της τεχνικής ο developer έχει πολύ μεγαλύτερο έλεγχο της εφαρμογής του, διευκολύνεται και επιβεβαιώνεται ευκολότερα η ορθότητα των δεδομένων που απεικονίζονται και καμία αλλαγή στο business logic δεν προκαλεί πονοκεφάλους αφού το κάθε measure αλλάζει μόνο μία φορά σε επίπεδο variable αλλά η αλλαγή έχει ισχύ σε όλο το app άμεσα και αυτό είναι καταπληκτικό από όποια πλευρά και να το δεις, development ή business! 😊

Τρίτη, 7 Φεβρουαρίου 2017

Configure Database Mail in SQL Server, my two cents...

Στο σχετικό link στο MSDN για το configuration του Database Mail αναφέρει τα παρακάτω για την συμπλήρωση του πεδίου Server Name:

server name

Η πολύ πρόσφατη εμπειρία μου, υποδεικνύει ότι καλύτερα να συμπληρωθεί η IP του SMTP server και όχι το όνομα του στο σχετικό πεδίο αφού για κάποιο λόγο ακατανόητο σε εμένα ο SQL Server δεν μπορούσε με τίποτα να στείλει email όταν το server name ήταν της μορφής "smtp.<your_company>.com" ...

Τετάρτη, 23 Νοεμβρίου 2016

QlikView - Πως να ανοίξεις ένα .qvw αρχείο χωρίς δεδομένα...

Έχουν υπάρξει πολλές φορές που χρειάζεται να ανοίξω ένα Qlik View application χωρίς να θέλω να δω το content του ή το layout, απλά να θέλω να ρίξω μια ματιά στον κώδικα του, για να θυμηθώ ενδεχομένως κάτι που έφτιαξα παλιότερα ή να πάρω κάποια ιδέα για κάτι που αναπτύσσω εκείνη την στιγμή... Κάποια applications μπορεί να είναι τεράστια και να "ζυγίζουν" πολλά Giga Bytes και να μην θέλω ή να μην έχω τον χρόνο να περιμένω το μηχάνημά μου να σηκώσει όλα αυτά τα Giga Bytes στην μνήμη για να τα ανοίξει... Ένας εύκολος τρόπος για να μπορέσεις να ανοίξεις το application χωρίς να περιμένεις όλα τα data να σηκωθούν στην μνήμη και να έχεις πρόσβαση στον κώδικα της εφαρμογής προσφέρεται από το default functionality του Qlik View desktop client... Από την λίστα των recent files, με  δεξί κλικ πάνω στο application που θέλουμε να ανοίξουμε επιλέγουμε την επιλογή "Open <ApplicationName> Without Data"...

Qlik View - Open application without data


Τι γίνεται όμως στην περίπτωση που δεν υπάρχει στην λίστα των recent files το application που θέλουμε να ανοίξουμε χωρίς data; Μήπως δεν υπάρχει άλλη επιλογή από το να περιμένουμε να ανοίξει κανονικά το application φορτώνοντας όλα τα data στην μνήμη;

Η απάντηση είναι όχι....

Σε αυτή την περίπτωση χρησιμοποιούμε το παρακάτω command το οποίο κάνει ακριβώς την ίδια δουλειά με το default functionality...



Αυτό που κάνει αυτή η μια γραμμή κώδικα είναι να χρησιμοποιεί το qv.exe (το path που περιγράφεται στο command είναι το default) για να ανοίξει χωρίς δεδομένα το application του οποίου το path συμπληρώνουμε στο δεύτερο σκέλος του command και... αυτό είναι!!!

Παρασκευή, 21 Οκτωβρίου 2016

QV Document Analyzer, ένα απαραίτητο εργαλείο για την εργαλειοθήκη κάθε QlikView developer...

Το "QV Document Analyzer" είναι ένα απαραίτητο εργαλείο για όποιον κάνει QlikView development, ιδανικό για fine tuning των εφαρμογών... Έχει δημιουργηθεί από τον Rob Wunderlich, έναν από τους πιο καταξιωμένους QlikView developers/consultants παγκοσμίως, και βρίσκεται στην τρίτη του έκδοση... 

Πρόκειται για ένα application το οποίο έχει φτιαχτεί με την τεχνολογία του QlikView και αυτό που κάνει είναι να αναλύει την δομή και να ποσοτικοποιεί το footprint κάθε QlikView application (*.qvw files) σε memory, storage και calculation time ανά πεδίο και object και επίσης διακρίνει ποια πεδία/objects χρησιμοποιούνται και ποια όχι και υποδεικνύει συγκεκριμένες ενέργειες για την βελτιστοποίηση των εφαρμογών... 

Έχει ένα καλαίσθητο και κατανοητό γραφικό περιβάλλον πλοήγησης στα στοιχεία κάθε application και πραγματικά κάνει τη ζωή πιο έυκολη σε κάθε έναν από εμάς που δουλεύουμε με το QlikView και προσπαθούμε να φτιάξουμε όσο γίνεται καλύτερες εφαρμογές... 

Η εφαρμογή διανέμεται δωρεάν από το blog του  Rob Wunderlich στο section των Tools  όπου θα βρείτε και άλλα χρήσιμα, δωρεάν εργαλεία... Ακολουθούν κάποια screenshots της εφαρμογής από το download site:

QV Document Analyzer screenshot 1


QV Document Analyzer screenshot 2

QV Document Analyzer screenshot 3


Τετάρτη, 7 Σεπτεμβρίου 2016

Κατέβασε δωρεάν βιβλία Πληροφορικής από το IT eBooks!

Το μεγαλύτερο όφελος που αποκόμισε η ανθρωπότητα από την ανακάλυψη του internet είναι η απεριόριστη πρόσβαση στη γνώση... Η γνώση δεν είναι προνόμιο λίγων κι εκλεκτών, κάθε άνθρωπος με μια σύνδεση στον internet μπορεί να έχει πρόσβαση σε εκατομμύρια πηγές γνώσης που καλύπτουν κάθε γνωστικό αντικείμενο...

Αν το αντικείμενο της έρευνας για γνώση είναι ο τομέας της Πληροφορικής τότε υπάρχει ένα site που αξίζει να το επισκεφτεί κανείς... Το  IT eBooks είναι ένα site το οποίο διαθέτει μια τεράστια συλλογή από βιβλία Πληροφορικής, κάθε τομέα και ειδικότητας, τα οποία είναι διαθέσιμα για download, σε όλους, δωρεάν!!! Δεν χρειάζεται εγγραφή, δεν σου ζητάει να δώσεις προσωπικά στοιχεία, δεν σου ζητάει να πληρώσεις... Απλά μπαίνεις στο site, κάνεις την αναζήτηση που σε ενδιαφέρει, παίρνεις την σχετική λίστα αποτελεσμάτων με το κάθε ένα να συνοδεύεται από ένα download link και... αυτό είναι, κατέβασες το βιβλίο!!!

Στο IT eBooks θα βρείτε βιβλία πασίγνωστων εκδοτικών οίκων του χώρου της Πληροφορικής, όπως της O' Reilly, της Wrox, της Apress και πολλών άλλων... Όποιο, μα όποιο βιβλίο μπορεί να ψάχνετε θα το βρείτε στο IT eBooks και ακόμα και αν δεν το βρείτε σίγουρα θα βρείτε αξιόλογες εναλλακτικές πάνω στο γνωστικό αντικείμενο που σας ενδιαφέρει... Web development, mobile development, databases, BI, networks, λειτουργικά συστήματα, ότι θέλετε υπάρχει στο IT eBooks και σας περιμένει...

Αξίζει να το επισκεφτείτε...

Τετάρτη, 24 Αυγούστου 2016

Κάνοντας ETL με το QlikView, ένα case study...

Κάθε εργαλείο φτιάχνεται με ένα συγκεκριμένο σκοπό άσχετο με το αν εμείς μπορεί να το χρησιμοποιούμε και κάπως αλλιώς για να καλύψουμε τις ανάγκες μας... Κατά την άποψή μου το QlikView δεν είναι ένα εργαλείο κατάλληλο για να φτιάξεις ETL processes, έλα όμως που πολλές φορές αναγκάζομαι για λόγους που δεν είναι της παρούσης, να το κάνω... Έχω σιχτιρίσει κάθε μια από αυτές, όντας SQL και Data Warehouse oriented, το να κάνω ETL μέσα από το script του QlikView δεν είναι το καλύτερό μου διότι πιστεύω ότι σε πολλές περιπτώσεις αναγκάζεσαι να ανακαλύψεις ξανά τον τροχό για θέματα που είναι από καιρό λυμένα για τα ETL tools και την SQL...

Το συγκεκριμένο case αφορά μια περίπτωση όπου έπρεπε να εντοπίσω ανά πελάτη ποια είναι τα καταστήματα με το μεγαλύτερο μέσο υπόλοιπο και αν είναι περισσότερο από ένα να διαλέξω αυτό στο οποίο έχει ανοιχθεί πιο πρόσφατα λογαριασμός... Με παίδεψε αρκετά καθώς το πρώτο πράγμα που θα έρθει στο μυαλό μου σε αυτές τις περιπτώσεις είναι μια SQL προσέγγιση με τη δημιουργία κάποιων temp tables όπου θα έχω πολλαπλά κλειδιά αν το χρειάζομαι κ.ο.κ., που όμως στην προκειμένη περίπτωση δεν μας κάνει... Κατέληξα σε μια ξεκάθαρα QlikView υλοποίηση η οποία δεν είναι η βέλτιστη καθώς παρουσιάζει αρκετό delay όταν οι όγκοι των δεδομένων αυξάνονται αλλά σε μικρούς και μεσαίους όγκους το performance είναι πολύ καλό...  Το δηλώνω από τώρα ότι δεν πρόκειται να μπω στη διαδικασία να δουλέψω παραπάνω πάνω στο script διότι αφενός δεν το χρειάζομαι πια καθώς έφτιαξα και δεύτερη λύση η οποία είναι πολύ μακροσκελέστερη αλλά με πολύ καλύτερο performance και αφετέρου διότι εξακολουθώ να πιστεύω ότι το QlikView δεν είναι φτιαγμένο για ETL, ο σωστός προγραμματιστής πρέπει να είναι τεμπέλης και να μην γράφει ποτέ περισσότερο κώδικα από όσο είναι απολύτως απαραίτητο... :)  

Σκέφτηκα να βάλω αυτό το script στο Gist διότι σκέφτηκα ότι μπορεί να είναι χρήσιμο για κάποιους καθώς γίνεται ένα πολύ ωραίο loop σε αυτόν τον κώδικα, και για να το θυμάμαι κι εγώ, ποτέ δεν ξέρεις πού θα χρησιμοποιηθεί τελικά...

Παρασκευή, 3 Ιουνίου 2016

R - Πρόσβαση σε μια βάση δεδομένων με το package RODBC ...

Μπορεί δουλεύοντας με την R να χρησιμοποιούμε σε πολύ μεγάλο βαθμό ως data sources διάφορα flat files και γενικότερα αδόμητη πληροφορία αλλά θα έρθει η στιγμή εκείνη που θα χρειαστεί να κάνουμε την R να "μιλήσει" με μια ή περισσότερες βάσεις δεδομένων... Υπάρχουν διάφορα packages που παρέχουν τη διεπαφή μεταξύ της R και μιας συγκεκριμένης βάσης δεδομένων όπως το RMySQL ή το ROracle, υπάρχει όμως ένα package το οποίο δεν database specific αλλά υποστηρίζει τη διεπαφή με όλες τις βάσεις δεδομένων, συμπεριλαμβανομένων του SQL Server και της DB2, αρκεί να υπάρχει ένα σχετικό ODBC connection...

Το package αυτό ονομάζεται RODBC και μπορείτε να το βρείτε και να το εγκαταστήσετε από το CRAN... Είναι πολύ απλό και straightforward στην χρήση του, τα βασικά functions του μπορείτε να τα δείτε κι εδώ... Όπως θα δείτε, δίνει δυνατότητες πλήρους manipulation της βάσης (insert, update, delete) κι όχι μόνο ανάγνωση των δεδομένων... Το χρησιμοποίησα στα πλαίσια ενός project που απαιτούσε την χρήση ενός μεγάλου όγκου δεδομένων τα οποία βρίσκονται σε μια DB2 στημένη πάνω σε ένα σύστημα AS/400 και λειτούργησε άψογα, με πολύ καλό performance... Το script που χρησιμοποίησα ήταν κάπως έτσι:


Για να εξηγήσω λίγο τι έχω κάνει, έχω περάσει τα credentials του χρήστη που χρησιμοποιώ για να συνδεθώ στη βάση σε ένα tab delimited αρχείο με συγκεκριμένη γραμμογράφηση και αφού τα διαβάσω τα περνάω σε variables που χρησιμοποιώ μετά στο connection string... Επίσης, δεν έχω περάσει το SQL query απευθείας στην function sqlQuery, προτίμησα λόγω του μεγέθους του που θα κατέστρεφε την εικόνα του κώδικα και θα τον έκανε πολύ δυσανάγνωστο, να το έχω σε ένα txt αρχείο το οποίο διαβάζω με την readLines και κατόπιν δημιουργώ το query σαν ένα μεγάλο string... Εδώ θα χρειαστεί λίγο προσοχή με τα spaces και τα line breaks στο πως θα περάσετε τον SQL κώδικα στο txt αρχείο, θυμηθείτε ότι δημιουργούμε ένα string που θα πρέπει να μπορεί να το κάνει parse η SQL...

Θυμηθείτε να κλείνετε πάντα το connection όταν τελειώνετε τη δουλειά σας, είναι σημαντικό για να μην προκαλέσετε καθυστερήσεις και προβλήματα στη βάση...

Ελπίζω να βρείτε χρήσιμο το RODBC, καλή δουλειά!

Τετάρτη, 18 Μαΐου 2016

R - Πώς να δημιουργήσεις ένα κενό plot...

Έστω ότι για κάποιο λόγο, προγραμματίζοντας σε R, σε κάποια στιγμή υπάρχει η ανάγκη να δημιουργήσετε ένα κενό plot, κάτι σαν place holder ή για να αποτρέψετε την εφαρμογή σας να δείχνει ασυναρτησίες ή errors στο "κανονικό" σας plot... Σε εμένα η ανάγκη προέκυψε όταν φτιάχνοντας ένα Shiny application, ήθελα ένα συγκεκριμένο plot να μην δείχνει τιμές όταν το input περιλαμβάνει συγκεκριμένες τιμές που δεν θα είχαν έτσι κι αλλιώς νόημα.... 

Μια καλή λύση είναι όταν έρχονται αυτές οι συγκεκριμένες τιμές να μην γίνεται render το "κανονικό" plot αλλά ένα άλλο, κενό που απλά θα καταλαμβάνει τον σχετικό χώρο πάνω στο application...

Η λύση αυτή μπορεί να επιτευχθεί είτε δημιουργώντας ένα κενό plot το οποίο λειτουργεί σαν ένα place holder:


...είτε δημιουργώντας ένα plot χωρίς observations το οποίο όμως γίνεται κανονικά visualized όπως για παράδειγμα υλοποιεί ο παρακάτω κώδικας:


Ενημερωτικά, εγώ χρησιμοποίησα το πρώτο code snippet διότι θεωρώ ότι ταίριαζε καλύτερα σε αυτό που προσπαθούσα να παρουσιάσω... :)

Παρασκευή, 19 Φεβρουαρίου 2016

Outersect(), το αντίστροφο της function intersect() της R...

Πρόσφατα κατά τη διάρκεια μιας ανάλυσης έπρεπε να συγκρίνω δύο data frames για να εξακριβώσω αν υπήρχαν variables που δεν ήταν κοινά και στα δύο... Γνώριζα ότι υπάρχει η intersect() η οποία βρίσκει τα κοινά στοιχεία μεταξύ δυο vectors και η setdiff() η οποία βρίσκει τα μη κοινά στοιχεία ενός vector ως προς ένα άλλο, εγώ όμως ήθελα μια function που να εντοπίζει τα μη κοινά στοιχεία και των δύο vectors... 

"Google is your friend", λένε και η λύση βρέθηκε σε ένα άρθρο που διάβασα στο R - bloggers... Σε αυτό το άρθρο λοιπόν παρουσιάζεται μια custom function η outersect() η οποία χρησιμοποιώντας την sort() και την setdiff() κάνει αυτό ακριβώς που χρειαζόμουν, εντοπίζει τα μη κοινά στοιχεία δυο vectors... Η σύνταξη της είναι πολύ απλή και κατανοητή και η χρήση της πανεύκολη, τρεις γραμμούλες κώδικα που λύνουν τα χέρια...

Δευτέρα, 4 Ιανουαρίου 2016

RSS Feed Rename and Redirection...

Το πολύ θετικό mail που δέχτηκα από μια αναγνώστρια του blog όσον αφορά το προηγούμενου post, μου υπενθύμισε ότι το feed url του "Ψαροκόκαλου" είναι ακόμα εκείνο το αρχικό url εκείνου του πρώτου feed που είχα φτιάξει τότε πίσω στο 2009 και όταν το blog είχε διαφορετικό όνομα ("Πλίνθοι και κέραμοι...") και διαφορετικό host... Για να υπάρχει μια συνέπεια και μια ομοιομορφία αποφάσισα να το αλλάξω με όσο γίνεται πιο εύκολο τρόπο τόσο για μένα όσο και για τους αναγνώστες του blog που χρησιμοποιούν το feed μου... Η διαδικασία ήταν πολύ απλή και σύντομη, αντιγράφω από το labnol.org όπου και βρήκα το tip:

Q. My FeedBurner feed address is feeds.feedburner.com/boring. I want to change the feed URL to something like feeds.feedburner.com/interesting but without telling my existing subscribers to update their RSS readers. Can FeedBurner rename the feed address in the background?

A: It’s possible but a three step process. (A) Create a new “interesting” FeedBurner feed using your original blog feed as the source. (B) Update the source of your existing “boring” feed to point the feed created in previous step. (C) Delete the “boring” feed from FeedBurner control pane and use the 30 day redirection option.

FeedBurner offers a 301 redirect to RSS readers so most of them will know that the feed has moved permanently to a new location and they’ll start fetching the new feeds. Problem solved. After 30 days, the old “boring” feed will return a 404.

Η μετάβαση έχει ήδη πραγματοποιηθεί και όπως θα δείτε ήδη το feed γίνεται redirected στο νέο url (http://feeds.feedburner.com/psarokokalo) χωρίς να είναι απαραίτητη καμία ενέργεια από την πλευρά των εν ενεργεία subscribers... Αν παρ' όλα αυτά αντιμετωπίσετε κάποιο πρόβλημα με το feed (οποιοδήποτε πρόβλημα) θα εκτιμήσω πολύ αν με ενημερώσετε είτε με κάποιο σχόλιο είτε με κάποιο mail έτσι ώστε να διορθωθεί το συντομότερο δυνατόν...

Τετάρτη, 23 Δεκεμβρίου 2015

T-SQL script για μαζική διαγραφή των table constraints μιας database...

Τις τελευταίες μέρες, όπως φάνηκε και από το προηγούμενο post, η δουλειά τα έφερε έτσι ώστε να ξοδέψω τον περισσότερο μου χρόνο στο γραφείο δουλεύοντας με τον SQL Server... Ανέκαθεν τον θεωρούσα το καλύτερο από τα σχετικά προϊόντα διότι κατά τη γνώμη μου έχει το υψηλότερο μέσο όρο όσον αφορά τις επιδόσεις των χαρακτηριστικών του, μπορεί να μην είναι ο καλύτερος συγκριτικά με άλλες databases σε επί μέρους χαρακτηριστικά αλλά συνολικά είναι (για μένα) η καλύτερη database ...

Δουλεύοντας λοιπόν, χρειάστηκε σε κάποιο σημείο να διαγράψω κάποια tables από μια development database τα οποία όμως είχαν διάφορα foreign keys που με την σειρά τους εμπόδιζαν τη διαγραφή των tables, οπότε έπρεπε να διαγραφούν πρώτα τα foreign keys και σίγουρα δεν ήθελα να το κάνω manually από το gui του Management Studio, ψάχνοντας και σβήνοντας τα ένα ένα ...

Το παρακάτω script ήταν μια ευκαιρία να πετύχω αυτό που ήθελα και να ξεσκονίσω λίγο την T-SQL μου και πολύ το χάρηκα.... Εδώ οφείλω να πω ότι οποιοσδήποτε θέλει να το χρησιμοποιήσει ή να το τροποποιήσει πρέπει να είναι  εξαιρετικά προσεκτικός και να γνωρίζει με σιγουριά τι θέλει να κάνει και τι αποτελέσματα θα έχει αυτό που θα κάνει διότι οποιοδήποτε λάθος ή παράλειψη όταν "παίζουμε" με τα system tables του SQL Server μπορεί να έχει πολύ άσχημα αποτελέσματα για τη database...

Κατά τ' άλλα, χρησιμοποιήστε το κατά βούληση... :)

Τρίτη, 22 Δεκεμβρίου 2015

Εισαγωγή δεδομένων UTF-8 στον SQL Server...

Το σημερινό post γράφεται για δύο λόγους: Ο πρώτος είναι ότι όλοι όσοι έχουμε δουλέψει με δεδομένα σε γλώσσες άλλες από αυτές που χρησιμοποιούν το Λατινικό αλφάβητο, ξέρουμε πολύ καλά πόσο μεγάλος μπελάς είναι... Ο δεύτερος είναι ότι επειδή έφαγα σχεδόν δυο μέρες για να καταφέρω να φορτώσω ένα αρχείο txt tab delimited σε μια βάση SQL Server 2008 R2, θέλω να θυμάμαι τον λόγο και την αιτία της ταλαιπωρίας μου έτσι ώστε να μην περάσω τα ίδια αν χρειαστεί να το επαναλάβω μετά από καιρό και να βοηθηθεί και κάποιος άλλος που μπορεί να έχει το ίδιο πρόβλημα και να σπάει το κεφάλι του, όπως έκανα εγώ...

Έστω λοιπόν ότι έχετε ένα txt αρχείο με δεδομένα τα οποία περιέχουν πεδία στα ελληνικά, το encoding του αρχείου είναι UTF-8 και δουλεύετε σε ένα μηχάνημα που το locale του είναι Greek... Δοκιμάζοντας να κάνετε import το αρχείο σε μια βάση SQL Server μέσω του Management Studio πιθανότατα δεν θα το καταφέρετε με την πρώτη... Κατά πάσα πιθανότητα το error που θα συναντήσετε οι περισσότεροι θα αναφέρει ότι υπάρχουν δύο encodings στο αρχείο, ότι το UTF-8 είναι unsupported στον SQL Server (δεν ξέρω αν αυτό ισχύει για όλες τις εκδόσεις του) και διάφορα άλλα ενοχλητικά μηνύματα...

Το πρόβλημα λύνεται με τον εξής απλό τρόπο:

Όταν σετάρουμε τα options του Import Wizard στο Management Studio πρέπει να κάνουμε τις παρακάτω επιλογές:

mssql2008-import-wizard-1

mssql2008-import-wizard-2

Με λίγα λόγια, πρέπει να ορίσουμε στον Import Data Source Wizard το locale σε "English (United States)" και το encoding σε "65001 (UTF-8)"... Κατόπιν, στο μενού Advanced, πρέπει να ορίσουμε το data type όλων των πεδίων σε "Unicode_string [DT_WSTR]"... Στην συνέχεια πατάμε διαρκώς Next μέχρι να φτάσουμε στο τέλος του Wizard... Τα δεδομένα θα φορτωθούν στη βάση μας, στο default αρχείο που θα παράξει ο Wizard και από εκεί και πέρα είναι πολύ απλό να κάνεις όλα τα απαραίτητα transformations και να τα φορτώσεις στον τελικό πίνακα με τα σωστά data types... Τόσο απλά!

Οι εικόνες και το credit ανήκουν στην GeoDataSource ...

Τρίτη, 24 Νοεμβρίου 2015

Χρήση variables για την περιγραφή των qvd path names - QlikView...

Ένα κοινό "πρόβλημα" στο QlikView development είναι όταν θέλεις να δοκιμάσεις την εφαρμογή σου σε κάποιο άλλο περιβάλλον, test ή live... Λόγω της φύσης του QlikView το να αλλάξεις απλά το connection string στη βάση που διαβάζεις δεν είναι αρκετό διότι θα πρέπει να ορίσεις ξανά το path για όλα τα qvds που φορτώνονται στην εφαρμογή, ένα ένα... Κάτι τέτοιο είναι χρονοβόρο και μη αποδοτικό και αυξάνει τις πιθανότητες λάθους... Η χρήση της επιλογής των Relative Paths δεν λύνει το πρόβλημα διότι προϋποθέτει ότι η εφαρμογή και τα qvds βρίσκονται στο ίδιο folder ή έστω διαφέρουν κατά ένα level κάτι το οποίο προσωπικά θεωρώ αρχιτεκτονικό λάθος... 

Μια πολύ καλή λύση για να αντιμετωπιστεί μια τέτοια κατάσταση είναι η χρήση local variables για την αποθήκευση των path names των διαφόρων qvds... Αυτό γίνεται δηλώνοντας μια μεταβλητή vPathName αμέσως μετά τα αρχικά set statements στο Main tab του script editor η οποία περιέχει το full path προς το qvd repository το οποίο θέλουμε να χρησιμοποιήσουμε... Κατόπιν σε κάθε LOAD statement  αντικαθιστούμε το full path name του qvd με την μεταβλητή συν το όνομα του qvd, όπως φαίνεται στο παρακάτω script:


Με την μέθοδο αυτή μπορούμε να κάνουμε αλλαγή του path των qvds που διαβάζει η εφαρμογή μας αλλάζοντας μόνο μια γραμμή κώδικα...  Έτσι κερδίζουμε χρόνο, ελαττώνουμε τις πιθανότητες λάθους και κάνουμε τις εφαρμογές πιο portable... Η μέθοδος αυτή μπορεί να χρησιμοποιηθεί και για παραπάνω από ένα repositories, δημιουργούμε απλά μια δεύτερη μεταβλητή που να υποδεικνύει στο δεύτερο repository και την χρησιμοποιούμε όπου είναι απαραίτητο...

Παρασκευή, 20 Νοεμβρίου 2015

QlikView variable ως παράμετρος σε SQL query...

Το σημερινό tip είναι κάτι που έφτιαξα πριν περίπου 2 χρόνια, στην αρχή της ενασχόλησής μου με το QlikView, και προέκυψε από την ανάγκη να διαβάσω μια λίστα πελατών από ένα data source και μετά να περάσω αυτή την λίστα σαν παράμετρο σε ένα άλλο data source, μια βάση δεδομένων, για να συλλέξω όλη την πληροφορία που αφορούσε τους πελάτες αυτούς... Μετά από 2 χρόνια εντατικής δουλειάς και εμπειρίας ξέρω ότι υπάρχουν κι άλλοι τρόποι, να κάνεις την ίδια δουλειά, η συγκεκριμένη υλοποίηση όμως είναι ενδιαφέρουσα ως προς την χρήση των variables μέσα στο QlikView script σε συνδυασμό με SQL queries...

Έστω λοιπόν ότι το πρώτο data source είναι ένα Excel αρχείο στο οποίο περιέχονται κωδικοί πελατών τους οποίους θέλουμε να διαβάσουμε και να αναζητήσουμε σε ένα άλλο data source, μια βάση δεδομένων... Για να το καταφέρουμε αυτό θα δημιουργήσουμε μια μεταβλητή η οποία θα περιέχει σαν ένα μεγάλο string, όλους τους κωδικούς πελατών (χωρισμένους με κόμματα και κλεισμένους μέσα σε "αυτάκια") και θα την θέσουμε σαν παράμετρο του WHERE statement του query με το οποίοι θα διαβάσουμε τη βάση... 

Αυτό επιτυγχάνεται, όπως θα δείτε στο πρώτο script πιο κάτω, δημιουργώντας μια μεταβλητή (vNoOfRows) που θα περιέχει τον αριθμό των κωδικών πελατών που φορτώσαμε στο QlikView και τρέχοντας ένα for loop για κάθε ένα CustomerID που βρίσκει, μέχρι τον αριθμό του vNoOfRows ...Σε κάθε λούπα προσθέτουμε το CustomerID στην μεταβλητή vCus η οποία θα περιέχει στο τέλος όλη την λίστα των CustomerIDs χωρισμένων με κόμματα σε μορφή τέτοια ώστε να μπορέσουμε να την ενσωματώσουμε σε ένα SQL Query...



Από αυτό το σημείο και μετά τα πράγματα είναι πολύ απλά... Απλά τρέχουμε το query μας με παράμετρο την μεταβλητή vCus και φορτώνουμε στο QlikView τα στοιχεία μόνο εκείνων των πελατών που μας αφορούν...

Δευτέρα, 9 Νοεμβρίου 2015

Πώς να καθαρίσουμε το workspace με ένα μόνο command - R...

Θα υπάρξουν φορές δουλεύοντας με την R που θα βρεθείτε με ένα workspace γεμάτο variables τις οποίες δεν χρειάζεστε αλλά θέλετε να συνεχίσετε τη δουλειά σας με ένα άδειο workspace... 

Υπάρχουν δυο τρόποι να το κάνετε αυτό...

Ο πρώτος είναι να κλείσετε το session που δουλεύετε χωρίς να σώσετε τα περιεχόμενα του workspace στο .RData file... Ο τρόπος αυτός όμως έχει τα μειονεκτήματα ότι πρέπει να ξαναφορτώσετε από την αρχή όλα τα packages τα οποία είναι απαραίτητα για την ανάλυσή σας και ότι πρέπει να ξαναδηλώσετε το working directory...

Ο δεύτερος τρόπος είναι πιο απλός και σύντομος και περιλαμβάνει μόνο το παρακάτω command:


Το command αυτό διαγράφει μόνο τα variables που περιέχει το workspace αφήνοντας το απολύτως κενό χωρίς όμως να επηρεάζει τα loaded packages ή άλλα preferences που σχετίζονται με το current session θέλει όμως προσοχή στην χρήση του καθώς όπως είπαμε διαγράφει πλήρως το workspace...