Το bot μας: CyPricesBot

Το Τιμοσκόπιο συγκρίνει τιμές καταστημάτων της Κύπρου. Για να το κάνει, ένα πρόγραμμα επισκέπτεται τις δημόσιες σελίδες προϊόντων μία φορά τη νύχτα και κρατάει όνομα, τιμή, διαθεσιμότητα, φωτογραφία και σύνδεσμο. Κάθε προϊόν στο site οδηγεί πίσω στο κατάστημα.

Πώς αναγνωρίζεται

Το User-Agent του ξεκινά πάντα με:

CyPricesBot/

Τι σέβεται

• Το robots.txt κάθε καταστήματος, μαζί με το Crawl-delay.
• Μία αίτηση τη φορά ανά κατάστημα, με αναμονή ανάμεσα στις σελίδες.
• Αν ένα κατάστημα απαντήσει ότι δεν θέλει bots (403 ή challenge), σταματάει και δεν προσπαθεί να το παρακάμψει.
• Δεν συνδέεται σε λογαριασμούς, δεν βάζει προϊόντα στο καλάθι και δεν στέλνει φόρμες.

Πώς το σταματάτε

Προσθέστε στο robots.txt σας:

User-agent: CyPricesBot
Disallow: /

Από την επόμενη νύχτα δεν θα επισκεφτεί το site σας και τα προϊόντα σας θα φύγουν από τις λίστες μέσα σε 3 μέρες.

Για οτιδήποτε άλλο, ή αν θέλετε να μας δίνετε feed προϊόντων: timoskopio@gmail.com