Crawler-ul stiri.live
stiri.live grupează relatările mai multor publicații despre același eveniment, cu link către articolul original al editorului. Pentru asta, un program automat (crawler) citește paginile publice ale publicațiilor.
Identificare
- User-Agent
stiri.live/0.1 (+https://stiri.live/bot)- Token robots.txt
stiri.live
Ce respectăm
- robots.txt: regulile pentru
stiri.live, altfel cele pentru*. - Rezervarea drepturilor de text and data mining (art. 4 din Directiva (UE) 2019/790): antetul HTTP
tdm-reservation: 1sau<meta name="tdm-reservation" content="1">. Paginile marcate astfel nu sunt stocate. - Doar conținut public: nu ne autentificăm și nu ocolim paywall-uri.
- Un ritm moderat de cereri, ca să nu încărcăm serverele publicațiilor.
Ce afișăm
Nu republicăm articole. Afișăm fapte pe scurt, sursa fiecărei informații și link către publicația originală.
Cum ne opriți
Adăugați în robots.txt:
User-agent: stiri.live
Disallow: /
sau marcați paginile cu rezervarea TDM de mai sus.
Contact
In English
stiri.live groups reports from several Romanian publications about the same event, linking back to the original
articles. Our crawler (stiri.live/0.1 (+https://stiri.live/bot)) reads public pages only. It obeys robots.txt (token
stiri.live, otherwise *), honours text and data mining reservations
(tdm-reservation: 1 header or meta tag, Art. 4 of Directive (EU) 2019/790), never logs in or bypasses
paywalls, and keeps a moderate request rate. We do not republish articles.
To opt out, add User-agent: stiri.live / Disallow: / to your robots.txt.
Contact: contact [at] stiri [dot] live
.