SEOFactoryBot

SEOFactoryBot הוא הסורק של מערכת התוכן שלנו. הוא קורא דפים ציבוריים כדי לבדוק עובדות ולמצוא מקורות למאמרים שאנחנו כותבים באתר הזה. הוא לא נכנס לאזורים שדורשים התחברות, לא ממלא טפסים ולא מאמן מודלים על התוכן שלכם.

איך הוא מזדהה

כל בקשה נשלחת עם ה־User-Agent הבא: SEOFactoryBot/0.1 (+https://www.futures-finance.com/bot)

מה הוא מכבד

לפני כל אתר הוא קורא את robots.txt ומכבד אותו. אם הקובץ לא נגיש או מחזיר שגיאה, הוא לא סורק את האתר בכלל. הוא שומר מרווח זמן קבוע בין בקשות לאותו שרת, מוריד רק דפי HTML וטקסט במגבלת גודל, ולא עוקב אחרי קישורים לכתובות פנימיות או פרטיות.

איך חוסמים אותו

מוסיפים לקובץ robots.txt באתר שלכם:

User-agent: SEOFactoryBot
Disallow: /

החסימה נכנסת לתוקף בביקור הבא של הסורק באתר.

In English

SEOFactoryBot is the crawler of our content system. It reads public pages to check facts and find sources for the articles we publish on this site. It never logs in, never submits forms and does not train models on your content. It identifies itself as SEOFactoryBot/0.1 (+https://www.futures-finance.com/bot), reads and obeys robots.txt before every site (an unreachable or failing robots.txt means it does not crawl that site), waits between requests to the same host and only downloads size-limited HTML and text.

To block it, add User-agent: SEOFactoryBot followed by Disallow: /to your robots.txt. It takes effect on the crawler's next visit.