ابزار اسکریمینگ فراگ چیست؟ آموزش جامع Screaming Frog

از اهمیت سئو سایت که هرچه بگوییم کم گفتیم! مطمئنیم جناب سئو در اینجا معرف حضور همگان هستند. در این میان ابزارهایی هم هستند که کار سئو سایت را برای ما مثل آب خوردن راحت می کنند. فقط کافیست این ابزارها را بشناسیم و از آن ها استفاده کنیم تا دردسر سئو را کم تر کنیم.

یکی از این ابزارهای مهم آنالیز سئو ، ابزار اسکریمینگ فراگ Screaming Frog یا همان قورباغه جیغ جیغوی خودمان است. از این قورباغه چه می دانید؟ با عملکرد آن آشنا هستید؟ در ادامه این مطلب می خواهیم با اسکریمینگ فراگ بیشتر آشنا شویم. پیشنهاد می کنیم معرفی قورباغه جیغ جیغو را از دست ندهید.

چرا به سراغ نرم افزار اسکریمینگ فراگ برویم؟

اسکریمینگ فراگ یک ابزار بررسی سریع و پیشرفته سئو است. کسب و کارهای موفقی مانند آمازون، دیزنی، گوگل و اپل همگی از اسکریمینگ فراگ استفاده می کنند. بدون این ابزار، شما مجبورید به صورت دستی هر صفحه در وبسایت خود را بررسی کنید.

اول جالب به نظر می رسد اما بعد از مدتی، بررسی صفحه به صفحه شدیدا اعصاب خردکن است! همچنین احتمال زیادی وجود دارد که اگر به صورت دستی بررسی کنید، مواردی مثل ری دایرکت، محتوای تکراری، متا و غیره را از دست بدهید.

مزایای ابزار اسکریمینگ فراگ که باعث می شود شاخ در بیاورید!

دیدم که اسکریمینگ فراگ یک ابزار است که می خواهد به شما کمک کند سئو خوبی داشته باشید. حالا بیایید با هم ببینیم چطور این کار را انجام می دهد.

اسکریمینگ فراگ وقتی لینک شکسته ببیند، جیغ می زند

پیش از هر چیز بیایید با لینک شکسته آشنا شویم:

لینک شکسته یا Broken Link، به لینکی می گوییم که وقتی روی آن کلیک کنید به صفحه ای بدون محتوا هدایت می شوید. مثلا ممکن است Error 404 ببینید.

از سال 2016، لینک ها یکی از فاکتورهای برتر کسب رتبه در نتایج گوگل هستند. لینک های شکسته می توانند بر زمان گذرانده شده در صفحه و نرخ پرش تاثیر بگذارند.

آن ها همچنین نشان می دهند وبسایت شما متعلق به عهد بوق است؛ چرا که لینکی که داده اید مدت هاست از بین رفته. در نتیجه بر سئوی شما تأثیر منفی می گذارند. اسکریمینگ فراگ این لینک ها را شناسایی می کند تا بتوانید به سادگی حذف کنید.

اسکریمینگ فراگ، مچ محتوای تکراری را می گیرد

محتوای تکراری، محتواییست که با محتواهای دیگر به همان زبان مطابقت دارد یا مشابه است. وجود محتوای تکراری در سایت شما می تواند منجر به یک تجربه کاربری ضعیف شود. در نتیجه اگر محتوای کپی شده داشته باشید، اسکریمینگ فراگ تشخیص می دهد تا بتوانید آن را ویرایش کنید.

نبود تیتر را شناسایی می کند

برچسب های عنوان و تیتر برای کمک به کاربران است که بتوانند محتوا را در صفحه پیدا کنند. نبود تگ های عنوان می تواند بر رتبه بندی موتورهای جستجو و نرخ کلیک تأثیر بگذارد.

نقشه سایت XML ایجاد می کند

داشتن یک نقشه سایت مهم است. چرا که به موتور جستجو کمک می کند صفحات وبسایت شما را پیدا کند، آن ها را بخزد و ساختار وبسایت را درک کند. اسکریمینگ فراگ می تواند برای شما یک نقشه سایت ایجاد کند.

بر ری دایرکت ها نظارت می کند

هنگامی که در هر یک از URLهای خود تغییراتی ایجاد می کنید، باید از ری دایرکت یا همان redirect استفاده کنید تا بتوانید سیگنال های index و لینک را از URLهای قدیمی به URLهای جدید ارسال کنید. اسکریمینگ فراگ، این بررسی را برای شما انجام می دهد. هنوز هم در استفاده از آن شک دارید؟

در مقاله سئو تکنیکال چیست و آموزش سئو فنی توضیح دادیم چطور می توانید از سیگنال های ایندکس صفحات با استفاده از این ابزار آگاه شوید.

در وبسایت های جاوا اسکریپت می خزد!

خزیدن در جاوا اسکریپت بیشتر طول می کشد. چون تمام منابع آن باید جمع آوری شوند. اسکریمینگ فراگ می تواند این صفحات وب را برای شما رندر کند.

معماری سایت را به تصویر می کشد

معماری سایت روشی است که شما مطالب را در سایت خود دسته بندی کرده، ساختار و لینک داخلی می دهید. این یک اصل اساسی در سئو فنی است. داشتن یک معماری سئو پسند، به هدایت بیشتر کاربران به محتوای شما منجر می شود. چرا که کاربران به راحتی آنچه را که به دنبال آن هستند پیدا می کنند و این و به گوگل کمک می کند آن را فهرست کند.

عناوین صفحات را تجزیه و تحلیل می کند

عناوین صفحه و توضیحات متا به کاربران کمک می کند بدانند از صفحه شما چه انتظاری دارند. توضیحات متا همچنین به موتورهای جستجو کمک می کند تا بدانند صفحه شما حاوی چه چیزی است و نرخ کلیک از طریق جستجوی ارگانیک را افزایش می دهد. با انجام یک تجزیه و تحلیل، می توانید مشکلاتی را پیدا کنید که به شما در بهینه سازی عناوین و توضیحات متا کمک می کند.

دوره آموزش اسکریمینگ فراگ مقدماتی تا پیشرفته

در دوره آموزشی اسکریمینگ فراگ مقدماتی تا پیشرفته، به صورت عملی و گام به گام، شما با مشکلات مختلفی که باعث افت رتبه سایت می‌شوند، آشنا خواهید شد. در این دوره، به مواردی مانند وجود کد‌های مخرب، بهینه‌سازی عنوان، Meta Description و تگ‌های سایت و عواملی که باعث افت سرعت سایت می‌شوند، پرداخته خواهد شد.

با استفاده از این ابزار و آموزش جامع Screaming Frog ارائه شده در دوره، شما قادر خواهید بود سئو داخلی سایت خود را بهبود داده و استراتژی لینک سازی داخلی سایت رقبا را مشاهده کنید و استراتژی بهتری برای لینک‌سازی در سایت خود تدوین کنید.

سرفصل های دوره اسکریمینگ فراگ پیشرفته شامل:

• نصب و راه اندازی و آشنایی با محیط Screaming Frog
• بررسی meta tag های هر صفحه به طور جداگانه و شناسایی مشکلات
• بررسی فایل های داخلی و خارجی وب سایت شما (HTML, CSS, JS)
• بررسی ریدایرکت های وب سایت شما و شناسایی و رفع خطاها
• بررسی ساختار وب سایت و صفحات
• بررسی هدینگ های هر صفحه به طور جداگانه
• بررسی تصاویر از نظر حجم، اندازه، alt و غیره
• بررسی ساختار صفحه بندی و کنونیکال وب سایت شما
• بررسی وب سایت های CSR و AMP
• اتصال ابزار به سرچ کنسول و گوگل آنالیتیکس و بررسی هر صفحه به طور جداگانه
• اتصال ابزار به Page Speed Insight و بررسی سرعت تمامی صفحات وب سایت شما به طور جداگانه
• پیدا کردن پیلار کلاسترینگ رقبا
• پیدا کردن لینکسازی خارجی خود و رقبا با استفاده از سکریمینگ فراگ
• ساخت سایت مپ عکس و تصاویر
• بهبود Crawl Budget وب سایت شما
• ایجاد ساختار Visualizations برای وب سایت خود و رقبا
• بررسی مشکلات سمت سرور
• راهنمای اتصال به لوکر استدیو Looker Studio ( دیتا استدیو گوگل)
• آموزش گزارش گیری هفتگی از سئو داخلی

و بسیاری آموزش نکات مهم کاربردی براساس پروژه های واقعی که یک متخصص سئو باید در ابزار Screaming Frog باید توجه کنیم.

دوره اسکریمینگ فراگ چه افرادی مناسب است؟

اگر دغدغه‌ شما تحلیل سئوی داخلی سایت است و می‌خواهید بتوانید مشکلات متنوع سئوی داخلی را به طور ساده و راحت‌تر بعنوان متخصص سئو تشخیص دهید، ابزار اسکریمینگ فراگ در اینجاست تا به شما کمک کند. این ابزار با ارائه گزارش‌های کاربردی، فرایند زمان‌بر و خسته‌کننده‌ی شناسایی و حل مشکلات را برای شما سریع‌تر می‌کند. استفاده از اسکریمینگ فراگ کاملا رایگان است و شما می‌توانید بدون هیچ محدودیتی، همه صفحات سایت خود را با آن بررسی کنید.

و اما این دوره تلاش کرده‌ام که این دوره را کامل‌ترین و به‌روز‌ترین آموزش ارائه‌شده در فضای اینترنت تا به امروز (خرداد 1402) بسازیم. امیدواریم که با دیدن این دوره، شما عزیزان راضی و خرسند باشید. هدف ما این است که با آموزش استفاده از نرم‌افزار اسکریمینگ فراگ، شما بتوانید سایت‌های خود را به طور کامل و موثر تر بررسی کنی.

12 ویژگی و ترفند اسکریمینگ فراگ که نمی دانستید

سئو فنی یکی از سخت ترین (از نظر دانش فنی) و زمان برترین بخش ها در هر کمپین سئو است، به ویژه در پروژه های بزرگ که بررسی هزاران یا میلیون ها URL تقریباً غیرممکن می شود. به همین دلیل است که درک نحوه استفاده از اتوماسیون برای متخصصان فنی سئو بسیار مهم است. منظورمان استفاده هوشمندانه از ابزارهایی چون اسکریمینگ فراگ است. این کار به شما امکان می دهد به جای جمع آوری داده ها بر تجزیه و تحلیل آن ها تمرکز کنید.

در ادامه این بخش می خواهیم سیزده ویژگی اسکریمینگ فراگ را بررسی کنیم که در صدها ساعت از وقت شما صرفه جویی خواهد کرد و کار با وب سایت های بزرگ را آسان می کند. حتما مقاله سئو داخلی چیست را نیز بخوانید تا بتوانید از امکانات دیگر اسکریمینگ فراگ استفاده کنید.

به جای حافظه رم، با حافظه پایگاه داده کرال کنید!

اسکریمینگ فراگ به طور پیش فرض از رم دستگاه شما برای ذخیره داده های خزش یا کرال (crawl) استفاده می کند. اگرچه این کار فرآیند را بسیار سریع می کند، اما بهترین گزینه برای خزیدن در وبسایت های بزرگ نیست. چرا که RAM شما ظرفیت ذخیره سازی داده های زیادی را نخواهد داشت.

به جای آن، ذخیره سازی در پایگاه داده بسیار آسان است و تا زمانی که دستگاه شما از SSD استفاده می کند، به همان سرعت انجام می شود. کافیست در اسکریمینگ فراگ به Configuration > System > Storage Mode بروید و از منو، حالت Database Storage را انتخاب کنید. همچنین می توانید مسیری که می خواهید داده ها در آن ذخیره شوند را نیز تغییر دهید. پیشنهاد می کنیم مقاله کرال باجت چیست را مطالعه کنید.

از قابلیت Request Data API برای دریافت داده های Retroactive استفاده کنید

اتصال Google Analytics، Search Console، Moz، Ahrefs، PageSpeed Insights، یا هر منبع داده دیگری، بینش بیشتری را هنگام بررسی سایت به شما می دهد.

به علاوه، در وقت شما صرفه جویی می کند. با این حال، دسترسی به این ابزارها پس از انجام خزش اولیه یا فراموش کردن لینک آن ها به اسکریمینگ فراگ بسیار رایج است. برای این موارد، اسکریمینگ فراگ در واقع یک دکمه «Request Data API» دارد که به شما امکان می دهد داده ها را از APIها بیرون بکشید و سپس آن ها را با URL مربوطه در خزش فعلی مطابقت دهید.

بررسی redirect ها در حین و پس از انتقال سایت

هنگام انجام انتقال سایت یا دامنه، یکی از وقت گیرترین و حساس ترین کارها این است که بررسی کنید که هر URL به درستی به مکان جدید منتقل شده باشد. یک بررسی همه جانبه می تواند به معنای صدها صفحه از دست رفته، Error 404، لینک های داخلی خراب و موارد دیگر باشد.

با این حال، انجام آن به صورت دستی با وجود میلیون ها URL ممکن است خسته کننده یا حتی غیرممکن باشد. برای خودکار کردن این فرآیند تا حد امکان، می توانید از حالت لیست برای آپلود لیستی از URLهای قدیمی استفاده کنید و زنجیره redirect را دنبال کنید.

برای این کار از گزینه always follow redirects استفاده کنید. روی کادر کلیک کنید تا همیشه ریدایرکت ها را دنبال کنید. راه دیگری برای انجام این کار این است که لیست URLهای قدیمی را پس از انتقال آپلود کنید و به دنبال کدهای پاسخ متفاوت از 301 بگردید.

برای مثال، هر URL که یک 404 را برمی گرداند، همچنان به ریدایرکت نیاز دارد. مطالب بیشتر در مورد ریدایرکت ها را در مقاله ریدایرکت چیست و انواع تغییر مسیرها برای سئو می توانید ببینید.

نقشه سایت را در اسکریمینگ فراگ ایجاد و دیباگ کنید

اسکریمینگ فراگ با اتوماسیون کارهای دستی زمان بر، مدیریت نقشه های سایت را سریع تر و کارآمدتر می کند. یکی از مسائل رایج سئو فنی برای مشاغل غیرتکنولوژیکی، فقدان نقشه سایت است. این فایل XML به گوگل و سایر موتورهای جستجو کمک می کند صفحات جدید را کشف کنند و اطلاعات اضافی مانند تگ های hreflang و ارتباط بین صفحات را داشته باشند.

برای ایجاد نقشه سایت جدید، وب سایتی را که روی آن کار می کنید (در حالت spider) بخزید و سپس به Sitemaps > XML Sitemap بروید و صفحاتی را که می خواهید در فایل XML قرار دهید را علامت بزنید. اگر صفحات قبلا داده های hreflang دارند، اسکریمینگ فراگ خودش این پیوندها را به فایل XML اضافه می کند.

به طور پیش فرض، اسکریمینگ فراگ فقط صفحاتی را اضافه می کند که پاسخ 2xx را برمی گردانند. با این وجود، می توانید صفحات را بر اساس کد وضعیت، وضعیت فهرست، صفحه بندی، فایل های PDF، آخرین ویرایش و غیره اضافه یا حذف کنید.

البته این موضوع فقط مختص ساخت نقشه سایت نیست. اگر نقشه سایت از قبل وجود داشته باشد هم باید از اجرای صحیح آن اطمینان حاصل کنید. در این موارد، می توانید اسکریمینگ فراگ را به حالت فهرست تغییر دهید و URL سایت هدف را برای خزیدن آپلود کنید.

اگر به صورت دستی روی نقشه سایت کار می کنید و می خواهید ریدایرکت ها، لینک های شکسته و موارد دیگر را دوباره بررسی کنید، می توانید همین کار را انجام دهید.

لینک های داخلی شکسته و ریدایرکت را پیدا کنید

در بسیاری از موارد، پاکسازی و بهینه سازی لینک های داخلی می تواند یک موفقیت سریع در کمپین سئو شما باشد. با این حال، داده های حاصل از خزش زیادی وجود دارند که می توانند حواستان را پرت کنند.

برای کمک به تمرکز بر روی این کار، کافی است در اسکریمینگ فراگ به Configuration > Spider بروید و تیک تصاویر، CSS، جاوا اسکریپت و هر فایل دیگری را که شامل هیچ لینک داخلی نیست بردارید. این کار عمدتا برای صرفه جویی در قدرت پردازش و سریع تر خزیدن است. حتی می توانید داده های استخراج شده از URL ها را محدود کنید، اما این کار لازم نیست. مگر اینکه با تعداد زیادی URL کار کنید.

سپس، وبسایت را در حالت spider بخزید و برگه داخلی را بر اساس کد وضعیت مرتب کنید. برای دسترسی به برگه داخلی روی یک URL خاص کلیک کنید. اکنون می توانید یک URL را انتخاب کنید و لینک هایی که به آن داده شده و همچنین انکرتکست ها را در تب InLinks بررسی کنید. در نهایت، تمام لینک های داخلی دارای مشکل را با رفتن به Bulk Report > Response Codes and exporting پیدا می کنید:

• Redirection (3xx) Inlinks
• Client Error (4xx) Inlinks
• Server Error (5xx) Inlinks

همچنین می توانید فهرست کامل را در InLinks اکسپورت کرده و بعداً کدهایی با پاسخ غیر از 200 را فیلتر کنید.

صفحات مختلف یا زیردامنه ها را حذف/اضافه کنید تا خزیدن را محدود کنید

وقتی با یک وبسایت بزرگ کار می کنید، احتمالاً می خواهید کل سایت را بخزید تا به دنبال مشکلات بگردید. با این حال، وقتی حجم عظیمی از داده ها را می بینید که باید مرتب کنید، می تواند برای شما واقعا استرس زا باشد. در این موارد، بهتر است وبسایت را به قسمت های کوچک تر تقسیم کنید تا فقط در آن صفحات بخزید. ( شما میتوانید برای دریافت اطلاعات بیشتر درباره بودجه خزش مقاله کرال باجت چیست و راهکارهای بهبود بودجه خزش را مطالعه کنید. )

می توانید از برخی عبارات RegEx استفاده کنید تا به اسکریمینگ بگویید که کدام صفحات و زیردامنه ها را می خواهید بخزد و خزیدن خود را فقط به یک بخش در هر زمان محدود کنید. فرض کنید می خواهید فقط با محتوای وبلاگ کار کنید و همه آن در زیر پوشه /blog/ است.

به Configuration > Include بروید و سپس از عبارت https://example.com/blog/. استفاده کنید. بنابراین اسکریمینگ فراگ فقط URLهایی را که با ابتدای URL مطابقت دارند می خزد. می توانید همین کار را با تابع Exclude انجام دهید تا زیرشاخه هایی را که با پارامترهای شما مطابقت دارند بخزد.

فقط صفحات”Clean” HTML را علامت بزنید

اگر می خواهید ابرداده های صفحات خود را بهینه کنید، فهرستی از URLها ایجاد کنید. می توانید به اسکریمینگ فراگ بگویید فقط در این صفحات بخزد و انواع فایل های مختلف را نادیده بگیرد. کافیست به Configuration > Spider بروید، تیک تمام کادرها را از بخش Resource Links بردارید و خزیدن را همانطور که معمولا انجام می دهید شروع کنید.

با این حال، اگر URLهای زیادی با پارامتر دارید، ممکن است بخواهید از عبارت RegEx برای حذف همه پارامترها استفاده کنید؛ مانند:

• \؟ برای حذف همه URLهایی که علامت سوال در آن ها وجود دارد (علامت سوال باید به عقب اسلش شود تا کار کند)
• همچنین می توانید یک پارامتر خاص مانند فیلتر قیمت را با افزودن syntax آن حذف کنید. به عنوان مثال \?price

می توانید ایده های حذف بیشتری را در راهنمای اسکریمینگ فراگ پیدا کنید.

مشکلات خزیدن را بررسی کنید

موتورهای جستجو باید بتوانند صفحات شما را در نتایج جستجو بخزند، فهرست و رتبه بندی کنند. دو راه اصلی وجود دارد که اسکریمینگ فراگ می تواند به نحوه درک موتورهای جستجو از وبسایت شما کمک کند:

User-Agent را از منوی Configuration > User Agent تغییر دهید و رباتی را که می خواهید تقلید کنید انتخاب کنید. به عنوان مثال، می توانید آن را به نسخه دسکتاپ گوگل تغییر دهید و مانند گوگل داده ها را جمع آوری کنید.

برای اینکه بدانید آیا ربات ها می توانند همه لینک هایی را که باید دنبال شوند پیدا کنند، یک URL خاص را که می خواهید آزمایش کنید، خزیده و سپس پیوندهای خروجی را اکسپورت کنید. نبود لینک ها در گزارش outlinks به معنای حل مشکل خزیدن است.

از الگوریتم امتیاز برای بهبود لینک داخلی استفاده کنید

امتیاز لینک اسکریمینگ فراگ معیاری است که ارزش یک صفحه را بر اساس تعداد لینک های داخلی که به آن هدایت می شوند محاسبه می کند. این یک معیار مفید برای یافتن صفحاتی است که می توانند از پیوندهای داخلی برای کمک به بهبود عملکرد استفاده کنند.

برای به دست آوردن این داده ها، باید پس از انجام خزیدن اولیه، یک تحلیل خزش انجام دهید. کافیست در منو به Crawl Analysis رفته و روی start کلیک کنید. امتیاز لینک را می توان در برگه داخلی پیدا کرد.

مشکلات سرعت صفحه را در اسکریمینگ فراگ پیدا کنید

بهینه سازی سرعت صفحه اینگونه شروع می شود که شما صفحاتی را که باید روی آن ها تمرکز کنید مشخص می کنید. سپس وبسایت را خزیده و روی تب Response Code کلیک کنید. داده های سرعت در زیر ستون Response Time خواهند بود.

با این حال، اگر می خواهید تحلیل عمیق تری انجام دهید، می توانید یک کلید API PageSpeed Insights ایجاد کنید و آن را به اسکریمینگ فراگ متصل کنید. هنگامی که خزیدن انجام شد، به یک برگه جدید PageSpeed Insights دسترسی خواهید داشت، جایی که می توانید تمام داده های عملکرد صفحه را برای URLهای خزیده شده مشاهده کنید.

بررسی کنید که کد گوگل آنالیتیکس به درستی در سراسر سایت تنظیم شده است

اسکریمینگ فراگ می تواند با خزیدن در وب سایت، اجرای Google Analytics (GA) را آسان کند. برای شروع، دو فیلتر ایجاد کنید. یک کد که تمام صفحات حاوی شماره UA شما را فیلتر می کند و یک کد که صفحاتی را که فاقد شماره هستند فیلتر می کند.

همچنین می توانید با برداشتن تیک کادرها از منوی Configuration > Spider، همه فایل هایی که صفحات HTML نیستند را از خزیدن حذف کنید. اینگونه کار سریع تر انجام می شود. با این حال، اگر کد خود را به عنوان لینک دارید، می توانید لینک را هم به فیلترها اضافه کنید تا صفحات حاوی آن را پیدا کنید.

سایت های جاوا اسکریپت را برای یافتن مشکلات رندر جستجو کنید

اسکریمینگ فراگ می تواند صفحات جاوا اسکریپت را تنها با علامت زدن یک کادر رندر کند. کافیست به Configuration > Spider > Rendering بروید، جاوا اسکریپت را از منوی کشویی انتخاب کنید و گزینه Enable Rendered Page Screenshots را علامت بزنید.

شما می توانید از این تابع برای مقایسه خزیدن های Text Only در مقابل JavaScript استفاده کنید. این مهم است زیرا شما می خواهید مطمئن شوید که تمام لینک ها و منابع مهم شما می توانند توسط موتورهای جستجو بارگیری شوند.

با این اوصاف، اسکریمینگ فراگ می تواند جاوا اسکریپت را بسیار بهتر از موتورهای جستجو ارائه کند. به همین دلیل، توصیه می کنیم از راه حلی مانند Prerender استفاده کنید تا مطمئن شوید برنامه های تک صفحه ای و صفحات سنگین جاوا اسکریپت به درستی خزیده شده و ایندکس می شوند.

سوالات متداول

سخن پایانی

اگر برای بهبود سئوی وب سایت خود جدی هستید، اسکریمینگ فراگ ابزاری است که در مجموعه خود به آن نیاز دارید. خزیدن وب سایت ها و جمع آوری داده ها در مورد آن ها یک کار پیچیده است.

اما، این ابزار اطلاعات را به شیوه ای سازماندهی شده تر ترتیب می دهد تا برای شما آسان تر شود. استفاده از آن همیشه آسان نیست، اما ارزش تلاش کردن را دارد تا یاد بگیرید چگونه از آن بیشترین بهره را ببرید. اینگونه شما می توانید مشکلاتی را که بر رتبه بندی شما در موتورهای جستجوی تأثیر منفی می گذارد، برطرف کنید.