Cách lấy url của web

  -  

Lấy danh sách tất cả URL của một website có thể sử dụng cho nhiều mục đích khác nhau. Là một webmaster thì Tina cũng có nhu cầu này, mục đích lấy tất cả URL của một website đối với Tina chính là để phân tích đối thủ. Ngoài ra, danh sách URL của website cũng mang rất nhiều thông tin hữu ích khác. Nói chung thì khi bạn tìm đến bài hướng dẫn này, chắc chắn bạn đang cần thu thập URL của website để sử dụng cho một mục đích nào đó, phân tích, trích tác dữ liệu, hay đơn giản là phán đoán quy mô… Cùng Tina tìm hiểu xem có những cách nào để lấy tất cả URL của một website nhé.

Bạn đang xem: Cách lấy url của web

*
lấy tất cả URL của một website

Hướng dẫn lấy tất cả URL của một Website

Cách 1: Dùng Xenu’s Link Sleuth để thu thập tất cả URL website

Xenu’s Link Sleuth là một phần mềm mã nguồn mở, miễn phí và mạnh mẽ. Nó cho phép bạn Crawl tất cả URL một website một cách nhanh chóng, sau đó sẽ có tùy chọn Save ra file để lưu trữ xem lại sau, hoặc cũng có thể Export ra file Text để tiện lọc dữ liệu (dùng Notepad++ để lọc nhé).

Hướng dẫn sử dụng Xenu để Crawl URL website

Bước 1: Bạn tải Xenu’s Link Sleuth tại đây: Download

Bước 2: Cài đặt Xenu vào máy tính của bạn (Phần mềm này phù hợp cả Win32 bit và Win64 bit nhé)

Bước 3: Mở Xenu lên sau đó vào menu => File => Check URL… như hình dưới

*
Chọn Check URL…

Bước 4: Nhập URL của website chính mà bạn muốn lấy tất cả URL (nhớ thêm http hoặc https như hình nhé)

*
nhớ dùng url có http hoặc https – Bỏ tích ô Check extenal links

Bước 5: Bỏ tích ở ô Check extenal links sau đo nhấn OK

*
Lưu định dạng mà bạn muốn, lưu TXT sẽ dễ lọc hơn

Bước 6: Ngồi uống ly cà phê và chờ nhé ^^. Sau khi Xenu Crawl xong, bạn có thể xuất file theo 2 cách

=> Save (hoặc Save as…) => để lưu trữ, coi lại và xử lý sau.

=> Export to TAB separated file… => Để lọc những dữ liệu cần thiết bằng thủ thuật Notepad++

Để lọc dữ liệu hiệu quả, bạn cần một số kỹ năng sử dụng Notepad++ nhé. Cái này bạn có thể tự tìm hỏi chị Google. Tina cũng sẽ update một số bài để hướng dẫn sử dụng Notepad++ được hiệu quả hơn hen.

Xem thêm: Bộ Đề Thi Hk1 Toán 12 Có Đáp Án, Đề Thi Học Kì 1 Lớp 12 Môn Toán

Cách 2: Dùng Screaming Frog SEO Spider để thu thập URL

Về cơ bản, Screaming Frog SEO Spider là một phần mềm trả phí, có chức năng giống hệt như Xenu ở phía trên. Nhưng lại có nhiều tùy chọn hơn một chút. Vì vậy nếu có yêu cầu gì cao siêu hơn chỉ là thu thập URL bạn có thể sử dụng Screaming Frog SEO Spider nhé. Phần mềm này có cả bản miễn phí nhưng tinh năng bị giới hạn rất nhiều so với bản trả phí.

*
Screaming Frog SEO Spider

Tina liệt kê một số tính năng nâng cao mà phần mềm này cung cấp cho người dùng.

Xem thêm: Ý Yên Nhân Rộng Các Mô Hình Kinh Tế Hiệu Quả Kinh Tế Cao Ở Bắc Ninh

Tìm liên kết bị hỏng, lỗi và chuyển hướngPhân tích tiêu đề trang & dữ liệu metaXem lại Meta Robots & Chỉ thịKiểm toán thuộc tính hreflangKhám phá các trang trùng lặpTạo sơ đồ trang web XMLTrang web trực quanThu thập thông tin giới hạnLập kế hoạchThu thập thông tin cấu hìnhLưu thu thập thông tin & tải lên lạiKết xuất JavaScriptRobot.txt tùy chỉnhThu thập và xác thực AMPDữ liệu có cấu trúc & Xác nhậnTìm kiếm mã nguồn tùy chỉnhKhai thác tùy chỉnhTích hợp Google AnalyticsTích hợp bảng điều khiển tìm kiếmTích hợp thông tin chi tiết của PageSpeedLiên kết số liệu tích hợpXác thực dựa trên mẫuLưu trữ và xem HTML thô & kết xuất

Nói chung là rất nhiều tính năng luôn. Nhưng đa số thì mình cũng không dùng hết được. Thao tác sử dụng thì cũng rất dễ dàng. Bạn cài đặt phần mềm, sau đó nhập tên miền và nhấn Start và chờ đợi là xong.

Mời các bạn tham khảo video sử dụng Screaming Frog SEO Spider dưới đây:

Hy vọng bài viết về cách thu thập tất cả URL của một website sẽ giúp các bạn tìm được công cụ thích hợp để làm việc này. Chúc thành công ^^!