Một 'phần mềm nhện' là một chương trình không người lái được vận hành bởi một công cụ tìm kiếm để lướt Web giống như bạn làm. Khi truy cập mỗi trang Web, nó ghi lại (lưu vào ổ cứng) tất cả các từ trên mỗi trang và ghi chú từng liên kết đến các trang khác. Sau đó, nó 'nhấp chuột' vào một liên kết, và tắt nó đi để đọc, lập chỉ mục và lưu trữ một trang Web khác.
Phần mềm spider thường đọc và sau đó lập chỉ mục toàn bộ văn bản của mỗi trang Web mà nó truy cập vào cơ sở dữ liệu chính của công cụ tìm kiếm mà nó đang làm việc. Gần đây, nhiều công cụ như AltaVista đã bắt đầu chỉ lập chỉ mục cho một số trang nhất định của một trang web, thường là khoảng 500 tổng số, và sau đó dừng lại. Rõ ràng, điều này là do Web đã trở nên quá lớn đến mức khó có thể lập chỉ mục mọi thứ. Không hoàn toàn có thể đoán trước được con nhện sẽ lập chỉ mục bao nhiêu trang. Do đó, bạn nên gửi cụ thể từng trang quan trọng trong trang web của mình mà bạn muốn được lập chỉ mục, chẳng hạn như những trang có chứa các từ khóa quan trọng.
Một con nhện phần mềm giống như một thủ thư điện tử, người cắt ra mục lục của mỗi cuốn sách trong mọi thư viện trên thế giới, sắp xếp chúng thành một chỉ mục chính khổng lồ, và sau đó xây dựng một thư mục điện tử lưu trữ thông tin mà văn bản tham chiếu đến văn bản khác. Một số trình thu thập dữ liệu phần mềm có thể lập chỉ mục hơn một triệu tài liệu mỗi ngày! Điều quan trọng là phải hiểu rằng trình thu thập thông tin của công cụ tìm kiếm chỉ làm hai việc:
- Họ lập chỉ mục văn bản.
- Họ đi theo các liên kết.
Tại một hội nghị Chiến lược Công cụ Tìm kiếm gần đây do SearchEngineWatch.com tổ chức, một trong những diễn giả khách mời, Shari Thurow của Grantastic Designs, đã đưa ra quan điểm này và lặp lại nhiều lần để minh họa ý nghĩa của nó: 'Các công cụ tìm kiếm lập chỉ mục văn bản và theo các liên kết. Họ lập chỉ mục văn bản và theo các liên kết. Đó là tất cả những gì họ làm. '
Quan điểm của cô ấy là quan trọng và là trọng tâm để hiểu được bản chất của các trình thu thập thông tin của công cụ tìm kiếm. Nếu văn bản của trang Web của bạn được chứa trong một hình ảnh, các công cụ tìm kiếm không thể lập chỉ mục nó. Nếu tất cả các từ khóa quan trọng mà bạn hy vọng đạt được thứ hạng đều được đưa vào đồ họa chứ không phải trong văn bản HTML, thì trang web của bạn sẽ không đạt được thứ hạng. Hãy nhớ rằng, các công cụ tìm kiếm không lập chỉ mục ảnh hoặc đọc ảnh, chúng lập chỉ mục văn bản và theo các liên kết. Đó là tất cả. Nếu bạn không có văn bản nào trên trang có thể xem của mình, thì không có số lượng từ khóa nào trong thẻ meta từ khóa của bạn sẽ giúp bạn đạt được thứ hạng.
Những gì con nhện nhìn thấy trên trang web của bạn sẽ xác định cách trang web của bạn được liệt kê trong chỉ mục của nó. Công cụ tìm kiếm xác định mức độ liên quan của một trang web dựa trên một hệ thống tính điểm phức tạp mà các công cụ tìm kiếm cố gắng giữ bí mật. Hệ thống này cộng hoặc trừ điểm dựa trên những thứ như số lần từ khóa xuất hiện trên trang, vị trí xuất hiện trên trang và tổng số từ đã được tìm thấy. Các trang đạt được nhiều điểm nhất được trả về ở đầu kết quả tìm kiếm; phần còn lại được chôn dưới đáy, không bao giờ được tìm thấy.
Khi một con nhện phần mềm truy cập trang web của bạn, nó ghi nhận bất kỳ liên kết nào trên trang của bạn đến các trang web khác. Trong bất kỳ cơ sở dữ liệu khổng lồ của công cụ tìm kiếm được ghi lại tất cả các liên kết giữa các trang web. Công cụ tìm kiếm biết bạn đã liên kết đến những trang nào và quan trọng hơn, những trang nào đã liên kết với bạn. Nhiều công cụ thậm chí sẽ sử dụng số lượng liên kết đến trang web của bạn như một dấu hiệu về mức độ phổ biến và sau đó sẽ tăng xếp hạng của bạn dựa trên yếu tố này.
Bản quyền © 2000 iProspect.com
