![Web Crawler - CS101 - Udacity](https://i.ytimg.com/vi/CDXOcvUNBaA/hqdefault.jpg)
Saturs
- Definīcija - ko nozīmē tīmekļa rāpuļprogramma?
- Ievads Microsoft Azure un Microsoft Cloud | Šajā rokasgrāmatā jūs uzzināsit, kas ir mākonis skaitļošana un kā Microsoft Azure var palīdzēt jums migrēt un vadīt savu biznesu no mākoņa.
- Techopedia skaidro tīmekļa rāpuļprogrammu
Definīcija - ko nozīmē tīmekļa rāpuļprogramma?
Tīmekļa rāpuļprogramma ir interneta robotprogrammatūra, kas palīdz Web indeksācijā. Viņi pārmeklē vienu lapu vienlaikus caur vietni, līdz visas lapas tiek indeksētas. Tīmekļa rāpuļprogrammas palīdz apkopot informāciju par vietni un ar tām saistītajām saitēm, kā arī palīdz HTML koda un hipersaišu validācijā.
Tīmekļa rāpuļprogramma ir pazīstama arī kā tīmekļa zirneklis, automātiskais indeksētājs vai vienkārši rāpuļprogramma.
Ievads Microsoft Azure un Microsoft Cloud | Šajā rokasgrāmatā jūs uzzināsit, kas ir mākonis skaitļošana un kā Microsoft Azure var palīdzēt jums migrēt un vadīt savu biznesu no mākoņa.
Techopedia skaidro tīmekļa rāpuļprogrammu
Tīmekļa pārmeklētāji apkopo informāciju, piemēram, vietnes URL, metatagu informāciju, Web lapas saturu, saites uz vietni un no šīm saitēm vedošos mērķus, tīmekļa lapas virsrakstu un visu citu būtisku informāciju. Viņi seko līdzi jau lejupielādētajiem vietrāžiem URL, lai atkārtoti netiktu lejupielādēta tā pati lapa. Tīmekļa rāpuļprogrammas rīcību nosaka tādu politikas virzienu kombinācija kā atkārtota apmeklējuma politika, atlases politika, paralēles politika un pieklājības politika. Tīmekļa pārmeklētājiem ir daudz izaicinājumu, proti, lielais un nepārtraukti mainīgais Web, satura atlases kompromisi, sociālās saistības un darīšana ar pretiniekiem.
Tīmekļa rāpuļprogrammas ir galvenās tīmekļa meklētājprogrammu un sistēmu sastāvdaļas, kas pēta tīmekļa lapas. Tie palīdz indeksēt Web ierakstus un ļauj lietotājiem veikt vaicājumus attiecībā pret indeksu, kā arī nodrošina tīmekļa lapas, kas atbilst vaicājumiem. Vēl viena tīmekļa rāpuļprogrammu izmantošana ir tīmekļa arhivēšana, kas ietver lielas tīmekļa lapu kopas, kuras periodiski jāsavāc un arhivē. Tīmekļa roboti tiek izmantoti arī datu ieguvē, kur lapām tiek analizēti dažādi rekvizīti, piemēram, statistika, un pēc tam tiek veikta datu analīze.