Phenquestions
Tam ir nozīme. Tas nozīmē, ka Google tīklā ir daudz noderīgu datu un tāpēc ir nepieciešams nokasīt šos zelta datus. Nokasītos datus var izmantot kvalitatīvai datu analīzei un brīnišķīgu ieskatu atklāšanai. Tas var būt arī svarīgi, lai vienā mēģinājumā iegūtu lielisku pētījumu informāciju.
Runājot par skrāpēšanu, to var izdarīt ar trešo pušu rīkiem. To var izdarīt arī ar Python bibliotēku, kas pazīstama kā Scrapy. Metāllūžņi ir novērtēti kā viens no labākajiem skrāpēšanas rīkiem, un to var izmantot, lai nokasītu gandrīz jebkuru tīmekļa lapu. Jūs varat uzzināt vairāk bibliotēkā Scrapy.
Tomēr neatkarīgi no šīs brīnišķīgās bibliotēkas stiprās puses. Datu nokasīšana Google tīklā varētu būt viens sarežģīts uzdevums. Google stingri atsaucas uz visiem tīmekļa nokasīšanas mēģinājumiem, nodrošinot, ka skriptu nokasīšana stundas laikā pirms IP adreses aizliegšanas pat neizdara tik daudz 10 nokasīšanas pieprasījumu. Tas padara trešo pušu un personīgo tīmekļa nokasīšanas skriptus bezjēdzīgus.
Google patiešām dod iespēju nokasīt informāciju. Tomēr neatkarīgi no tā, kas tiek darīts, jābūt ar lietojumprogrammu saskarni (API).
Vienkārši iesakiet, ka jūs jau nezināt, kas ir lietojumprogrammu saskarne. Nav ko uztraukties, jo es sniegšu īsu paskaidrojumu. Pēc definīcijas API ir funkciju un procedūru kopums, kas ļauj izveidot lietojumprogrammas, kas piekļūst operētājsistēmas, lietojumprogrammas vai cita pakalpojuma funkcijām vai datiem. Būtībā API ļauj piekļūt procesu gala rezultātam, neiesaistoties šajos procesos. Piemēram, temperatūras API sniegs jums vietas Celsija / Fārenheita vērtības bez jums jādodas tur ar termometru, lai pats veiktu mērījumus.
Ieviešot to Google apkopotās informācijas sfērā, izmantotā API ļauj mums piekļūt vajadzīgajai informācijai, nerakstot skriptu, lai nokasītu Google meklēšanas rezultātu lapu. Izmantojot API, mēs varam vienkārši piekļūt gala rezultātam (pēc tam, kad Google to beigās nokasīs), nerakstot kodu, lai nokasītu tīmekļa lapas.
Lai gan Google ir daudz API dažādiem mērķiem, šī raksta vajadzībām mēs izmantosim pielāgotās meklēšanas JSON API. Plašāku informāciju par šo API var atrast šeit.
Šī API ļauj mums bez maksas veikt 100 meklēšanas vaicājumus dienā, un ir pieejami cenu plāni, lai vajadzības gadījumā veiktu vairāk vaicājumu.
Pielāgotas meklētājprogrammas izveide
Lai varētu izmantot pielāgotās meklēšanas JSON API, mums ir nepieciešams pielāgotās meklētājprogrammas ID. Tomēr mums vispirms būtu jāizveido pielāgotā meklētājprogramma, ko var izdarīt šeit.
Apmeklējot pielāgotās meklētājprogrammas lapu, noklikšķiniet uz pogas Pievienot, lai izveidotu jaunu meklētājprogrammu.
Lodziņā “Vietnes, kurās meklēt” vienkārši ierakstiet “www.linuxhint.com ”un lodziņā“ Meklētājprogrammas nosaukums ”ievadiet jebkuru izvēlēto aprakstošo nosaukumu (vēlams būtu Google).
Tagad noklikšķiniet uz “Izveidot”, lai izveidotu pielāgoto meklētājprogrammu, un lapā noklikšķiniet uz pogas “Vadības panelis”, lai apstiprinātu izveides panākumus.
Jūs redzēsiet sadaļu “Meklētājprogrammas ID” un zem tās ID, tas ir ID, kas mums būs vajadzīgs API, un mēs uz to atsauksies vēlāk šajā apmācībā. Meklētājprogrammas ID ir jāsaglabā kā privātu.
Pirms dodamies prom, atcerieties, ka mēs ievietojām “www.linuhint.com ”agrāk. Izmantojot šo iestatījumu, mēs iegūtu tikai vietnes rezultātus. Ja vēlaties iegūt normālus rezultātus no kopējās tīmekļa meklēšanas, kreisās puses izvēlnē noklikšķiniet uz “Iestatīšana” un pēc tam noklikšķiniet uz cilnes “Pamati”. Atveriet sadaļu “Meklēt visā tīmeklī” un ieslēdziet šo funkciju.
API atslēgas izveide
Pēc pielāgotās meklētājprogrammas izveides un tās ID iegūšanas nākamais būtu izveidot API atslēgu. API atslēga ļauj piekļūt API pakalpojumam, un pēc izveides tas būtu jāglabā tāpat kā meklētājprogrammas ID.
Lai izveidotu API atslēgu, apmeklējiet vietni un noklikšķiniet uz pogas “Saņemt atslēgu”.
Izveidojiet jaunu projektu un piešķiriet tam aprakstošu nosaukumu. Noklikšķinot uz “Nākamais”, tiks ģenerēta API atslēga.
Nākamajā lapā mums būs dažādas iestatīšanas opcijas, kas nav nepieciešamas šai apmācībai, tāpēc vienkārši noklikšķiniet uz pogas Saglabāt un mēs esam gatavi doties.
Piekļuve API
Mums ir izdevies iegūt pielāgotās meklēšanas ID un API atslēgu. Tālāk mēs izmantosim API.
Lai gan jūs varat piekļūt API ar citām programmēšanas valodām, mēs to darīsim ar Python.
Lai piekļūtu API ar Python, jums jāinstalē Google API klients Python. To var instalēt, izmantojot pakotni pip install ar komandu zemāk:
pip instalējiet google-api-python-clientPēc veiksmīgas instalēšanas bibliotēku tagad varat importēt mūsu kodā.
Lielākā daļa no tā, kas tiks darīts, tiks nodrošināts ar tālāk norādīto funkciju:
no googleapiclient.atklāšanas importa veidošanamy_api_key = "Jūsu API atslēga"
my_cse_id = "Jūsu PMP ID"
def google_search (search_term, api_key, cse_id, ** kwargs):
service = būvēt ("Customsearch", "v1", developerKey = api_key)
res = serviss.cse ().saraksts (q = search_term, cx = cse_id, ** kwargs).izpildīt()
atgriešanās rez
Iepriekš minētajā funkcijā my_api_key un my_cse_id mainīgie jāmaina attiecīgi ar API atslēgu un meklētājprogrammas ID kā virknes vērtībām.
Viss, kas tagad jādara, ir izsaukt funkciju, kas pāriet meklēšanas vienumā, api taustiņu un cse id.
rezultāts = google_search ("Kafija", my_api_key, my_cse_id)izdrukāt (rezultāts)
Funkcijas izsaukums iepriekš meklēs atslēgvārdu “Kafija” un piešķirs atgriezto vērtību rezultāts mainīgais, kas pēc tam tiek izdrukāts. Pielāgotās meklēšanas API atdod JSON objektu, tādēļ, veicot turpmāku parsēto iegūto objektu, būtu nepieciešamas nedaudz zināšanas par JSON.
To var redzēt no zemāk redzamā rezultāta parauga:
Iepriekš atgrieztais JSON objekts ir ļoti līdzīgs Google meklēšanas rezultātam:
Kopsavilkums
Google informācijas nokasīšana informācijai patiesībā nav stresa vērta. Pielāgotās meklēšanas API atvieglo dzīvi ikvienam, jo vienīgās grūtības ir parsēt JSON objektu par nepieciešamo informāciju. Atgādinām, ka vienmēr atcerieties, ka jūsu pielāgotās meklētājprogrammas ID un API atslēgas vērtības ir privātas.
