【解決方法】リンクでAmazon製品の詳細を取得します。どのように？

プログラミングQA

2023.01.24

これは私のコードです:

JavaScript

let header = new Headers({
        "User-Agent": "My User-Agent",
});

fetch("url", {
    method: 'GET',
    withCredentials: true,
    crossorigin: true,
    headers: header,
}).then((res) => {
    return res.text();
}).then((result) => {
    console.log(result);
}).catch((err) => {
    console.log(err);
});

私が試したこと：

Amazon 製品の詳細 (製品名、画像、価格など) を自分の Web サイトに取得しようとしています。

しかし、私はそれを行うことはできません。

私を助けてください。

解決策 1

Javascript で実行しないでください。サイトがコーディングされている言語を使用して、バックエンドで実行してください。
ほとんどのバックエンド言語には HTML プロセッサアドオンがあります。VB / C# の場合は HTML Agility Pack、Python の場合は BeautifulSoup などです。

これらにより、HTML での作業が全体のロードが容易になります!

しかし…そしてそれは大きなことですが…サイトのスクレイピングは、サイトが変更されるため頻繁に問題が発生することを意味し、サイトのバックエンドコードの小さな変更でさえ、生成されるHTMLに大きな変更を加える可能性があり、それはスクレイパーが機能しないことを意味しますもう。そして、これが起こったことを示す最初の兆候は、潜在的な顧客があなたのサイトに長くとどまらないということです。これを測定または検出するのは非常に困難です!

はるかに優れたアプローチは、通常は API を使用することです。Amazon は、ユーザーが望むことを実行できるベンダー API を提供していますが、なぜこれを行っているのかわかりません。