我正在尝试从外部网站获取产品数据并将它们插入特殊表中 - 每个找到的节点元素都需要导入产品表中产品的相应列中！
查找 1 个产品属性并将其插入表中工作正常：
$product_names = $xpath->query("//div[contains(concat(' ', normalize-space(@class), ' '), ' product_description ')]/div/h3/a");
if (!is_null($product_names)) {
foreach ($product_names as $product_name) {
$nodes = $product_name->childNodes;
foreach ($nodes as $node) {
$import_product = 'INSERT INTO product_table (id, product_name) values ("","' . preg_replace('~\s+\S+$~', "", strip_tags(trim($node->nodeValue))) . '")';
mysql_query($import_supralift_name);
}
}
}
但是产品有很多属性，所以，我正在尝试获取这个产品属性(它在 1 html 元素中，所以我需要将其拆分为数组以用于不同的属性(：
$types = $xpath->query("//div[contains(concat(' ', normalize-space(@class), ' '), ' product_description ')]/div/a/p");
if (!is_null($types)) {
foreach ($types as $type) {
$nodes = $type->childNodes;
foreach ($nodes as $node) {
list($typee,$power_unit) = explode(' / ', $node->nodeValue);
$import_type = 'INSERT INTO product_table (id, type, power_unit) values ("", "' . strip_tags(trim($typee)) . '", "' . strip_tags(trim($power_unit)) . '")';
mysql_query($import_type);
}
}
}
简而言之 - 我需要从外部网站获取 3 个产品属性(当然，它们更多，只是想找出让它工作的最佳解决方案是什么(并将其插入我的数据库，例如：
product_name_1 product_type_1 $power_unit_1
...
product_name_X product_type_X $power_unit_X
到目前为止，我试图将第二个 xpath 部分放在第一个 foreach 中，但它没有根据需要工作...... 我应该尝试用xpath节点(如$prodcuts=array(firstXpathNode，secondXpathNode等(制作数组并以这种方式工作，还是有更好，更正确的解决方案？
提前 - TXN 的任何提示...
编辑： 以下是我尝试获取数据的示例 HTML，这是针对产品的(每个产品都有用于显示数据的 html(：
<div class="single_product">
<div data-section="featured_image">
<a title="Unique_String" href="#">
<div style="" data-section="image" class="image_in_fixed_ratio_wrapper">
<div class="inner visible">
<img alt="Unique_String" src="image1.jpg" class="" style="">
</div>
</div>
</a>
</div>
<div data-section="data">
<div class="product_description">
<div data-field="description_detail">
<h3><a title="Unique_String" href="#">Product Name<div class="donotwantthistoinclude">New</div></a></h3>
<a title="Unique_String" href="#"><p>Product Type / Product Power Unit</p></a>
<div data-field="price">
<a title="Unique_String" href="#">5,000</a>
</div>
<div data-field="description">
<a title="Unique_String" href="#">
<span>Height (mm)</span> 2344
|
<span>Other attribute 1</span> Duplex
|
<span>Other attribute 2 (kg)</span> 1400
|
<span>Other attribute 3</span> 2014
| <span>Other attribute X (h)</span> 772
<br><span>Location</span> D - 85716
</a>
</div>
</div>
</div>
</div>
</div>
如果将第一foreach中的产品名称分离到一个变量中，则可以基于产品名称构建相对 XPATH。我假设产品名称在页面上是唯一的。然后，第二个 XPATH 在页面上找到产品名称，并在元素中进一步向下移动。现在，可以保证有更好的 XPATH 查询来做到这一点，我只是自己没有那个技能水平，但我确实给你一种方法来做到这一点。
因此，流程将如下所示：
对于每个产品，获取名称，将名称插入新查询以获取该特定产品的类型和功率单元，分析变量，插入到数据库中。
警告
您正在使用危险且过时的 SQL。请使用较新的 mysqli_* 或 PDO 库通过预准备语句访问数据库。我没有更新您的代码来反映这一点，谷歌很容易。
但是，我确实在您现有的 SQL 中插入了product_name来说明如何收集所有 3 个字段。
$product_names = $xpath->query("//div[contains(concat(' ', normalize-space(@class), ' '), ' product_description ')]/div/h3/a");
if (!is_null($product_names)) {
foreach ($product_names as $product_name) {
$nodes = $product_name->childNodes;
foreach ($nodes as $node) {
$productName = preg_replace('~\s+\S+$~', "", strip_tags(trim($node->nodeValue)));
$xpath_relative = sprintf("//div[contains(concat(' ', normalize-space(@class), ' '), ' product_description ')]/div/h3/a[contains(text(),'%s')]/../../a/p",$productName);
$types = $xpath->query($xpath_relative);
if (!is_null($types)) {
foreach ($types as $type) {
$types_nodes = $type->childNodes;
foreach ($types_nodes as $type_node) {
list($typee,$power_unit) = explode(' '', $type_node->nodeValue);
// WARNING!!! SQL INJECTION BELOW!!!
$import_type = 'INSERT INTO product_table (id, type, power_unit, product_name) values ("", "' . strip_tags(trim($typee)) . '", "' . strip_tags(trim($power_unit)) . '", "' . $product_name . '")';
mysql_query($import_type);
}
}
}
}
}
}
编辑#2
我已经获取了您的代码并在 PHP 小提琴中使用它，结果如下。我还根据提供的结构优化了 XPATH 查询，并提供了使用 PDO 的建议。只需根据需要填写更多属性即可。我将为您提供整个代码，包括我使用的 DOM 和 XPATH 初始化，以便您可以自己摆弄它。
<pre><?php
$domDoc = <<<EOF
<div class="single_product">
<div data-section="featured_image">
<a title="Unique_String" href="#">
<div style="" data-section="image" class="image_in_fixed_ratio_wrapper">
<div class="inner visible">
<img alt="Unique_String" src="image1.jpg" class="" style="" />
</div>
</div>
</a>
</div>
<div data-section="data">
<div class="product_description">
<div data-field="description_detail">
<h3><a title="Unique_String" href="#">Product Name<div class="donotwantthistoinclude">New</div></a></h3>
<a title="Unique_String" href="#"><p>Product Type / Product Power Unit</p></a>
<div data-field="price">
<a title="Unique_String" href="#">5,000</a>
</div>
<div data-field="description">
<a title="Unique_String" href="#">
<span>Height (mm)</span> 2344
|
<span>Other attribute 1</span> Duplex
|
<span>Other attribute 2 (kg)</span> 1400
|
<span>Other attribute 3</span> 2014
| <span>Other attribute X (h)</span> 772
<br /><span>Location</span> D - 85716
</a>
</div>
</div>
</div>
</div>
</div>
EOF;
$dom = new DomDocument();
$dom->loadXML($domDoc);
$xpath = new DomXPath($dom);
$products = [];
$productUniqueQuery = "//div[@data-field='description_detail']/h3/a/@title";
$productUniqueNodes = $xpath->query($productUniqueQuery);
if (!is_null($productUniqueNodes)) {
foreach ($productUniqueNodes as $productUniqueNode) {
$product = [];
$product["unique"] = $productUniqueNode->nodeValue;
$productNameQuery = sprintf("//h3/a[@title='%s']/text()",$product["unique"]);
$productNameNodes = $xpath->query($productNameQuery);
$product["name"] = $productNameNodes[0]->nodeValue;
$productImageQuery = sprintf("//img[@alt='%s']/@src",$product["unique"]);
$productImageNodes = $xpath->query($productImageQuery);
$product["imageURL"] = $productImageNodes[0]->nodeValue;
$productTypeQuery = sprintf("//a[@title='%s']/p/text()",$product["unique"]);
$productTypeNodes = $xpath->query($productTypeQuery);
list($product["type"], $product["powerUnit"]) = explode(" / ", $productTypeNodes[0]->nodeValue);
$productDescriptionQuery = sprintf("//div[@data-field='description']/a[@title='%s']/child::node()",$product["unique"]);
$productDescriptionNodes = $xpath->query($productDescriptionQuery);
$description = "";
foreach ($productDescriptionNodes as $productDescriptionNode) {
$nodeText = preg_replace("/s*|/","",trim($productDescriptionNode->nodeValue));
if($nodeText == "" || $productDescriptionNode->nodeType === 3){
continue;
}
$product[$nodeText] = preg_replace("/s*|/","",trim($productDescriptionNode->nextSibling->nodeValue));
}
$products[$product["unique"]] = $product;
}
}
try {
$db = new PDO("mysql:host=HOST;dbname=DBNAME;port=3306","USERNAME", "PASSWORD");
}
catch(PDOException $e){
echo "Connection failed: " . $e->getMessage();
exit();
}
$sql = 'INSERT INTO product_table (unique, name, type, power_unit, attr1) values (:unique, :name, :type, :power_unit, :attr1)';
$stmt = $db->prepare($sql);
foreach($products as $product){
$params = [
":unique"=>$product["unique"],
":name"=>$product["name"],
":type"=>$product["type"],
":power_unit"=>$product["powerUnit"],
":attr1"=>$product["Other attribute 1"]
];
var_dump($product);
$stmt->execute($params);
}
?>
</pre>
为了简化它，您可以做的一件事是，在使用 XPath 时，您可以使用一个节点作为进一步搜索的上下文，因此一旦您有了产品节点列表，请将其用作提取其他数据的点。
举个例子...
$dom = new DomDocument();
$dom->loadXML($xml);
$xpath = new DomXPath($dom);
$products = [];
$data = $xpath->query("//div[@class='single_product']");
foreach ($data as $item) {
$name = $xpath->evaluate('string(descendant::div[@data-field="description_detail"]/h3/a/@title)'
,$item);
$imageName = $xpath->evaluate('string(descendant::div[@data-section="featured_image"]//img/@src)'
,$item);
$typePower = $xpath->evaluate('string(descendant::div[@data-field="description_detail"]/a/p/text())'
,$item);
$description = $xpath->evaluate('string(descendant::div[@data-field="description"]/a)'
,$item);
$products[$name] = array( "image" => $imageName,
"typePower" => $typePower,
"description" => $description
);
}
print_r($products);
请注意evaluate()方法的第二个参数，即第一个query()中的节点。
我还使用了evaluate它允许我立即将节点作为字符串返回，而无需任何进一步的转换(它允许我将string()用作查询的一部分(。
没有后处理，因此您可能需要整理一些数据并且没有数据库访问权限(您应该遵循使用预准备语句的示例(，但这首先显示了提取数据的重要部分。