使用GoQuery获取视频src时返回空白

Question

我正在尝试使用GoQuery获取一个vine的.mp4视频源。然而，当我运行它时，我什么也得不到，没有错误，也没有返回。只是一行空白。

package main
import (
  "fmt"
  "log"
  "github.com/PuerkitoBio/goquery"
)
func getMP4URL() {
  doc, err := goquery.NewDocument("https://vine.co/v/MlWtKgwh7WY")
  if err != nil {
    log.Fatal(err)
  }
  doc.Find(".vine-video-container").Each(func(i int, s *goquery.Selection) {
    mp4, _ := s.Find("video").Attr("src")
    fmt.Printf("MP4: %s", mp4)
  })
}
func main() {
  getMP4URL()
}

这是我的代码出了问题，还是葡萄藤本身出了问题？

Answer 1

似乎vine使用javascript 添加了该id

如果我添加

html, err := doc.Html()
if err != nil {
    log.Fatal(err)
}
log.Println(html)

在doc.Find之前，html输出中没有.vine-video-container

试试这个代码：）

package main
import (
    "fmt"
    "log"
    "github.com/PuerkitoBio/goquery"
)
func getMP4URL() {
    doc, err := goquery.NewDocument("https://vine.co/v/MlWtKgwh7WY")
    if err != nil {
        log.Fatal(err)
    }
    doc.Find("meta").Each(func(i int, s *goquery.Selection) {
        op, _ := s.Attr("itemprop")
        if op == "contentURL" {
            fmt.Println(s.Attr("content"))
        }
    })
}
func main() {
    getMP4URL()
}

Vine将视频的元数据以JSON格式嵌入到<script type="application/ld+json">中。因此，您需要从标记中提取JSON blob，并对JSON进行解码，以获得视频的src。

以下是获取Vine视频的src URL的完整工作代码：

package main
import (
    "encoding/json"
    "github.com/PuerkitoBio/goquery"
)
type SharedContent struct {
    ContentUrl string `json:"contentUrl"`
}
type VineVideoMetadata struct {
    SC SharedContent `json:"sharedContent"`
}
func DecodeVineJsonBlob(blob string) VineVideoMetadata {
    meta := VineVideoMetadata{}
    err := json.Unmarshal([]byte(blob), &meta)
    if err != nil {
        panic(err)
    }
    return meta
}
func GetVineVideoJsonBlob(url string) string {
    doc, err := goquery.NewDocument(url)
    if err != nil {
        panic(err)
    }
    return doc.Find("script[type="application/ld+json"]").Text()
}
func GetVineVideoSrc(url string) string {
    jsonBlob := GetVineVideoJsonBlob(url)
    meta := DecodeVineJsonBlob(jsonBlob)
    return meta.SC.ContentUrl
}
func main() {
    println(GetVineVideoSrc("https://vine.co/v/MlWtKgwh7WY"))
}

输出：

https://mtc.cdn.vine.co/r/videos/67FAC9DFA21115619347885645824_22a564aec15.5.0.17428816123715427422.mp4?versionId=4zcm5ySoFhqUQBXU7Ehm3YOuOSjFbkg3