在大多数音乐网站上，我发现，他们经常在Policies:中写以下内容
在这个网站（www.Indiamp3.com）上，你可以找到指向音频文件的链接。这些文件存储在互联网上的其他地方，不属于本网站的一部分。Indiamp3.com不对其承担任何责任，Indiamp3..com仅收集链接和索引其他网站的内容。我们的网站是完全自动化的。这意味着我们正在抓取其他mp3网站和目录，对它们进行索引，然后链接到它们提供的mp3文件Indiamp3.com尊重美国DMCA法律
如果您的受版权保护的材料已被Indiamp3.com编入索引，并且您希望删除此材料，您必须提供一份书面通信，其中准确引用您声称拥有的内容。此消息必须包含以下内容：
- 受版权保护的材料的名称和确切URL
- 联系信息，以便我们可以联系您（街道地址、电话和电子邮件）
- 您拥有上述内容版权的明确证据或您是拥有该内容的个人/公司代表的证据
如果我在其他网站上有文件的链接，如何做这样的索引？
如果我理解正确，你可能正在寻找这个-http://en.wikipedia.org/wiki/Web_crawler