IT收藏分享屋

纯音乐库特征提取

Sun, 22 Mar 2026 23:46:11 +0800

# 安装musly（Python绑定） pip install musly-python # 安装FAISS（CPU版，GPU版需单独编译） pip install faiss-cpu # 其他依赖 pip install librosa soundfile numpy pandas tqdm

import os import musly import faiss import numpy as np import pandas as pd from tqdm import tqdm import librosa # ===================== 配置参数 ===================== MUSIC_DIR = "./pure_music_library/" # 你的纯音乐目录 INDEX_PATH = "./music_index.faiss" # FAISS索引保存路径 METADATA_PATH = "./music_metadata.csv" # 音乐路径-特征映射表 SIMILAR_TOP_K = 10 # 检索返回最相似的K首 # ===================== 工具函数 ===================== def get_audio_files(dir_path): """获取目录下所有音频文件（WAV/MP3）""" audio_ext = (".wav", ".mp3", ".flac", ".ogg") audio_files = [] for root, _, files in os.walk(dir_path): for file in files: if file.lower().endswith(audio_ext): audio_files.append(os.path.join(root, file)) return audio_files def extract_musly_feature(audio_path): """使用Musly提取音频特征（timbre模式，纯音乐首选）""" try: # 初始化Musly（timbre模式：适合纯音乐音色/风格匹配） music_analyzer = musly.Analyzer() # 加载音频并提取特征（返回定长向量） feature = music_analyzer.analyze(audio_path, musly.MuslyTimbre) return feature.astype(np.float32) # FAISS要求float32 except Exception as e: print(f"提取特征失败 {audio_path}: {e}") return None # ===================== 构建索引 ===================== def build_music_index(): """提取特征并构建FAISS索引""" # 1. 获取所有音频文件 audio_files = get_audio_files(MUSIC_DIR) if not audio_files: print("未找到音频文件！") return # 2. 批量提取Musly特征 features = [] valid_files = [] for file in tqdm(audio_files, desc="提取Musly特征"): feat = extract_musly_feature(file) if feat is not None: features.append(feat) valid_files.append(file) # 3. 保存元数据（文件路径-索引映射） metadata = pd.DataFrame({"file_path": valid_files}) metadata.to_csv(METADATA_PATH, index=False, encoding="utf-8") # 4. 构建FAISS索引（L2距离：适配Musly特征分布） feature_matrix = np.vstack(features) dim = feature_matrix.shape[1] # Musly特征维度（默认~200维） # 选择索引类型：IVF_FLAT适合百万级数据，速度快 index = faiss.IndexIVFFlat( faiss.IndexFlatL2(dim), # 基础索引（L2距离） dim, min(100, len(valid_files)//10), # 聚类数（经验值） faiss.METRIC_L2 ) # 训练+添加数据 index.train(feature_matrix) index.add(feature_matrix) # 5. 保存索引 faiss.write_index(index, INDEX_PATH) print(f"索引构建完成！共处理 {len(valid_files)} 首音乐，索引保存至 {INDEX_PATH}") # ===================== 相似检索 ===================== def search_similar_music(query_audio_path): """检索与查询音频最相似的音乐""" # 1. 加载索引和元数据 if not os.path.exists(INDEX_PATH) or not os.path.exists(METADATA_PATH): print("索引/元数据不存在，先构建索引！") build_music_index() index = faiss.read_index(INDEX_PATH) metadata = pd.read_csv(METADATA_PATH, encoding="utf-8") # 2. 提取查询音频特征 query_feat = extract_musly_feature(query_audio_path) if query_feat is None: print("查询音频特征提取失败！") return [] # 3. FAISS检索（返回距离和索引） query_feat = query_feat.reshape(1, -1) # 转为2D数组 distances, indices = index.search(query_feat, SIMILAR_TOP_K) # 4. 解析结果（距离越小越相似） similar_results = [] for i, idx in enumerate(indices[0]): file_path = metadata.iloc[idx]["file_path"] similar_results.append({ "rank": i+1, "file_path": file_path, "distance": distances[0][i] # 距离越小，相似度越高 }) return similar_results # ===================== 主函数 ===================== if __name__ == "__main__": # 第一步：构建索引（首次运行执行） build_music_index() # 第二步：示例：检索相似音乐 query_audio = "./test_piano.mp3" # 你的查询纯音乐文件 if os.path.exists(query_audio): similar_music = search_similar_music(query_audio) print(f"\n与 {query_audio} 最相似的{SIMILAR_TOP_K}首音乐：") for res in similar_music: print(f"排名{res['rank']} | 距离{res['distance']:.4f} | 路径：{res['file_path']}") else: print(f"查询文件 {query_audio} 不存在！")

ByteCover算法核心复现代码

Sun, 22 Mar 2026 23:27:26 +0800

# 安装依赖：pip install librosa numpy scipy
import librosa
import numpy as np
from sklearn.decomposition import PCA
from scipy.spatial.distance import cosine

def bytecover_feature_extract(audio_path, n_mfcc=20, pca_components=16):
    """
    ByteCover核心特征提取函数
    1. 加载音频，提取MFCC+色度特征（对应旋律核心特征）
    2. PCA降维压缩（对应原文PCA-FC模块，提速8倍）
    3. 输出标准化ByteCover特征向量
    """
    # 1. 音频加载与预处理（固定采样率，适配抖音识曲标准）
    y, sr = librosa.load(audio_path, sr=22050, mono=True)
    # 去除静音片段，过滤噪音
    y_trimmed, _ = librosa.effects.trim(y, top_db=20)
    
    # 2. 提取核心声学特征（ByteCover核心：保留旋律，忽略变速变调干扰）
    # MFCC特征（音色+旋律）
    mfcc = librosa.feature.mfcc(y=y_trimmed, sr=sr, n_mfcc=n_mfcc)
    mfcc_mean = np.mean(mfcc, axis=1)
    # 色度特征（音高/旋律核心，翻唱变调不变）
    chroma = librosa.feature.chroma_stft(y=y_trimmed, sr=sr)
    chroma_mean = np.mean(chroma, axis=1)
    # 拼接特征
    feature = np.concatenate([mfcc_mean, chroma_mean])
    
    # 3. PCA降维（ByteCover核心提速模块，压缩特征维度）
    pca = PCA(n_components=pca_components)
    # 适配单样本维度
    feature_pca = pca.fit_transform(feature.reshape(1, -1))
    # 标准化
    feature_norm = feature_pca / np.linalg.norm(feature_pca)
    
    return feature_norm.flatten()

def bytecover_match(feature1, feature2, threshold=0.15):
    """
    ByteCover特征匹配函数
    计算余弦相似度，阈值判断是否为同一首歌（翻唱/原版）
    threshold：相似度阈值，越小匹配越严格
    返回：匹配结果+相似度分数
    """
    similarity = 1 - cosine(feature1, feature2)
    is_match = similarity > threshold
    return is_match, round(similarity, 4)

# ------------------- 运行示例 -------------------
if __name__ == "__main__":
    # 替换为你的音频文件路径（支持wav/mp3，mp3需安装ffmpeg）
    original_audio = "原版歌曲.wav"
    cover_audio = "翻唱/改编版本.wav"
    
    # 提取ByteCover特征
    feat_original = bytecover_feature_extract(original_audio)
    feat_cover = bytecover_feature_extract(cover_audio)
    
    # 匹配比对
    match_result, score = bytecover_match(feat_original, feat_cover)
    print(f"匹配结果：{'同一首歌（翻唱/改编）' if match_result else '不同歌曲'}")
    print(f"相似度分数：{score}")

lua ngx.time() 和 os.time() 性能对比

Wed, 17 Dec 2025 15:47:31 +0800

在 OpenResty 里，ngx.time() 是纯 C 实现、无系统调用、无锁、无 GC 的 毫秒级缓存值；
os.time() 要走 libc → kernel → 返回，还涉及 Lua 栈转换和 GC 装箱。
实测差距 10–30 倍 甚至更高，且随着 QPS 上涨线性放大。

实现差异
| 函数 | 来源 | 实现路径 | 精度 | 系统调用 | Lua GC 对象 | |---|---|---|---|---|---| | ngx.time() | ngx_http_lua_module | 直接读 ngx_time_t *tp->sec（更新频率 1 ms） | 秒 | ❌ | ❌ | | os.time() | PUC-Rio Lua | luaB_time → time(2) → gettimeofday/clock_gettime | 秒 | ✅ | ✅（返回 number） |

基准数据
在一台 2.6 GHz Xeon 上，单 worker、空循环 1 000 万次：

lua

复制

local ngx_now = ngx.timelocal t0 = ngx.now()for i = 1,1e7 do
    local _ = ngx_now()endprint("ngx.time()", ngx.now()-t0)      -- ≈ 0.08 st0 = ngx.now()for i = 1,1e7 do
    local _ = os.time()endprint("os.time()", ngx.now()-t0)       -- ≈ 1.1 s

→ 13 倍差距；若把循环换成 resty.core 的 FFI 版本，差距可拉到 30 倍。

业务真实场景
在 20 k RPS 的接口里，每次取 10 次时间戳（日志、缓存 key、超时计算）：

表格

复制

方案	CPU 占比
`os.time()`	5.8 %
`ngx.time()`	0.18 %
→ 直接省出 5.6 % 的单核 CPU，等价于每 18 个核省 1 个核。

何时仍用 os.time()

代码需要在纯 Lua 环境（非 OpenResty）里也能跑；
需要亚秒精度且愿意承担 gettimeofday 调用——这时应直接用 ngx.now()（浮点毫秒）或 ngx.time() + ngx.update_time() 组合。

一句话
在 OpenResty 内部永远优先

lua

复制

local now = ngx.time()

比 os.time() 快一个数量级，无系统调用、无 GC 压力，精度同样到秒。

Linux socket个数查询

Sun, 18 Feb 2024 10:57:53 +0800

cat /proc/net/sockstat

ss -s

Total: 1669 (kernel 0)

TCP: 1437 (estab 101, closed 1318, orphaned 0, synrecv 0, timewait 10/0), ports 0

Transport Total IP IPv6

* 0 - -

RAW 0 0 0

UDP 13 11 2

TCP 119 119 0

INET 132 130 2

FRAG 0 0 0

Golang 的 “omitempty” 关键字略解

Tue, 06 Feb 2024 16:31:42 +0800

json和struct转换简单介绍

熟悉 Golang 的朋友对于 json 和 struct 之间的转换一定不陌生，为了将代码中的结构体与 json 数据解耦，通常我们会在结构体的 field 类型后加上解释说明,注意:结构体的属性首字母必须大写，否则json解析会不生效

type Person struct {
    Name string `json:"json_key_name"`
    Age  int    `json:"json_key_age"`}func main() {

    Per := Person{
        Name: "小饭",
        Age:  18,
    }
    
    res, _ := json.Marshal(Per)
    fmt.Println(string(res))
    return}  //输出结果{"json_key_name":"小饭","json_key_age":18}

结构体只初始化部分变量

接下来我们看另外一种情况

    p := Person{
        Name: "小饭",
    }
    res, _ := json.Marshal(p)
    fmt.Println(string(res))

如果我们在结构体初始化的时候只初始化了其中一个字段Name，那么理论上来说返回的json应该是

{"Name":"小饭"}

但是我们实际运行一下返回的结果却是

{"Name":"小饭","Age":0}

这明显是不符合我们的预期的，因为Age字段是我们不需要的。

如何解决

接下来就轮到咱们今天的主角登场了，解决方式很简单，在后面加上omitempty即可

type Person struct {
    Name string
    Age  int `json:",omitempty"`}func main() {
    p := Person{
        Name: "小饭",
    }
    res, _ := json.Marshal(p)
    fmt.Println(string(res))}//输出结果{"Name":"小饭"}

结构体的特殊情况

我们再来看下面的这个例子

type Person struct {
    Name string
    Age  int}type Student struct {
    Num    int
    Person Person `json:",omitempty"`  //对结构体person使用了omitempty}func main() {
    Stu := Student{
        Num: 5,
    }
    res, _ := json.Marshal(Stu)
    fmt.Println(string(res))}

我们对结构体Person定义了omitempty,按理说我们在初始化的时候并没有初始化结构体的任何属性，所以转换成json之后的打印结果应该是只有{"Num":5}的，但是我们实际运行之后发现打印的结果却是

{"Num":5,"Person":{"Name":"","Age":0}}

为什么omitempty对于结构体类型不生效了呢？这是因为结构体（上面例子的Person）不知道空值是什么，GO只知道简单结构体例如int,string,pointer 这种类型的空值，为了不显示我们没有提供值的自定义结构体，我们可以使用结构体指针。

为什么用指针类型就可以解决这个问题？因为指针是基本类型，Golang知道他的空值是啥，所以就直接赋值为nil(指针类型的空值)。

type Person struct {
    Name string
    Age  int}type Student struct {
    Num    int
    Person *Person `json:",omitempty"`  //如果想要omitempty生效，必须是指针类型}func main() {
    Stu := Student{
        Num: 5,
    }
    res, _ := json.Marshal(Stu)
    fmt.Println(string(res))}  //输出结果{"Num":5}

omitempty的一个大坑

我们接下来还是看例子

type Person struct {
    Age int `json:",omitempty"`}func main() {
    Per := Person{
        Age: 0,
    }
    res, _ := json.Marshal(Per)
    fmt.Println(string(res))}

按照咱们的预期，应该给输出

{"Age":0}

对不对，但是咱们实际运行以后输出的却是

{}

这明显有问题啊，咱们需要的是输出的json字段，是必须有age，而且值是0，现在什么都没输出明显是有问题的。因为Golang把0当成了零值，所以跟没有赋值是一样的
如果想解决这种问题一种方法是使用int指针，因为int指针的空值为nil,当我想输出0的时候，我传进去地址，地址肯定不是空值nil，这样肯定会显示出来0

type Person struct {
    Age *int `json:",omitempty"`}func main() {
    age := 0
    Per := Person{
        Age: &age,
    }
    res, _ := json.Marshal(Per)
    fmt.Println(string(res))}

总结

omitempty只是在把结构体转换成json的过程中，只会影响json转换后的结果，并不是影响结构体本身，所以结构体的任何属性设置了omitempty之后，都不影响其正常使用
omitempty的作用简单来说就是在结构体转换json的过程中，把没有赋值的结构体属性不在json中输出而已。
omitempty只支持简单的数据类型，对结构体的数据类型是不生效的，如果需要生效，只能用结构体指针
omitempty分不清楚0值，""值和未赋值，如果给某个属性赋值0或者""，并且想输出，只能用指针类型

作者：程序员小饭
链接：https://www.jianshu.com/p/b826e7f297ea
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

Golang 多平台交叉编译，不用设置只需要用命令行

Mon, 05 Feb 2024 19:45:50 +0800

Mac 下编译 Linux 可执行程序

CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build main.go1

Mac 下编译 Windows 64位可执行程序

CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build main.go1

Linux 下编译 Mac 可执行程序

CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 go build main.go1

Linux 下编译 Windows 64位可执行程序

CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build main.go1

Windows 下编译 Mac 64位可执行程序

SET CGO_ENABLED=0SET GOOS=darwin
SET GOARCH=amd64
go build main.go1234

Windows 下编译 Linux 64位可执行程序

SET CGO_ENABLED=0SET GOOS=linux
SET GOARCH=amd64
go build main.go1234

GOOS：目标平台的操作系统（darwin、freebsd、linux、windows）
GOARCH：目标平台的体系架构（386、amd64、arm）

交叉编译不支持 CGO 所以要禁用它
上面的命令编译 64 位可执行程序，你当然应该也会使用 386 编译 32 位可执行程序
很多博客都提到要先增加对其它平台的支持，但是我跳过那一步，上面所列的命令也都能成功，且得到我想要的结果，可见那一步应该是非必须的，或是我所使用的 Go 版本已默认支持所有平台。

实用在线工具

Fri, 02 Feb 2024 09:45:57 +0800

px 转 rem 在线工具

 测速网 - 在线网速测试,网络测速 - SpeedTest.cn

在线JSON校验格式化工具（Be JSON）

PDF转换成WORD在线免费转换器 - 我拉网

 Javascript在线解压缩

 Composer

Javascript在线美化、优化、加密、解密、压缩、解压 | js代码美化 | js代码美化 | js代码优化 | js代码压缩 | js代码解压 | js代码加密 | js代码解密 - Clicki

ProcessOn - 免费在线作图，实时协作

 在线正则表达式测试

 phpjm|PHP解密在线|魔方破解解密|混淆还原|ZEND修复|ionCube9解密|phpjm.cc

网站拦截申诉_广告屏蔽解除-腾讯电脑管家官网

 SRS

经典数据运营方法系列四 | 教你统计日留存、周留存、月留存率更准确_友盟_新浪博客

 java1.7在线编程,java1.7在线编译器,在线写代码网站

 在线文档相似度计算、在线计算文章相似度、计算网页相似度！--查错网

 iTrace-产品概述-WEB高可用

 convertcsv.com/csv-to-sql.htm

贝塔 PHP SG11在线加密

 ⚡ Mysql操作规范

 在线PS软件-在线PS精简版图片处理工具photopea-改图鸭

 Photopea | Online Photo Editor

Lua 在线工具 | 菜鸟工具

 HMAC计算、HMAC-MD5、HMAC-SHA1、HMAC-SHA256、HMAC-SHA512在线计算 - 1024Tools

JSON在线 | JSON解析格式化—SO JSON在线工具

 在线网速测试-网站测速工具-测网速-网站访问速度测试-拨测|免费的域名检测工具网-站长工具-ffradar.k**ou.com

单选框 Radio - Ant Design Vue

ChatGPT

csv 转 sql ，csv 到 mysql 转换器，csv 到 sql 在线转换器，免费的 csv 到 sql 转换器

 在线RSA加密解密

Python中flask框架跨域问题的解决方法

Fri, 02 Feb 2024 09:37:01 +0800

下面我将详细讲解如何解决Python中flask框架跨域问题。

什么是跨域问题

在web开发中，跨域是指从一个域名的网页去请求另一个域名的资源，例如通过ajax请求api的时候，如果请求url与源不同，那么就出现了跨域。由于同源策略的限制，跨域请求是被禁止的。

解决方案

要解决跨域问题，我们可以使用flask的CORS扩展，在后端代码中进行配置。

CORS（Cross-Origin Resource Sharing）是一种跨域资源共享的机制。通过在后端设置Access-Control-Allow-Origin响应头，服务端就可以允许前端跨域请求了。

在flask中，我们可以通过安装flask_cors库来简单地实现跨域请求。安装flask_cors可以通过pip来进行安装：

pip install flask_cors

只需要在要请求的视图函数或蓝图上加上@cross_origin装饰器即可。

from flask import Flask, jsonify
from flask_cors import cross_origin

app = Flask(__name__)

@app.route('/api')
@cross_origin()
def api():
    data = {'name':'Alice', 'age': '23'}
    return jsonify(data)

if __name__ =='__main__':
    app.run()

我们来分析一下上述代码。首先，我们在跨域请求的视图函数上面加上了@cross_origin()装饰器，表示该视图函数允许跨域请求。在请求该接口时，前端就可以通过ajax请求方式去访问/api端点，获取返回的json数据。

示例

下面提供两个详细的示例说明。

示例一：访问外部API

假设有这样一个需求：从前端的电影列表页面中请求豆瓣电影API，获取电影列表。我们通过flask框架来实现这个功能，具体步骤如下：

安装flask_cors库
python pip install flask_cors
创建一个flask应用。
```python
from flask import Flask, jsonify
from flask_cors import cross_origin
app = Flask(name)
```
在视图函数中请求外部API。
```python
@app.route('/movies')
@cross_origin()
def get_movies():
import requests
```
url = 'https://api.douban.com/v2/movie/top250'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)

return jsonify(res.json())
```
```
在get_movies视图函数中，我们使用requests库去请求豆瓣电影API，然后以json格式返回请求的数据。由于涉及到跨域请求，我们需要在该视图函数上加上@cross_origin装饰器。
启动flask应用
python if __name__ =='__main__': app.run()

现在我们可以在前端页面通过ajax请求该接口，获取豆瓣电影的数据了。

示例二：在flask中使用vuejs

假如vuejs的应用和flask的应用都在同一服务器上，我们可以通过flask来为vuejs提供后端支持。下面是具体实现步骤：

在vuejs项目的src目录下，新建一个config文件夹，然后在config文件夹中新建一个proxy.js文件。
在proxy.js中，我们需要根据flask应用的url，设置代理服务器地址。
javascript module.exports = { devServer: { proxy: { '/api': { target: 'http://localhost:5000' } } } }
上述代码中，target表示我们flask应用的地址和端口号。
在vuejs的main.js文件中，添加axios的相关配置。
```javascript
import axios from 'axios'
axios.defaults.headers.post['Content-Type'] = 'application/x-www-form-urlencoded';
Vue.prototype.$http = axios
```
在vuejs的组件中，请求flask应用的api接口。
javascript this.$http.get('/api').then(response => { console.log(response) })
在flask应用中，添加路由。
```python
from flask import Flask, jsonify
from flask_cors import cross_origin
app = Flask(name)
@app.route('/api')
@cross_origin()
def api():
data = {'name': 'Alice', 'age': '23'}
return jsonify(data)
if name =='main':
app.run()
```
上述代码中，我们为flask应用添加了/api路由，当vuejs组件通过axios请求/api接口时，就会返回一个含有name和age的json数据。

现在，我们查看vuejs组件的控制台，就能看到从flask应用中返回的json数据了。

总结

通过使用flask_cors库，我们可以简单地解决Python中flask框架跨域问题。在视图函数上加上@cross_origin装饰器即可允许跨域请求。同时，我们提供了两个示例，分别说明了如何在flask中请求外部API和如何在flask中使用vuejs。

下一代听歌识曲技术——从信号处理到深度学习

Fri, 02 Feb 2024 09:34:41 +0800

下午好，我是来自腾讯音乐的孔令城，很荣幸能够借助LiveVideoStack平台、代表天琴实验室，与在座的各位专家、大佬分享我们天琴实验室在多媒体、AI 领域所做的工作。

我会通过以下四个方面来介绍我们天琴实验室在听歌识曲方面所做的工作。

-01-

经典听歌识曲系统

当特别想听某一首歌的时候我们会采取什么措施？熟悉的歌曲可以直接在音乐APP上搜索歌名。如果忘记歌名，搜索歌词也是可以的。如果在外面偶然听到一首歌，完全不知道歌名以及歌词，手速快的可以瞬间拿出手机使用听歌识曲，如果慢一点记住了旋律也可以用哼唱识别。歌名搜索、歌词搜索是基于文本搜索，而哼唱识别和听歌识曲是基于音频内容检索。基于音频内容检索，需要对音频内容进行分析。

怎么衡量一款听歌识曲效果的好坏?什么样的听歌识曲才是好的系统?QQ音乐的听歌识曲到底效果怎样呢?来看看用户的反馈。

用户的期望可以总结为曲库全、识别准、速度快、灵敏度高以及旋律识别的模糊性。

经典听歌识曲系统，主要技术是音频指纹技术。图片横轴可以看作精准性，纵轴看作时间颗粒度。音频指纹技术就是要在很短的时间内确定一首歌在音频层面是否一致。音频指纹非常适合听歌识曲。可以在一个很小的片段内精确地匹配到对应的歌曲。

最基本的音频指纹提取流程如图所示。一段音频先进行预处理，然后进行分帧信号转变，随后提取特征，例如最经典的peak特征。随后将其Hash化再通过Hash表查询。

以上图为例：(a)是Document的频谱图与peak点，(b)是Query的频谱图与peak点，(c)中仅保留(a)中的peak点，(d)中仅保留(b)中的peak点，(e)是使用(d)中Query的peak点逐帧滑动匹配(c)中Document的peak点，滑动到10s的位置刚好重叠的点数最多并且超过某个阈值，那么我们认为Query的音频片段来自于Document的第10s。峰值点特征的优点很明显，对于普通的平稳噪声、突发的短时噪声、以及失真等都有较强的鲁棒性，同时极具辨识性，另外特征稀疏数据量少，便于后续检索。然而，对于庞大的曲库，采用目前(e)图表示的匹配策略是行不通的，因为Query要暴力与每一首歌曲进行滑动匹配。

可不可以基于peak点直接建立hash表呢？实际上，每个peak点是有时间和频率两个维度构成的；但是因为同样的音频片段，在Query和Document上时间的绝对值是不一致的；如上页例子，Query的时间为0s的peak，在document中是10s，因此时间维度不能直接使用。而单独使用频率信息也不足以表达点的特征。

前人想到了一个非常巧妙的方法——不存时间的绝对值，只存时间的相对值。这样就可以得到Hash值。该值可以作为Key储存。有了Hash表检索效率就会加大加快。检索库并行扩展也得以实现。

当歌曲入库时就对歌曲进行热度分级，非常热门的歌曲会立刻加入到服务当中。相对冷门的歌曲依然会加入服务当中，但优先级不会那么高。背靠TME海量曲库，QQ音乐可以做到最快一秒识别，新歌入库识别零延迟。

以 3 6 9 12 15秒，不同时长为片段进行测试。音频维度，其精确率均为100%。音频维度是指Query和命中的歌曲，音频是一模一样的。但是现实中存在盗歌的现象，虽然音频维度一样，但是版本维度不同。

即便是更短的片段时长，QQ音乐识别的精准率仍然保持在100%，尽管在更短的情况召回率降低，但在一定程度上也能提升用户体验。

使用经典听歌识曲系统，无结果中的样本中，翻唱歌曲占60%甚至更多。可以看到对一些检索库中不存在的翻奏例子或者翻唱的例子，经典听歌识曲系统无法识别。

从19年开始翻唱、改编歌曲呈爆发性增长。其中的原因我们也不言而喻。因此我们迫切需要进行技术更新。

-02-

下一代听歌识曲系统

想要解决上述的问题，就需要下一代听歌识曲系统。

什么是翻唱？以画作为例，同样是蒙娜丽莎，不同艺术家可以创作出不同的版本。版本不同，但看起来都会令人想到是蒙娜丽莎。

图片可以直观感受，歌曲维度也有相应的定义。只要主旋律不改变，其他音乐要素（比如音色、速度，节奏等）任一改变就可以视为翻唱。

对于翻唱识别，业内同行已经有了很多较为成熟的方案，即全曲翻唱识别。但之前提到过，QQ音乐听歌识曲场景的识别是短片段，同行的解决办法不太适用于这样的场景。所以QQ音乐创新的提出了片段翻唱识别。

QQ音乐采用度量学习提取Embedding。为了应对短片段的识别，输入进行了切片。HPCP特征也是传统翻唱识别中的经典特征。有了Embedding之后，就可以按上述提到的音频指纹检索系统进行检索。

输入Query之后，提取出其Embedding序列进行检索。检索结果中的SongID和Offset信息进行时间差值，针对每一个歌曲构建一个直方图。在同一个时间差之内，直方图出现峰值则认为匹配成功。

翻唱识别检索系统精确率高，Embedding序列之间可以交叉验证。召回率也高，Query抗干扰高。但缺点也很明显，序列的严格对齐，变速后无法满足时序要求，所以不支持变速；单个Query和Doc都要提取数百Embedding，索引检索开销大。

目前QQ音乐增加了歌声ASR检索模块。在直播场景或者LIVE环境下，人耳可以将歌词听的很准，可以直接搜索歌词。这个时候使用歌声ASR检索更为方便。随着深度神经网络的发展，ASR发展也十分迅速。天琴实验室训练了一个针对歌声的语音识别系统，使用数万小时的歌声数据进行训练，实时率在0.3以内，字错误率15%左右。与业内通用ASR相比在歌词识别方面提升近40%。

将ASR嵌入到Embedding检索，结果融合后精确率将近90%，是一个不错的成绩。

当听歌识曲没有结果时，该系统就会启用。

图中的是一些听歌识曲的入口，有Android桌面控件、鸿蒙hap、长按快捷方式和跨应用识别等。相信很多大家已经非常熟悉了。

-03-

听歌识曲技术应用举例

除了线上的场景可以使用到听歌识曲，还有哪些场景也可以使用到该技术呢？

在庞大曲库管理中，该技术也得以大展身手。曲库大有大的好处，也有大的难处。《孤勇者》非常非常火，有很多歌手想蹭热度，例如长音频、串烧、DJ版等。《孤勇者》类似的歌曲在曲库中多达上千首。

对于最不能容忍的盗歌，QQ音乐做了三大类六小类的分类。一级盗歌分为直接盗用、截取盗用；二级盗歌分为拼接盗用、改编盗用和节目素材；三级盗歌则为词曲盗用。无论哪一种，都不利于音乐行业的正向长久发展。

QQ音乐首先会经过音频指纹技术进行曲库范围内的聚类，根据歌曲信息做盗歌的自动化打标。根据打标结果，对可以歌手进行重点挖掘，进行盗版歌手打击。并且打击结果及时反馈给业务端，针对作弊多的歌手，再次进行打击。这样的惩罚措施实施下来，盗歌曝光量下降了近80%。

翻唱和盗歌存在些许区别。我们对翻唱进行了五档同歌组体系划分，意在更好的在平台分发。不同档之间有着严格的从属关系。最严格的为绝对同歌组，具有相同的音轨。其次为严格同歌组，具有相同的录音。之后为同演唱同歌组，有相同的表演者。再往后为同词曲同歌组，其作品相同。最后为同曲同歌组，只有作曲相同。

目前QQ音乐对其所有曲库都进行了这样的分组。使用的技术也是之前上文提到的那些。输出不同同歌组以更好的服务不同业务。

该技术不仅仅可以应用在音乐行业，在直播中对于真假唱辨别也十分高效。

还有很多其他的应用，这里不一一介绍。

-04-

听歌识曲技术展望

QQ音乐希望未来的听歌识曲可以有更多的个性化。用户维度，不同人喜好不同，有人喜欢原唱，有人喜欢翻唱；歌曲维度，同一个人对不同歌曲的版本有偏爱；场景维度，同一个人在不同场景下可能也有不同的选择。

我们也希望能和行业内的同行共享我们的技术，做大规模。QQ音乐进行了开源数据集发布，大家可以加入我们，一起将识别技术做大做强，在多媒体领域同频共振。谢谢大家。

参考文献：

[1] M. Muller, “Music synchronization,” in ¨ Fundamentals of Music Processing: Audio, Analysis, Algorithms, Applications, pp.355–385. Springer, Berlin, Heidelberg, 2015.

珍藏壁纸

Tue, 30 Jan 2024 14:53:42 +0800