基于冠层光谱的早籼稻籽粒粗蛋白含量估测
湖南农业大学农学院,410128,湖南长沙
Estimation of Crude Protein Content in Grain of Early Indica Rice Based on Canopy Spectrum
Agronomy College of Hunan Agricultural University, Changsha 410128, Hunan, China
通讯作者:
收稿日期: 2019-12-30 修回日期: 2020-05-1 网络出版日期: 2020-07-11
基金资助: |
|
Received: 2019-12-30 Revised: 2020-05-1 Online: 2020-07-11
作者简介 About authors
田容才,主要从事作物信息技术研究,E-mail:
利用2019年长江中下游早籼稻早中熟组种质资源为材料,分析主要生育期冠层光谱反射率与籽粒粗蛋白含量的关系,筛选出可用于早籼稻籽粒粗蛋白含量预测的敏感生育期和敏感波长,建立了基于敏感波长和光谱参数的籽粒粗蛋白的一元线性、多元线性、指数和多项式预测模型,用决定系数(R2)、均方根误差(RMSE)和相对误差(RE)对模型精度进行评价,以期找到估测早籼稻籽粒粗蛋白含量的最适模型。研究发现,在孕穗期514、580、638和695nm波长处冠层一阶微分光谱反射率与籽粒粗蛋白含量相关性达到极显著水平;在基于敏感波长的估测模型中,四元线性模型估测效果最佳,其建模集R2、RMSE和RE分别为0.566、0.342%和2.874%,验证集R2、RMSE和RE分别为0.518、0.154%和1.303%;在基于光谱参数构建的估测模型中,DSI(R′514和R′638)为自变量构建的多项式模型估测效果较优,其建模集R2、RMSE和RE分别为0.638、0.312%和2.639%,验证集R2、RMSE和RE分别为0.581、0.230%和2.307%。
关键词:
In order to find the most suitable model of estimating the crude protein content of grains, we took the germplasm resources of early and middle maturity groups of early indica rice varieties in the middle and lower regimes of the Yangtze River in 2019 as materials, analyzed the relationships between the canopy spectra reflectance at the main growth stages and the crude protein content of grains, and also screened out the optimal period and sensitive wave length that could be used to predict the crude protein content in the early indica rice varieties. The univariate linear, multivariate linear, exponential, and polynomial prediction models for the crude protein content of grains based on sensitive wave lengths and spectra parameters were established, and the determination coefficient (R2), root mean square error (RMSE) and relative error (RE) were used to evaluate the accuracy of the models, for finding the best model to estimate the crude protein content of early indica rice. The results showed that the correlation between the first derivative spectral reflectance of the canopy and the crude protein content of the grain at 514, 580, 638 and 695nm reached an extremely significant level at booting stage. Among the estimation models based on sensitive wave length, the quaternary linear model had the best estimation effects, with 0.566, 0.342% and 2.874% for the calibration set R2, RMSE and RE, and 0.518, 0.154% and 1.303% for the validation set R2, RMSE and RE, respectively. In the estimation model that constructed based on the spectra parameters, the polynomial model which constructed by DSI (R′514, R′638) as the independent variable had a better estimation effects, and its calibration set R2, RMSE and RE were 0.638, 0.312% and 2.639%, respectively, the validation set R2, RMSE and RE were 0.581, 0.230% and 2.307%, respectively.
Keywords:
本文引用格式
田容才, 高志强, 卢俊玮.
Tian Rongcai, Gao Zhiqiang, Lu Junwei.
开放科学(资源服务)标识码(OSID):
高光谱遥感具有波段多、连续性强和信息量大等优点[3],已被广泛应用于作物养分诊断、长势监测、产量及品质预测等领域[4,5,6,7,8]。近年来,国内外学者在利用光谱技术进行作物籽粒蛋白质含量估测方面进行了大量研究。Rodrigues等[9]利用机载高光谱仪获取了小麦多时相高分辨率影像数据,以此估测籽粒蛋白含量,发现生育前期700和574nm波长构建的归一化光谱指数(normalized difference spectral index,NDSI)及生育后期707和523nm波长构建的NDSI可作为籽粒蛋白质含量估测的最佳指标。周冬琴等[10]和薛利红等[11]利用多年氮肥试验,把采集的生育期冠层反射光谱数据对收获后水稻籽粒蛋白质含量进行估测,得出孕穗期与籽粒蛋白质含量相关性最好。Onoyama等[12]研究表明,利用地面高光谱成像平台预测水稻籽粒蛋白质含量,只需获得不大于0.85m×0.85m分辨率的图像即可。Song等[13]研究了土壤理化性质的时空变化对小麦籽粒蛋白质含量的影响,得出小麦生育后期的氮平衡指数图可用于籽粒蛋白质含量分区。孙雪梅等[14]依据叶片光谱–叶片叶绿素含量–叶片氮含量–籽粒蛋白质含量的思路,建立了基于叶片光谱的水稻籽粒蛋白质含量的预测模型,模型拟合度达0.99。由此可见,关于籽粒蛋白质含量遥感估测的试验设计多为研究不同氮素水平或环境中的氮含量差异导致的作物蛋白质含量的差异,从而建立估测模型,而针对基因型存在差异的多个水稻品种籽粒蛋白质含量估算模型的研究较少。
本研究采集了11个早籼稻材料关键生育期冠层光谱反射率数据及成熟收获后籽粒粗蛋白含量数据,通过生育期冠层原始光谱、一阶导数光谱与籽粒粗蛋白含量的相关性分析,筛选敏感波长,并基于单波长、波长组合和构建的光谱参数等作为自变量,建立早籼稻籽粒粗蛋白含量的一元线性、多元线性指数和多项式预测模型,采用决定系数(R2)、均方根误差(RMSE)、相对误差(RE)对模型精度进行验证,选出最适模型,以期为早籼稻品质遥感提供参考依据。
1 材料与方法
1.1 试验设计
试验于2019年3-7月在湖南省水稻研究所试验田(113°5′ E,28°12′ N,海拔44.9m)进行。供试品种为2019年长江中下游早籼稻区域试验早中熟组,共11个,分别为中早75、中佳早27、中两优286、陵两优230、中早67、中早72、中早73、株两优213、株两优229、金早香1号和中早35。采用随机区组试验,小区面积13.34m2,行距20cm,株距20cm,每个品种设3次重复,共33个小区。采取育苗移栽方式种植,于2019年3月25日播种,4月22日移栽,7月23日收获。复合肥375kg/hm2和菜枯600kg/hm2作基肥,追肥2次,分别为分蘖肥(尿素75kg/hm2和氯化钾157.5kg/hm2)和穗肥(尿素37.5kg/hm2)。其他田间管理同一般大田生产方式进行。
1.2 数据采集
1.2.1 冠层光谱数据采集 冠层光谱数据采集用FieldSpecHandHeld 2便携式地物光谱仪(ASD,美国),仪器波长范围325~1 075nm,光谱分辨率3nm@700nm,光谱采样间隔1.5nm,视场角25°。于早籼稻孕穗期(6月3日)、始穗期(6月15日)、齐穗期(6月20日)、乳熟期(6月28日)、蜡熟期(7月3日)和黄熟期(7月16日)6个关键生育时期在晴朗无云少风的11:00-13:00期间采集冠层光谱反射率数据。每小区均匀选取5个采样点,每个采样点重复测定3次,以平均值作为该小区的冠层光谱反射率数据。测定时仪器光纤探头距水稻冠层上方70cm,且每小区测定前均用标准白板校正。每次数据需采集495条光谱曲线。
1.2.2 籽粒粗蛋白含量的测定 水稻成熟收获时,每小区随机选取长势一致的3兜水稻植株,仅留下稻穗,用尼龙编织袋装好,带回实验室自然阴干。2个月后,人工脱粒,用小型糙米机去壳得糙米,将糙米磨细成粉,利用KJELTECTM8400全自动凯氏定氮仪测定籽粒粗蛋白含量。
1.3 试验方法
1.3.1 光谱指数选择 根据水稻光谱特征及前人的研究成果,选取3个常用的光谱指数用于水稻籽粒粗蛋白含量的估算,具体计算公式见表1。
表1 光谱指数的计算公式
Table 1
光谱指数 Spectral index | 名称Name | 公式 Formula |
---|---|---|
NDSI | 归一化差值光谱指数 Normalized difference spectral index | (Rλ1-Rλ2)/(Rλ1+Rλ2) |
DSI | 差值光谱指数 Difference spectral index | Rλ1-Rλ2 |
RSI | 比值光谱指数Ratio spectral index | Rλ1/Rλ2 |
Note: Rλ1 and Rλ2 indicate the spectral reflectance of the wavelength of λ1 and λ2, respectively
注:Rλ1和Rλ2分别表示波长在λ1和λ2处的光谱反射率
1.3.2 数据分析 11个早籼稻材料,每个材料3次重复,共采集33个籽粒粗蛋白含量数据。随机选择7个材料的21组数据作为建模集,以剩余4个材料的12组数据作为验证集。首先,利用View Spec Pro 6.0软件计算原始光谱数据平均值并导出,用Matlab2018a中的Sgolayfilt函数进行Savitzky Golay平滑降噪处理及一阶求导计算;其次,进行6个关键生育时期的冠层原始光谱及一阶导数光谱反射率数据与对应的小区籽粒粗蛋白含量的相关性分析,筛选敏感波长;最后,利用SPSS 17.0软件建立基于敏感单波长、波长组合和光谱参数的一元线性、多元线性、指数和多项式模型,用OriginPro 9.1软件进行绘图。采用R2、RMSE和RE等指标对模型进行验证与评价。R2越大,RMSE和RE越小,说明模型的精度越好。RMSE和RE的计算公式如下:$RMSE=\sqrt{\frac{\sum_{i=1}^{n}(y_{i}-\hat{y}_{i})^{2}}{n}}$,$RE=\frac{1}{n}\sum_{i=1}^{n}\frac{|\hat{y}_{i}-y_{i}|}{y_{i}}$,式中,yi为实测值,$\hat{y}_{i}$为预测值,n为样本数。
2 结果与分析
2.1 不同早籼稻品种光谱差异
11个早籼稻品种孕穗期及之后的6个关键生育时期的平均原始光谱反射率(图1)表明,所有品种均表现出绿色植物特有的光谱曲线特征,即“绿峰”、“红谷”和“近红外平台”。但反射率在品种间存在差异,株两优229反射率大于其他品种,中佳早27反射率最低。在可见光波段,品种间光谱差异较小,仅株两优229“绿峰”高于其他品种;在近红外波段,各品种光谱差异较明显。有着相同亲本的中佳早27、中早72与中早73品种反射率差异较大,亲本相近的中早67、中早75和中早35反射率大小也存在差异,但父母本差异较大的品种中早73与金香早1号、中两优286与陵两优230、株两优213与中早75等反射率却相近。
图1
2.2 早籼稻生育期冠层反射光谱特征
对11个早籼稻材料6个关键生育期冠层原始光谱及一阶微分光谱反射率数据进行平均计算,得出早籼稻各关键生育时期的冠层原始及一阶微分光谱反射率曲线(图2)。由图2A可知,在可见光波段(350~720nm),光谱反射率随生育期的递进呈上升趋势,表现为(孕穗期、始穗期)<(齐穗期、乳熟期、蜡熟期)<黄熟期,这与水稻叶片营养转运及叶绿素含量变化密切相关[15]。在孕穗期和始穗期,水稻处于营养生长转生殖生长的过程中,叶片叶绿素含量高,植株发育健康,叶色较绿,叶片对红光、蓝光吸收能力强;齐穗期“绿峰”特征突出;在乳熟期和蜡熟期,叶片养分逐渐向穗部转移,叶片叶绿素含量降低,绿光波段光谱反射率下降,但高于孕穗期和始穗期;黄熟期,叶片变黄,叶绿素含量急剧下降,反射率上升,变幅增大,“绿峰”特征不显著。在近红外波段(720~1 300nm),受水稻叶片细胞壁及细胞空间折射的影响[16],反射率随生育期的递进呈先增加后降低的趋势,具体表现为在孕穗期至齐穗期不断上升,在齐穗期至黄熟期下降,在黄熟期最低。红边是绿色植物特有的光谱特征,通过红边的监测,可进行作物生长状况诊断[17]。红边位置(λred)的“红移”和“蓝移”现象能表征作物的生长态势。
图2
图2
早籼稻不同生育期冠层原始(A)及一阶微分(B)光谱反射率
Fig.2
Original (A) and first derivative (B) spectral reflectance of early indica rice at different growth stages
由图2B可知,早籼稻孕穗期到齐穗期,随着生育期的递进波长由732nm右移到736nm,即“红移”,表明作物生长状况较好,而到了乳熟期和蜡熟期,波长左移到728nm,黄熟期则移动到701nm,即“蓝移”,这是由于进入黄熟期,叶片枯黄,叶绿素含量降低所致。
2.3 早籼稻冠层光谱反射率与籽粒粗蛋白含量的相关性分析
图3
图3
早籼稻生育期冠层原始(A)及一阶微分(B)光谱反射率与籽粒粗蛋白含量相关系数
Fig.3
The correlation coefficients between canopy original (A) and first derivative (B) spectral reflectance and grain crude protein content in early indica rice during different growth periods
由图3A可知,6个生育时期内,齐穗期与籽粒粗蛋白含量在全波段内呈负相关,其余5个生育时期在大部分波段范围内均呈正相关关系,其中孕穗期与籽粒粗蛋白含量相关性最高,在511~608nm和695~758nm波段内达极显著相关。由图3B可知,籽粒粗蛋白含量与一阶微分光谱的相关系数变异性较大,相关系数不稳定,仅在500~750nm范围内相对稳定,其中孕穗期501~538、557~584、610~618、634~643和686~725nm等波段,黄熟期560~564、596~603和628~632nm等波段达极显著相关。因此,选择相关系数大且较稳定的孕穗期一阶微分光谱作为早籼稻籽粒粗蛋白含量估测的敏感波长,分别为514(r=0.709)、580(r=-0.684)、638(r=-0.733)和695nm(r=0.680)。
2.4 基于敏感波长的籽粒粗蛋白含量估测
对敏感波长进行单波长和多波长组合后,将其对应的一阶微分光谱反射率数据与籽粒粗蛋白含量建立一元和多元线性回归模型,并计算模型R2、RMSE和RE(表2)。由表2可知,建模效果总体表现为多元模型优于一元模型,以基于4个波长组合建立的线性回归模型效果最优,模型R2、RMSE和RE分别为0.566、0.342%和2.874%。在基于单波长建立的估测模型中,以638nm波长处对应的光谱反射率建模效果最好,模型R2、RMSE和RE分别为0.538、0.353%和2.870%。在基于2个波长建立的模型中,以514、638nm和580、638nm组合效果较好,模型R2分别为0.560和0.548,RMSE分别为0.344%和0.349%,RE分别为2.962%和2.967%。在基于3个波长建立的模型中,以514、638和695nm组合效果最好,模型R2、RMSE和RE分别为0.565、0.342%和2.868%。
表2 基于敏感波长的早籼稻籽粒粗蛋白含量估测
Table 2
波长及组合Wavelength and its combination | 估测模型Estimating model | R2 | RMSE (%) | RE (%) |
---|---|---|---|---|
R′514 | y=4257.309R′514+5.885 | 0.503 | 0.366 | 3.294 |
R′580 | y=-6997.267R′580+6.476 | 0.468 | 0.378 | 3.400 |
R′638 | y=-10457.111R′638+7.341 | 0.538 | 0.353 | 2.870 |
R′695 | y=1456.315R′695+6.021 | 0.462 | 0.380 | 3.465 |
(R′514,R′580) | y=3253.278R′514-1841.650R′580+5.935 | 0.508 | 0.364 | 3.312 |
(R′514,R′638) | y=1784.503R′514-6786.287R′638+6.566 | 0.560 | 0.344 | 2.962 |
(R′514,R′695) | y=4186.184R′514+26.538R′695+5.882 | 0.503 | 0.366 | 3.295 |
(R′580,R′638) | y=-2061.051R′580-7981.623R′638+6.946 | 0.548 | 0.349 | 2.967 |
(R′580,R′695) | y=-3918.876R′580+691.696R′695+6.145 | 0.481 | 0.373 | 3.414 |
(R′638,R′695) | y=-8410.792R′638+351.739R′695+6.911 | 0.544 | 0.350 | 2.967 |
(R′514,R′580,R′638) | y=1881.122R′514+225.038R′580-6857.824R′638+6.567 | 0.560 | 0.344 | 2.956 |
(R′514,R′580,R′695) | y=3623.759R′514-2138.226R′580-198.561R′695+5.968 | 0.508 | 0.364 | 3.309 |
(R′514,R′638,R′695) | y=3087.336R′514-7494.482R′638-582.393R′695+6.712 | 0.565 | 0.342 | 2.868 |
(R′580,R′638,R′695) | y=-1884.608R′580-7883.872R′638+53.229R′695+6.915 | 0.548 | 0.349 | 2.974 |
(R′514,R′580,R′638,R′695) | y=2956.682R′514-562.819R′580-7375.90R′638-632.008R′695+6.721 | 0.566 | 0.342 | 2.874 |
Note: R′λ indicates the first derivative spectral reflectance of the wavelength of λ(nm), the same below
注:R′λ表示波长λ(nm)处对应的一阶微分光谱反射率,下同
2.5 基于光谱参数的籽粒粗蛋白含量估测
将筛选出的4个敏感波长514、580、638和695nm进行两两组合,构建归一化光谱指数(NDSI)、差值光谱指数(DSI)和简单比值光谱指数(RSI),并与籽粒粗蛋白含量进行相关性分析,由相关性分析结果得出NDSI(R′638,R′695)、DSI(R′514,R′638)和RSI(R′638,R′695)与籽粒粗蛋白含量相关系数最高,分别为0.597、-0.737和0.585。根据以上3个光谱参数构建籽粒粗蛋白含量的一元线性、指数和多项式预测模型。由表3可知,以DSI(R′514,R′638)为自变量建立的多项式模型对籽粒粗蛋白含量的估测效果最好,R2、RMSE和RE分别为0.638、0.312%和2.639%;当NDSI(R′638,R′695)为建模变量时,指数模型籽粒粗蛋白含量的估测效果较优,R2、RMSE和RE分别为0.362、0.416%和3.544%;当RSI(R′638,R′695)为自变量时,则以多项式模型籽粒粗蛋白含量的估测效果较优,R2、RMSE和RE分别为0.358、0.415%和3.572%。总体来看,基于光谱参数构建的籽粒粗蛋白估测模型中,多项式模型效果优于指数模型和线性模型。
表3 基于光谱参数的早籼稻籽粒粗蛋白含量估测
Table 3
光谱参数Parameter | 模型Model | 回归方程Regression equation | R2 | RMSE (%) | RE (%) |
---|---|---|---|---|---|
NDSI(R′638,R′695) | 线性Linear | y=15.3x-8.556 | 0.356 | 0.416 | 3.535 |
指数Exponential | y=1.408e1.616x | 0.362 | 0.416 | 3.544 | |
多项式Polynomial | y=44.553x2-90.223x+53.9 | 0.359 | 0.415 | 3.584 | |
DSI(R′514,R′638) | 线性Linear | y=-3205.643x+6.101 | 0.544 | 0.368 | 3.059 |
指数Exponential | y=6.626e-338.051x | 0.550 | 0.354 | 3.151 | |
多项式Polynomial | y=-10340000x2-26457.474x-6.826 | 0.638 | 0.312 | 2.639 | |
RSI(R′638,R′695) | 线性Linear | y=0.242x+12.494 | 0.342 | 0.421 | 3.491 |
指数Exponential | y=13.013e0.026x | 0.348 | 0.422 | 3.585 | |
多项式Polynomial | y=0.036x2+1.135x+17.92 | 0.358 | 0.415 | 3.572 |
2.6 模型优选与验证
通过上述分析,基于敏感波长的估测模型选取y=2956.682R′514-562.819R′580-7375.9R′638-632.008R′695+6.721(R2=0.566、RMSE=0.342%、RE=2.874%)、基于光谱参数的估测模型选取以DSI(R′514,R′638)为建模变量构建的多项式模型y=-10340000x2-26457.474x-6.826(R2=0.638、RMSE=0.312%、RE=2.639%)作为籽粒粗蛋白含量的估测模型。用剩余的4个早籼稻品种籽粒粗蛋白含量数据对模型精度进行检验,将模型预测值与实测值进行线性拟合,并计算验证集的R2、RMSE和RE(图4)。由图4可知,基于敏感波长构建的模型验证集R2达0.518,RMSE和RE分别为0.154%和1.303%;基于光谱参数建立的估测模型验证集R2达0.581,RMSE和RE分别为0.230%和2.307%。由此可知,基于4个波长组合构建的多元线性模型和基于光谱参数建立的多项式模型在不同早籼稻品种籽粒粗蛋白含量估测方面具有一定的适用性。
图4
图4
基于敏感波长(A)和光谱参数(B)的早籼稻籽粒粗蛋白含量估测模型精度检验
Fig.4
Accuracy test of crude protein content estimation model for early indica rice seeds based on sensitive wavelength (A) and spectral parameter (B)
3 讨论
利用高光谱数据对水稻籽粒粗蛋白含量进行无损估测主要有2种形式,一种是利用生育期水稻光谱反射率数据对成熟收获后的稻米粗蛋白含量进行预测[18,19,20,21],另一种是通过室内测定收获后水稻籽粒反射光谱数据[22,23,24]。本研究采用第1种方式,采集了11个早籼稻材料关键生育期冠层光谱反射率数据,运用相关性分析和回归分析,对其成熟收获后籽粒粗蛋白含量进行估测,发现不同基因型早籼稻品种冠层光谱反射率存在差异,表现为可见光波段差异较小,近红外波段差异显著,与陈瑛瑛等[25]研究结果一致。但本研究发现,父母本相近的品种在近红外波段的反射率差异大于父母本差异较大的品种,是数据采集过程中环境因素的影响还是基因型差异的原因还有待进一步研究。本研究通过相关性分析,筛选出敏感波长,将敏感波长两两组合构建了NDSI、DSI和RSI等光谱指数,以其预测籽粒粗蛋白含量,结果表明,以DSI为建模变量构建的模型效果优于NDSI和RSI,与谢晓金等[18]研究结果类似。但以光谱指数为变量构建的模型的R2较以敏感波长构建的模型的R2并未显著提高,与当前得出的光谱指数相关性高于单波长的研究结果不同,这可能是由于按照相关性高的原则筛选敏感波长,筛选出的波长较接近所致。水稻籽粒蛋白含量的形成来自于营养器官中氮素的转运,而氮含量的高低直接影响光谱反射率,因此,遥感–农学指标–蛋白质含量[26]、作物生长模型与遥感信息同化[27,28]和氮素运转规律模型[29]等将作为下一步水稻蛋白质含量遥感预测的研究方向。建模方法对预测模型精度影响较大[30],本研究采用一元线性、多元线性、指数和多项式等线性回归方法构建预测模型,预测精度有限,而支持向量机、随机森林和人工神经网络等现代机器学习算法[31,32]能有效提高模型预测精度,故今后将从建模方法上做进一步探究。
4 结论
通过对11个早籼稻材料关键生育期冠层原始及一阶微分光谱反射率与其对应的籽粒粗蛋白含量的相关性分析,筛选敏感波长,并基于敏感波长和光谱参数建立了早籼稻籽粒粗蛋白含量估测模型,得到如下结论:早籼稻孕穗期514、580、638和695nm波长处对应的一阶微分光谱反射率与籽粒粗蛋白含量相关性较好,可作为籽粒粗蛋白含量估测的敏感波长;在基于敏感波长的估测模型中,多项式模型y=2956.682R′514-562.819R′580-7375.90R′638-632.008R′695+6.721的效果最优,建模集和验证集R2、RMSE和RE分别为0.566、0.342%、2.874%和0.518、0.154%、1.303%;在基于光谱参数的估测模型中,以DSI(R′514,R′638)为变量建立的多项式模型y=-10340000x2-26457.474x-6.826的估测效果最好,预测模型建模集和验证集R2、RMSE和RE分别为0.638、0.312%、2.639%和0.581、0.230%、2.307%。
参考文献
Multi-temporal and spectral analysis of high-resolution airborne imagery for precision agriculture:assessment of wheat grain yield and grain protein content
,
Estimation of rice protein content before harvest using ground-based hyperspectral imaging and region of interest analysis
,
Spatial variability analysis of within-field winter wheat nitrogen and grain quality using canopy fluorescence sensor measurements
,
Integrating remote sensing and gis for prediction of rice protein contents
,
Estimating rice grain protein contents with SPOT/HRV data acquired at maturing stage
,
A hierarchical interannual wheat yield and grain protein prediction model using spectral vegetative indices and meteorological data
,
Comparison of different regression models and validation techniques for the assessment of wheat leaf area index from hyperspectral data
,
Effects of growth stage development on paddy rice leaf area index prediction models
,
/
〈 | 〉 |