> For the complete documentation index, see [llms.txt](https://docs.hits.ai/docs-ko/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.hits.ai/docs-ko/project-feature-ko/protein_structure/evaluate.md).

# 등록한 구조 평가하기

* 표적 단백질에 대한 활성 분자들의 실험값과 등록한 단백질 구조를 기반으로 한 AI 예측값 사이의 상관 분석을 통해 두 가지 중요한 정보를 얻을 수 있습니다.

> 1. 등록한 구조를 기반으로 계산한 AI 예측값의 신뢰성 평가
> 2. 추후 하이퍼 바인딩을 통해 유효한 분자를 선택할 때 참고할 기준값 제시

* 첫 번째 항목은 분자의 구조적 변화에 따른 활성값의 변화를 AI가 정량적으로 얼마나 잘 표현하는지 보여줍니다. 특히 hit to lead optimization과 같이 활성 개선을 위한 약물 구조 변화의 방향성 설정이 중요한 연구에 주의해야 할 항목입니다.
* 두 번째 항목은 가상탐색 기반의 유효물질 도출 과정에서 실험을 위한 후보 물질구조 선택의 기준이 되는 값입니다. 높은 활성과 낮은 활성의 분자 구조를 분리할 수 있는 적정 기준 값을 제시합니다.

지금부터 상관 분석 과정을 설명 드리도록 하겠습니다. 해당 튜토리얼에서는 PDB ID **4Z3V**를 가지고 진행합니다.

<figure><img src="/files/8NqeFBvYmkgVAAg10IKD" alt=""><figcaption></figcaption></figure>

* 위 그림과 같이 1번 <mark style="color:red;">**\[ N ]**</mark> 아이콘을 눌러 단백질 구조를 활성화 한 후 진행합니다.
* 참고로 결합 부위 설정을 위한 리간드는 **\[ A-4L6-705 ]**(2번)를 선택하였으며, 박스 규격은 3번과 같이 기본 설정값을 사용하였습니다.

### Correlation 데이터 수집

<figure><img src="/files/PN9uUL9U42ikRBHr2kWP" alt=""><figcaption></figcaption></figure>

* 상관 분석을 진행하기 위해서는 표적 단백질에 대한 활성 분자들의 실험값과 구조를 입력해야 합니다. 사용할 데이터는 아래와 같습니다. 분자 등록 방법은 [분자 등록하기](/docs-ko/project-feature-ko/undefined-2/add_molecule.md)에서 확인하실 수 있습니다.

<table><thead><tr><th width="117">분자 ID</th><th width="424">SMILES</th><th>IC50 (nM)</th></tr></thead><tbody><tr><td>Hit</td><td>NC(=O)c1nnc2ccccc2c1N</td><td>3540</td></tr><tr><td>7</td><td>Cn1cc(-c2cccc3c(N)c(C(N)=O)nnc23)cn1</td><td>240</td></tr><tr><td>8</td><td>Cc1ccncc1-c1cccc2c(N)c(C(N)=O)nnc12</td><td>100</td></tr><tr><td>10</td><td>NC(=O)c1nnc2c(-c3ccc4cn[nH]c4c3)cccc2c1N</td><td>12</td></tr><tr><td>11</td><td>Cc1cc2cn[nH]c2cc1-c1cccc2c(N)c(C(N)=O)nnc12</td><td>3.9</td></tr></tbody></table>

{% hint style="info" %}
분자가 많을수록 평가의 정확도가 높아지기 때문에 실험값이 알려진 분자들을 최대한 많이 등록해주시기 바랍니다 (최소 5개의 분자는 등록해주시길 권장합니다).
{% endhint %}

* 분자 등록을 하면 아래와 같이 분자 목록이 생성되는 것을 알 수 있습니다.&#x20;

<figure><img src="/files/upMHVcS90MFj4C2A7KP6" alt=""><figcaption></figcaption></figure>

* 아래 그림과 같이 각 분자의 실험값을 입력하고 하이퍼 바인딩 아이콘을 클릭하여  결합 에너지를 예측을   실행합니다.

<figure><img src="/files/UDyLVvotyEMuZ5Kl5o6D" alt=""><figcaption></figcaption></figure>

* 모든 분자에 대한 하이퍼 바인딩이 완료되면 **\[ Protein Structure ] -> \[** **Correlation ]**&#xC5D0;서 결과를 확인할 수 있습니다.

<figure><img src="/files/QAJlu8pBNqINdyvwUgCK" alt=""><figcaption></figcaption></figure>

* **\[ Correlation ]** 탭에서는 위 그림과 같이 AI 예측값과 (X축) 실험값 (Y축) 사이의 산포도를 확인할 수 있습니다.
* AI가 예측하는 값은 단백질과 리간드의 결합 에너지(kcal/mol)입니다. 결합 에너지는 IC50가 아닌 pIC50와 상관성을 가집니다. 따라서 **\[ 실험값 Log Scale ]**&#xC744; 클릭하여 Y축을 로그 단위로 전환해 줍니다.

<figure><img src="/files/zhnmiXI1MgXvtjJ2WAL6" alt=""><figcaption></figcaption></figure>

결과 해석에 앞서 위 그림을 보며 **\[ Correlation ]**&#xC5D0;서 제공하는 값들을 설명하도록 하겠습니다:

1. 상관성 그래프를 이루는 실험값의 종류. IC50 혹은 EC50.
2. 실험값을 나타내는 축(µM). 낮을 수록 활성이 좋음.
3. AI 예측값을 나타내는 축(kcal/mol). 값이 음수일 수록 더 결합력이 높음.
4. 각 분자의 정보 (그래프 각데이터 점에 마우스 커서를 올려 확인)
5. 상관 분석 해석. 5a/5b 영역을 클릭한 후 끌어서 기준선을 변경할 수 있음.
6. 실험값과 예측값의 결정 계수 R2 값

{% hint style="warning" %}
현재 R2값은 IC50/EC50를 구분하지 않고 모든 **\[ Ref. Molecule ]** 데이터에 대해 계산합니다.\
실험값 입력 시 IC50나 EC50 중 하나로 통일된 데이터로만 진행해주시길 바랍니다.\
해당 부분은 추후 개선할 예정입니다.
{% endhint %}

{% hint style="warning" %}
실험값 입력시 단위를 nM 또는 µM로 통일해 주시기 바랍니다. 서로 다른 단위의 동시 사용은 결과 해석에 있어 오류의 원인이 됩니다. \
해당 부분은 추후 개선할 예정입니다.
{% endhint %}

### Correlation 데이터 해석

<figure><img src="/files/sCx7uMRAtnbQLysk6TOg" alt=""><figcaption></figcaption></figure>

* 상관성 그래프에서 R2 값은 결정 계수로, AI 예측값이 실험값을 얼만큼 잘 설명지를 나타내는 계수입니다. 이 값은 0\~1 사이에서 존재하며, 1에 가까울 수록 실험값을 더 잘 설명할 수 있다고 볼 수 있습니다.&#x20;
* 예제에서 R2값은 0.88로, AI 예측값이 실험값을 매우 잘 설명하고 있음을 알 수 있습니다. 연구 목적에 따라 적정한 R2 값을 확보한 후 진행하시는 것을 추천합니다.
* 추가적으로, 위 그래프에선 해석을 위한 기준선이 그어져 있는 것을 볼 수있는데 (X축 -7.1 kcal/mol, Y축 0.1 µM) 이 구분선으로 나뉘는 사분면으로 데이터를 보다 더 심도있게 해석할 수 있습니다.
* 1사분면, 3사분면에 위치한 데이터들은 실험값과 예측값이 일치하는 값(TP; True positive)으로 볼 수 있으며, 2사분면은 실제 활성은 낮지만 예측값이 높게 나온 데이터(FP; False positive), 4사분면은 실제 활성은 높지만 예측값은 낮게 나온 데이터(FN; False negative)입니다.&#x20;
* 이 중 가장 주의해야 할 데이터는 2사분면에 있는 FP입니다. 가상탐색의 목표가 거대한 화합물 라이브러리에서 (수십만\~수억 개) 소수의 활성 가능성이 높은 분자를 선택하는 것이기 때문에 이러한 FP를 최소화하는 것이 매우 중요합니다.&#x20;
* 2사분면에 데이터가 많이 분포되어 있다면 활성이 없는 분자 구조를 선택할 가능성이 높아지게 됩니다. 따라서 해석 기준선은 FP 데이터를 최소화하는 값으로 설정하는 것이 좋습니다.
* 기준선을 설정하게 되면 추후 계산할 예측값에 대한 하한선을 정할 수 있게 됩니다. 예를 들어 위 그림의 경우, 분자에 대한 하이퍼 바인딩을 진행하여 나오는 AI 예측값이 -7.1 kcal/mol보다 낮게(좋게) 나오는 경우 해당 분자는 66.7%의 확률로 IC50 실험값이 0.1 µM일 것이라 알 수 있으므로, 예측값 중 -7.1 kcal/mol보다 좋게 나오는 분자들을 중심으로 결과를 확인하면 되겠습니다.&#x20;

이상 상관 분석을 통한 등록 구조 평가에 대한 튜토리얼을 마치도록 하겠습니다.