LeVanLoi miscellaneous articles

  1. Trang chủ
  2. Lưu
  3. Thẻ
  4. Hỏi - Đáp

 
 
LeVanLoi'log, ⌚ 2024-11-13
***
What is the Law of Total Probability?
Tác giả: Lê Văn Lợi tổng hợp

English:

The Law of Total Probability is a fundamental rule in probability theory that provides a way to calculate the probability of an event AA by considering all the possible ways AA can occur, based on a partition of the sample space.

Definition

Let B1,B2,,BnB_1, B_2, ldots, B_n be a partition of the sample space ΩOmega, meaning:

  • The events B1,B2,,BnB_1, B_2, ldots, B_n are mutually exclusive (BiBj=B_i cap B_j = emptyset for iji neq j).
  • The events B1,B2,,BnB_1, B_2, ldots, B_n together cover the entire sample space (i=1nBi=Ωbigcup_{i=1}^n B_i = Omega).

If P(Bi)>0P(B_i) > 0 for all ii, then for any event AA, the probability of AA can be expressed as:

P(A)=i=1nP(ABi)=i=1nP(ABi)P(Bi),P(A) = sum_{i=1}^n P(A cap B_i) = sum_{i=1}^n P(A | B_i) P(B_i),

where:

  • P(ABi)P(A cap B_i) is the joint probability of AA and BiB_i.
  • P(ABi)P(A | B_i) is the conditional probability of AA given BiB_i.

Intuition

The Law of Total Probability breaks down the probability of AA by considering all the scenarios in which AA can occur, as determined by the partition {B1,B2,,Bn}{B_1, B_2, ldots, B_n}. Each term in the sum represents the contribution to P(A)P(A) from AA happening under a specific condition BiB_i.


Example

Suppose a factory produces widgets, and there are three machines M1,M2,M3M_1, M_2, M_3 contributing to production:

  • P(M1)=0.5P(M_1) = 0.5, P(M2)=0.3P(M_2) = 0.3, P(M3)=0.2P(M_3) = 0.2.
  • The probability of producing a defective widget depends on the machine:
    • P(DefectiveM1)=0.01P(text{Defective} | M_1) = 0.01,
    • P(DefectiveM2)=0.03P(text{Defective} | M_2) = 0.03,
    • P(DefectiveM3)=0.05P(text{Defective} | M_3) = 0.05.

To find the total probability of producing a defective widget:

P(Defective)=P(DefectiveM1)P(M1)+P(DefectiveM2)P(M2)+P(DefectiveM3)P(M3).P(text{Defective}) = P(text{Defective} | M_1) P(M_1) + P(text{Defective} | M_2) P(M_2) + P(text{Defective} | M_3) P(M_3).

Substituting the values:

P(Defective)=(0.01)(0.5)+(0.03)(0.3)+(0.05)(0.2)=0.005+0.009+0.01=0.024.P(text{Defective}) = (0.01)(0.5) + (0.03)(0.3) + (0.05)(0.2) = 0.005 + 0.009 + 0.01 = 0.024.

Thus, the total probability of producing a defective widget is 0.0240.024 or 2.4%2.4%.


Connection to Bayes' Theorem

The Law of Total Probability is often a precursor to Bayes' Theorem, where the conditional probabilities P(ABi)P(A | B_i) and P(Bi)P(B_i) are used to calculate the posterior probability P(BiA)P(B_i | A).

---

Vietnamese:

Luật Xác Suất Toàn Phần là một quy tắc cơ bản trong lý thuyết xác suất, cung cấp cách tính xác suất của một sự kiện AA bằng cách xem xét tất cả các cách mà AA có thể xảy ra, dựa trên một phân hoạch của không gian mẫu.


Định nghĩa

Giả sử B1,B2,,BnB_1, B_2, ldots, B_n là một phân hoạch của không gian mẫu ΩOmega, nghĩa là:

  • Các sự kiện B1,B2,,BnB_1, B_2, ldots, B_n không giao nhau (BiBj=B_i cap B_j = emptyset với iji neq j).
  • Các sự kiện B1,B2,,BnB_1, B_2, ldots, B_n bao phủ toàn bộ không gian mẫu (i=1nBi=Ωbigcup_{i=1}^n B_i = Omega).

Nếu P(Bi)>0P(B_i) > 0 với mọi ii, thì đối với bất kỳ sự kiện nào AA, xác suất của AA có thể được biểu diễn như sau:

P(A)=i=1nP(ABi)=i=1nP(ABi)P(Bi),P(A) = sum_{i=1}^n P(A cap B_i) = sum_{i=1}^n P(A | B_i) P(B_i),

trong đó:

  • P(ABi)P(A cap B_i) là xác suất đồng thời của AA và BiB_i.
  • P(ABi)P(A | B_i) là xác suất có điều kiện của AA khi biết BiB_i.

Trực giác

Luật Xác Suất Toàn Phần chia nhỏ xác suất của AA bằng cách xem xét tất cả các kịch bản mà AA có thể xảy ra, được xác định bởi phân hoạch {B1,B2,,Bn}{B_1, B_2, ldots, B_n}. Mỗi hạng tử trong tổng đại diện cho đóng góp của AA xảy ra dưới một điều kiện cụ thể BiB_i.


Ví dụ

Giả sử một nhà máy sản xuất các sản phẩm, với ba máy M1,M2,M3M_1, M_2, M_3 tham gia sản xuất:

  • P(M1)=0.5P(M_1) = 0.5, P(M2)=0.3P(M_2) = 0.3, P(M3)=0.2
  • Xác suất sản phẩm bị lỗi phụ thuộc vào máy:
    • P(Loˆ˜iM1)=0.01P(text{Lỗi} | M_1) = 0.01,
    • P(Loˆ˜iM2)=0.03P(text{Lỗi} | M_2) = 0.03,
    • P(Loˆ˜iM3)=0.05P(text{Lỗi} | M_3) = 0.05.

Để tìm xác suất tổng của việc sản xuất một sản phẩm lỗi:

P(Loˆ˜i)=P(Loˆ˜iM1)P(M1)+P(Loˆ˜iM2)P(M2)+P(Loˆ˜iM3)P(M3).P(text{Lỗi}) = P(text{Lỗi} | M_1) P(M_1) + P(text{Lỗi} | M_2) P(M_2) + P(text{Lỗi} | M_3) P(M_3).

Thay các giá trị:

P(Loˆ˜i)=(0.01)(0.5)+(0.03)(0.3)+(0.05)(0.2)=0.005+0.009+0.01=0.024.P(text{Lỗi}) = (0.01)(0.5) + (0.03)(0.3) + (0.05)(0.2) = 0.005 + 0.009 + 0.01 = 0.024.

Vậy, xác suất tổng của việc sản xuất một sản phẩm lỗi là 0.0240.024 hay 2.4%2.4%.


Kết nối với Định lý Bayes

Luật Xác Suất Toàn Phần thường là bước chuẩn bị để áp dụng Định lý Bayes, nơi các xác suất có điều kiện P(ABi)P(A | B_i) và P(Bi)P(B_i) được sử dụng để tính xác suất hậu nghiệm P(BiA)