Làm thế nào là số liệu thống kê đang được áp dụng trong khoa học máy tính để đánh giá độ chính xác trong tuyên bố nghiên cứu?


8

Tôi đã nhận thấy trong cuộc đời học tập ngắn ngủi của mình rằng nhiều bài báo được xuất bản trong khu vực của chúng tôi đôi khi không có nhiều sự nghiêm ngặt về thống kê. Đây không chỉ là một giả định; Tôi đã nghe các giáo sư nói như vậy.

Ví dụ, trong các môn học CS tôi thấy các bài báo được xuất bản tuyên bố rằng phương pháp X đã được quan sát là có hiệu quả và điều này được chứng minh bởi ANOVA và ANCOVA, tuy nhiên tôi không thấy tài liệu tham khảo nào cho các nhà nghiên cứu khác đánh giá rằng các ràng buộc cần thiết đã được quan sát. Có vẻ như ngay khi một số 'chức năng và tên phức tạp' xuất hiện, thì điều đó cho thấy nhà nghiên cứu đang sử dụng một phương pháp và phương pháp rất đáng tin cậy rằng 'anh ta phải biết mình đang làm gì và thật tốt nếu anh ta không mô tả các ràng buộc' , giả sử, đối với phân phối hoặc cách tiếp cận nhất định, để cộng đồng có thể đánh giá nó.

Đôi khi, có những lý do để biện minh cho giả thuyết với kích thước mẫu nhỏ như vậy.

Câu hỏi của tôi ở đây được đặt ra như một sinh viên của các ngành CS như một người khao khát tìm hiểu thêm về thống kê: Làm thế nào để các nhà khoa học máy tính tiếp cận thống kê?

Câu hỏi này có vẻ như tôi đang hỏi những gì tôi đã giải thích, nhưng đó là ý kiến của tôi . Tôi có thể sai, hoặc tôi có thể tập trung vào một nhóm các học viên trong khi các nhóm nghiên cứu CS khác có thể đang làm một việc khác tuân theo các thực tiễn tốt hơn liên quan đến sự nghiêm ngặt về thống kê.

Vì vậy, cụ thể, điều tôi muốn là "Khu vực của chúng tôi có hoặc không được thống kê vì các sự kiện đã cho (ví dụ về giấy tờ, sách hoặc một bài viết thảo luận khác về việc này đều ổn)". Câu trả lời @Patrick gần hơn với điều này.


Xin vui lòng cho tôi biết nếu câu trả lời của tôi không hoàn toàn như những gì bạn đang tìm kiếm ... Tôi có thể tìm thấy một số ví dụ, nếu bạn muốn, nhưng có vẻ như bạn đã có rất nhiều chính mình. Ngoài ra, trừ khi bạn có quyền truy cập vào các thủ tục tố tụng, có thể khó đưa ra các liên kết đến các giấy tờ.
Patrick87

Tôi có quyền truy cập vào thư viện kỹ thuật số của IEEE và ACM, các ví dụ sẽ rất được hoan nghênh trên bài đăng của bạn, tôi có thể sử dụng chúng, sau này khi tôi lấy bằng tiến sĩ để cho các sinh viên tôi kết thúc việc tư vấn các ví dụ tốt và xấu về điểm này. Và vâng, đây là môn thể thao về quan điểm và tuyên bố mà tôi đang tìm kiếm.
Oeufcoque Penteano

Lưu ý rằng phần lớn của khoa học máy tính hoàn toàn không theo kinh nghiệm và do đó không (ab) sử dụng số liệu thống kê. Trên một ghi chú lén lút, những người kỹ thuật phần mềm "biết" viết nhiều và nói ít (liên quan). Bước một sẽ là tìm hiểu số liệu thống kê; một vài trong số các nhà nghiên cứu kỹ thuật phần mềm đầy tham vọng mà tôi biết đã từng tham gia một khóa học hoặc bất cứ điều gì về thống kê.
Raphael

Điểm tốt. Tôi đã quen nghe điều này là tốt. Điều gì sẽ được xem xét tiếp theo?
Oeufcoque Penteano

Câu trả lời:


11

Là một sinh viên tốt nghiệp ngành khoa học máy tính, người đã tiếp xúc với nghiên cứu trong các lĩnh vực khác ngoài khoa học máy tính và có nhóm nghiên cứu làm việc trong lĩnh vực khoa học máy tính nơi có thể áp dụng thống kê một cách hiệu quả, tôi có thể cung cấp kinh nghiệm của mình; số dặm của bạn có thể thay đổi.

Nói chung, ngay cả nghiên cứu khoa học có ý nghĩa nhất cũng có thể không áp dụng chặt chẽ phân tích thống kê vào kết quả, và theo kinh nghiệm của tôi, điều này không phải lúc nào cũng loại trừ các bài báo bao gồm các kết quả được phân tích kém như vậy được chấp nhận để xuất bản. Lĩnh vực mà nhóm của tôi hoạt động chủ yếu là điện toán phân tán và kiến ​​trúc máy tính hiệu năng cao. Thông thường, nghiên cứu liên quan đến các thiết kế thử nghiệm hiệu suất mà không thể dễ dàng hiểu được về mặt phân tích trong chi tiết cần thiết. Vì vậy, kết quả thực nghiệm thường được sử dụng làm bằng chứng cho các yêu cầu bồi thường.

Rõ ràng, các thí nghiệm nên được thiết kế - và phân tích kết quả - theo cách để cung cấp một số niềm tin rằng các kết quả có ý nghĩa thống kê. Hầu hết thời gian, điều này không được thực hiện, ngay cả ở một số địa điểm quan trọng nhất. Khi phân tích thống kê được áp dụng, nó gần như không bao giờ nghiêm ngặt theo bất kỳ ý nghĩa nào; điều mà hầu hết mọi người thường thấy (và người ta rất vui khi thấy điều đó!) là một thử nghiệm được lặp lại n lần, đối với một số n được chọn tùy ý , trong đó thường là . Việc lựa chọn các thanh lỗi (nếu có được chỉ định) dường như chủ yếu là vấn đề sở thích hoặc sở thích cá nhân.1<n<5

Tóm lại, không, không chỉ bạn; và nó không chỉ là kỹ thuật phần mềm. Nói chung, dựa trên kinh nghiệm của tôi, một số lĩnh vực nghiên cứu máy tính dường như không ổn định. Thật vậy, nó thậm chí có thể gây bất lợi cho khả năng tồn tại của một bài báo được đệ trình để xem xét các thống kê. Điều đó không có nghĩa là tôi thấy tình hình thỏa đáng; cách xa nó. Nhưng đây những ấn tượng của tôi. Ví dụ, bạn có thể xem phần 5 của bài viết này, đã được trình bày tại Supercomputing 2011, một trong những hội nghị cao cấp nhất trong lĩnh vực điện toán hiệu năng cao. Cụ thể, hãy xem một số thảo luận về kết quả trong phần 5 và xem liệu bạn có đi đến cùng kết luận mà tôi làm về sự nghiêm ngặt của phân tích thống kê kết quả thực nghiệm hay không.

Tổng quát hơn, sự thiếu sót này có thể là triệu chứng của một điều kiện trong một số lĩnh vực điện toán để xuất bản nhiều bài báo hơn là ít hơn, nhắm mục tiêu vào các hội nghị thay vì tạp chí, và nhấn mạnh tiến bộ gia tăng hơn là những cải tiến quan trọng và cơ bản trong hiểu biết. Bạn có thể tham khảo bài viết này , cung cấp cái nhìn sâu sắc có giá trị dọc theo những dòng này.


Cảm ơn bạn rất nhiều vì ý kiến ​​của bạn. Tôi rất vui khi thấy những người khác nghĩ theo cách này. Tôi hy vọng cộng đồng có những ý kiến ​​khác để chia sẻ hoặc về việc bỏ phiếu ít nhất cho ý kiến ​​của nhà nước. :) Quá tệ ở đây Tôi vẫn là một tân binh vì vậy tôi không thể bỏ phiếu bất cứ điều gì.
Oeufcoque Penteano

@OeufcoquePenteano Này, mọi người đều là tân binh khi họ bắt đầu. Đây là một câu hỏi hay và nêu lên một điểm thú vị về một thiếu sót tiềm năng trong các tiêu chuẩn nghiên cứu máy tính. Tôi sẽ thêm vào câu trả lời ngay. Cũng lưu ý rằng câu hỏi này có thể bị đóng (sớm hơn, muộn hơn), bởi vì các câu hỏi như thế này (cho đến nay) đã được xem xét với một số nghi ngờ và vì trang web này vẫn đang trong giai đoạn thử nghiệm, cộng đồng vẫn đang cố gắng xác định những gì là trên và ngoài chủ đề ở đây.
Patrick87

Nhưng đề xuất ban đầu đề cập đến khoa học và nghiên cứu máy tính và điều này đáp ứng tiêu chí này phải không? Tại thời điểm này, không có tiêu chí nào tinh tế hơn sẽ loại bỏ câu hỏi này ra khỏi trò chơi, hoặc sẽ có? Hoặc có bất kỳ gia đình ngăn xếp nào khác mà tôi có thể thảo luận về câu hỏi này? Cảm ơn bạn đã khen ngợi và chú ý đến việc trả lời nó :)
Oeufcoque Penteano

1
Đối với việc triển khai bằng chứng khái niệm điểm chuẩn, tôi đấu tranh để xem tầm quan trọng có thể được thiết lập. Dường như không thể áp dụng số liệu thống kê ở đây; lấy số đo một mình không phải là thống kê. Điều quan trọng là các phép đo được diễn giải cẩn thận và với quan điểm, mặc dù.
Raphael

4
@ Patrick87: Tôi không muốn ủng hộ việc bỏ qua ý nghĩa thống kê. Đó khó khăn, mặc dù. Ngẫu nhiên, tôi làm điểm chuẩn cho luận án thạc sĩ của tôi. Tôi chạy công cụ của mình (nhiều lần) trên hai đến ba máy và chú ý đo thời gian liên quan. Tôi có thể làm gì nữa? Tôi thậm chí không thể bắt đầu sử dụng các số liệu thống kê nghiêm ngặt bởi vì tôi không biết mô hình ngẫu nhiên để thực thi thuật toán đa lõi với JVM ở giữa có thể là gì.
Raphael

2

Kỹ thuật phần mềm bao gồm nhiều tính năng. Hai trong số đó là yếu tố con người và thước đo chất lượng.

Hãy nói rằng tôi muốn làm phân tích năng suất. Việc thu thập dữ liệu sẽ khó so với phân tích thuật toán vì dữ liệu là về năng suất của con người. Ngoài ra các thước đo khách quan của chất lượng là không dễ dàng để đạt được.

10 dòng mã mỗi ngày cho một hệ thống điện tử hàng không so với 150 dòng mã mỗi ngày cho một ứng dụng trên điện thoại thông minh, cái nào có năng suất cao hơn và cái nào có chất lượng tốt hơn? Và nếu cả hai đều tuyên bố rằng họ đang sử dụng cùng một phương pháp? So sánh chúng là so sánh táo và cam.

Đôi khi rất khó để đạt được số đo chính xác của hiệu quả mã. Ví dụ, tôi đưa vào một loạt các biến không đáng tin cậy và rất nhiều dòng mã cho các biến đó, nói cho mục đích gỡ lỗi. Điều này giúp tăng năng suất của tôi ở giai đoạn phát triển. Cuối cùng, tôi loại bỏ tất cả chúng và tôi nói rằng tôi cải thiện mã của mình để đạt được hiệu quả.

Sau đó, một nhà nghiên cứu đến và thực hiện phân tích hiệu quả. Anh ta có thể coi những điều trên là tiếng ồn và chỉ tập trung vào kết quả cuối cùng. Một số nhà nghiên cứu chú ý đến tiếng ồn. Sau đó, bạn sẽ thấy các bài viết với kết luận khác nhau.

Thống kê được cho là một công cụ để hỗ trợ các nhà nghiên cứu tìm ra nguyên nhân của các vấn đề. Nhiều nhà nghiên cứu sử dụng nó để rút ra kết luận. Đây là những gì bạn đã quan sát.


Một số nhận xét ở trên có thể khiến OP nghĩ rằng tôi chống lại việc sử dụng số liệu thống kê trong công nghệ phần mềm. Nếu vậy, tôi muốn làm cho mình rõ ràng.

Tôi không chống lại số liệu thống kê. Phân tích thống kê có thể cho bạn biết X thể đúng. Nhưng, đó không phải là kết thúc của nghiên cứu. Nhiệm vụ tiếp theo là tìm hiểu xem X có thực sự đúng không và tại sao. Đây là những gì tôi tin rằng khoa học là về - để tìm ra sự thật.

Có hay không công nghệ phần mềm thuộc về khoa học máy tính là một vấn đề khác.


Xin chào, cảm ơn. Tôi nghĩ rằng bạn có thể nhận xét về câu hỏi của bạn để điều này sẽ làm việc. Bạn có nghĩa là các kỹ sư phần mềm chỉ có thể được phép chính thức hơn về thống kê vì những điều không chắc chắn? Tôi không biết. Xem, tôi có một cuốn sách tôi nhận được từ một giáo sư dạy thống kê cho các nhà nghiên cứu xã hội. Tôi nghĩ rằng mặt của họ còn tệ hơn chúng ta, và họ thậm chí còn có những ví dụ được xác định rõ trong một cuốn sách cho điều đó. Tại sao, chúng tôi, thậm chí có mã tĩnh để thử các cách tiếp cận khác nhau để không thể?
Oeufcoque Penteano

Tôi tự hỏi liệu đây có phải là khoảng cách tôi thường nghe về nghiên cứu và những người thực sự làm việc trong ngành công nghiệp. Tôi đồng ý với bạn rằng đối với phía nhà phát triển, bạn không quan tâm đến số liệu thống kê, nhưng làm cho chương trình hoạt động. Nhưng, vâng, người quản lý dự án sẽ cần nó để dự đoán liệu nhà phát triển có chậm tiến độ hay không, có thể? Vẫn đang xem xét phần 'yêu cầu nghiên cứu' của câu hỏi, bạn có tin rằng độ chính xác trong thống kê sẽ vô dụng vì chẳng hạn như suy ra rằng có rất ít thứ mà các nhà phát triển làm giảm một cách vô thức năng suất và sự thích thú trong công việc? Mối quan tâm của tôi nằm ở đó.
Oeufcoque Penteano

Bạn có nghĩa là đi vào nghiên cứu thử nghiệm sẽ coi mọi người là đối tượng? Tôi đã nói về việc đo mã để hiểu điều này, không thử nghiệm với mọi người. Xin lỗi, tôi chỉ bối rối tuyên bố cuối cùng của bạn. Nhưng, cảm ơn vì sự hiểu biết của bạn!
Oeufcoque Penteano

Được rồi, tôi hiểu rồi. Vì tôi là một tân binh về điều này nên tôi không biết rằng các cuộc thảo luận dài về các bình luận sẽ là một thực tiễn tồi nên tôi sẽ dừng lại ở thời điểm này. Cảm ơn bạn đã hiểu biết của bạn. Tôi sẽ đợi thêm một vài ngày nữa và chọn câu trả lời cho nó (trong trường hợp câu hỏi không được chiếm dụng cho cộng đồng này và bị đóng cửa).
Oeufcoque Penteano

Tôi tự hỏi khi bạn đang nói về cùng một thống kê. Trong công chúng nói chung, một "thống kê" thường là một loạt các phép đo. Trong toán học và khoa học, "thống kê" việc ước tính các tham số mô hình đã cho dữ liệu / phép đo. Do đó, việc liệt kê số lượng LỘC thậm chí không được thống kê theo nghĩa khoa học; nếu bạn có thể (chính xác) ước tính tham số "mức tiêu thụ cà phê của nhà phát triển trung bình" từ dữ liệu LỘC, thì bạn đang thực hiện thống kê (có liên quan); bạn đã tìm thấy các sự kiện tương quan.
Raphael

1

Thống kê là khó , và thường phản trực giác. Bên cạnh đó, mong muốn "thực hiện thêm một thử nghiệm" để xem liệu có hiệu ứng (và dừng lại khi nó xuất hiện) hay không, đặc biệt nếu các thử nghiệm tốn kém (thời gian, công việc, không chỉ là tiền). Cũng nên nhớ rằng xuất bản một bài báo về cách thiết lập cẩn thận, thử nghiệm dài và tốn kém cho thấy không có mối quan hệ có ý nghĩa thống kê nào có xu hướng là không thể.

Đặc biệt trong công nghệ phần mềm có nhiều biến không kiểm soát được. Để giải thích cho họ, bạn cần nhiều bản sao thử nghiệm và bạn có được tài nguyên để thực hiện một hoặc hai lần tốt nhất.


-3

Câu hỏi của tôi ở đây được đặt ra như một sinh viên của các ngành CS như một người khao khát tìm hiểu thêm về thống kê: Làm thế nào để các nhà khoa học máy tính tiếp cận thống kê?

có một số câu hỏi ở trên & một số câu hỏi không giống với câu hỏi tiêu đề & trong một số cách, câu hỏi này có một tiền đề / quan niệm sai lầm tiềm ẩn về sự thiếu kết nối giữa thống kê và CS. câu hỏi chung là về giao diện của khoa học máy tính và thống kê.

có một vùng rộng lớn, tràn ngập sự chồng chéo dữ dội ở một số khu vực và đó là một xu hướng ngày càng tăng với lĩnh vực dữ liệu lớn đang nổi lên mạnh mẽ mới . tại một số trường (ví dụ, ngay cả các trường "Ivy League" ưu tú), bằng cấp CS được kết hợp chặt chẽ với các khoa toán và thống kê và một số trường có chuyên ngành chung . có một mối liên kết rất mạnh mẽ trong lĩnh vực CS / thống kê của Machine Learning . Ngoài ra, lĩnh vực tin sinh học tương đối mới có nền tảng thống kê CS + rất mạnh.

có toàn bộ lĩnh vực Thống kê tính toán tập trung vào giao diện!

Thống kê tính toán, hay tính toán thống kê, là giao diện giữa thống kê và khoa học máy tính. Đây là lĩnh vực của khoa học tính toán (hay tính toán khoa học) dành riêng cho khoa học thống kê toán học. Khu vực này cũng đang phát triển nhanh chóng, dẫn đến lời kêu gọi rằng một khái niệm rộng hơn về điện toán nên được dạy như một phần của giáo dục thống kê chung. [1]

vâng, đồng ý, như đã chỉ ra trong câu hỏi, có nhiều bài báo CS không sử dụng số liệu thống kê, bao gồm cả các tình huống (như đánh giá các thí nghiệm thực nghiệm) trong đó có thể có tính ứng dụng cao và có liên quan, nhưng chính xác thì có thể nói như vậy lĩnh vực khoa học, ví dụ toán học, và thậm chí nhiều lĩnh vực ứng dụng hơn như vật lý.

có nhiều cách để sử dụng / áp dụng số liệu thống kê, một số ít nghiêm ngặt hơn các cách khác và không phải tất cả các bối cảnh đều yêu cầu áp dụng đầy đủ các khía cạnh rất tiên tiến của thống kê. ví dụ: chỉ chạy nhiều thử nghiệm và vẽ các thanh lỗi cho độ lệch thống kê (hoặc thậm chí chỉ là trung bình! ) là cách sử dụng cơ bản của thống kê. sử dụng nghiêm ngặt hơn bao gồm kiểm tra giả thuyết, nhưng có một quan sát chung trong lĩnh vực rằng nhiều bài báo khoa học không thực hiện kiểm tra giả thuyết nghiêm ngặt ngay cả khi nó có thể được áp dụng.

Ngoài ra, câu hỏi này được gắn thẻ với . đây là chuyên ngành của tôi và một lớp thống kê được yêu cầu phải vượt qua để hoàn thành bằng cấp này tại trường của tôi và để có được một chuyên ngành được chứng nhận kỹ thuật (ví dụ ABET ), đây có thể là trường hợp của nhiều trường đại học khác. nếu muốn có nhiều nguyên tắc loại CS được áp dụng và nghiêm ngặt hơn như ứng dụng thống kê, người ta có thể đi theo con đường "công nghệ phần mềm" trong giáo dục.


như đã chỉ ra trong một nhận xét khác, việc sử dụng số liệu thống kê ngay cả trong TCS trừu tượng hơn bao gồm phân tích độ phức tạp trung bìnhhọc PAC, v.v.
vzn

1
Phân tích độ phức tạp trường hợp trung bình không sử dụng số liệu thống kê. Stochatics, chắc chắn, nhưng đó là một điều khác.
Raphael

phản đối kịch liệt! nó rõ ràng sử dụng các khái niệm thống kê quan trọng / cơ bản nhưng có lẽ không được dạy rằng nó làm! quan điểm học thuật của các lĩnh vực có xu hướng được ngăn cách & nó được phản ánh ở đây! imho bất kỳ tham chiếu nào đến phân phối đầu vào, v.v ... rõ ràng là một sự mời gọi các khái niệm thống kê ...
vzn
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.