Làm thế nào để tôi trọng tài một tờ giấy?

Cập nhật dưới đây

Chúng ta đều biết tầm quan trọng của đánh giá ngang hàng. Đây là hình thức chính của kiểm soát chất lượng và phản hồi về nghiên cứu. Tuy nhiên, đối với một nhà nghiên cứu ở giai đoạn đầu (như tôi), đôi khi nó có thể là một hệ thống / quy trình khó hiểu.

Theo đó, có một số chuyên luận về quy trình trọng tài khoa học đưa ra hướng dẫn. Hai ví dụ (rất khác nhau) từ khoa học máy tính - bài báo năm 1994 này của Parberry và một bài gần đây của Cormode - đưa ra lời khuyên tuyệt vời (mặc dù sau này có thể là một trò nghịch ngợm).

Ở đây, tôi muốn thu hút lời khuyên rộng hơn từ các thành viên giàu kinh nghiệm hơn trong cộng đồng này về quá trình xem xét, đặc biệt liên quan đến đặc thù của khoa học máy tính lý thuyết.

1. Các tiêu chí chính để xác định tầm quan trọng của kết quả của bài báo là gì? Làm thế nào để tôi đánh giá liệu một bài báo nên được chấp nhận cho hội nghị / tạp chí? Có quan trọng để xác minh tính đúng đắn?
2. Các yếu tố chính của một báo cáo trọng tài, và phần nào là quan trọng nhất? Có phải luôn luôn cần đưa ra một khuyến nghị về sự chấp nhận (không)? Những gì diễn ra trong báo cáo và những gì chỉ dành cho biên tập viên?
3. Đánh giá cho các hội nghị khác với các tạp chí như thế nào? Làm thế nào để báo cáo cho các hội nghị khác với những báo cáo trong các tạp chí? (Làm thế nào để tôi đánh giá "sự tự tin" trong khuyến nghị của mình?) Phiên bản tạp chí có khác biệt đáng kể so với bài báo không?
4. Nếu tôi không hiểu bài báo thì sao? ... bằng chứng? (Đó là lỗi của tôi hay của họ?)
5. Những gì về lỗi đánh máy / ngữ pháp? Điều gì nếu có rất nhiều trong số họ?
6. Tôi nên dành bao nhiêu thời gian cho một báo cáo?
7. Có bao nhiêu báo cáo một năm tôi dự kiến ​​sẽ viết? Khi nào có thể chấp nhận từ chối yêu cầu trọng tài?

Tất nhiên, bất kỳ câu hỏi và câu trả lời có liên quan khác về chủ đề này đều được khuyến khích, vì đây là CW.

Câu hỏi này được lấy cảm hứng từ (đánh cắp từ) một bài tương tự tại MathOverflow .

Cập nhật 15/02/2011:

Tôi vẫn rất quan tâm đến việc có thêm đầu vào cho câu hỏi này, đặc biệt là liên quan đến việc xem xét các tài liệu hội nghị và thành viên ủy ban chương trình. (Hai vai trò này là những con thú khác nhau và cả hai không giống như một trọng tài cho một bài báo, IMO.) Được cấp, tư cách thành viên ủy ban chương trình hiếm hơn so với trọng tài hoặc đánh giá (và đó chưa phải là đặc quyền của tôi), nhưng là một trách nhiệm mà mọi nhà nghiên cứu trong khoa học máy tính lý thuyết phải đảm nhận cuối cùng.

• Thời gian. Tôi dự kiến ​​sẽ dành bao nhiêu thời gian để làm thành viên ủy ban hoặc người đánh giá hội nghị? Đưa ra xác suất rằng tôi có thể nhận được mười hoặc có lẽ nhiều hơn nữa để xử lý trong không gian vài tuần, làm thế nào để tôi hết thời gian? Những điều quan trọng nhất để dành thời gian trên là gì?

• Sự tự tin. Điều gì nếu bài báo quá xa lĩnh vực chuyên môn của tôi? Những yếu tố nào cần đi vào việc đề cử / yêu cầu người khác xem lại bài nộp? Nếu nó không quá xa lĩnh vực chuyên môn của tôi và tôi chọn xem xét nó, khi nào được phép đưa ra đánh giá độ tin cậy là 1?

• Tiêu chí. Có sự khác biệt quan trọng giữa các tạp chí và hội nghị. Một số bài báo rất quan trọng không được công bố trên các tạp chí. Một số giấy tờ rất quan trọng trước đây không xuất hiện trong các hội nghị. Sự khác biệt đáng kể nhất trong các tiêu chí để đánh giá giấy tờ trong các cài đặt này là gì?

• Khuyến nghị. Do đó, có ít khuyến nghị hơn có thể được cung cấp cho các tác giả của một bài báo hội nghị, chủ yếu là do các hạn chế về không gian và thời gian. Ngoài ra, thường chỉ có một vòng đánh giá. Một xem xét khác là báo cáo của tôi trở nên công khai cho toàn bộ ủy ban mạnh mẽ. Phạm vi đề xuất / chỉ thị mà tôi có thể cung cấp là gì?

Như trước đây, nếu bạn nghĩ rằng tôi đã bỏ lỡ bất kỳ câu hỏi cụ thể nào, hãy cho tôi biết hoặc chỉnh sửa trực tiếp. Đây là CW, sau tất cả.

Những suy nghĩ mới này được thúc đẩy một phần bằng cách đọc một bài báo mà Suresh đã đề cập trên blog của mình .

1. Theo hiểu biết tốt nhất của bạn, bài báo có đóng góp đáng kể, được trình bày tốt và đúng đắn cho tình trạng của nghệ thuật không? Nếu bài báo không đạt được bất kỳ tiêu chí nào trong ba tiêu chí, thật công bằng khi từ chối nó chỉ vì lý do đó, bất kể hai tiêu chí kia.

2. Đây là những gì tôi nghĩ rằng một báo cáo nên có. Tất cả mọi thứ nên được hiển thị cho tác giả, ngoại trừ có thể cho những cáo buộc nghiêm trọng về hành vi sai trái.

   a. Một bản tóm tắt nhanh chóng của bài báo, để giúp biên tập viên đánh giá chất lượng của kết quả và giúp thuyết phục cả tác giả và biên tập viên mà bạn thực sự đọc và hiểu bài báo. Đặt kết quả trong bối cảnh lớn hơn của nó. Bao gồm một lịch sử của các phiên bản trước, ngay cả khi các tác giả đưa nó vào trình. Hãy tôn trọng, nhưng trung thực một cách tàn nhẫn.

   b. Thảo luận về điểm mạnh và điểm yếu của bài báo, về tính đúng đắn, mới lạ, rõ ràng, tầm quan trọng, tính tổng quát, tác động tiềm năng, sự tao nhã, độ sâu kỹ thuật, sự mạnh mẽ, v.v. Nếu bạn nghi ngờ hành vi phi đạo đức (đạo văn, đệ trình song song, dữ liệu nấu chín) , mô tả sự nghi ngờ của bạn. Hãy tôn trọng, nhưng trung thực một cách tàn nhẫn.

   c. Một đề xuất cho biên tập viên về hành động tiếp theo - chấp nhận, chấp nhận với sửa đổi nhỏ, yêu cầu vòng đánh giá thứ hai hoặc từ chối hoàn toàn. Hãy nhớ rằng bạn đang đưa ra một đề nghị, không phải là một quyết định; nếu bạn không thể quyết định, hãy nói như vậy. Hãy tôn trọng, nhưng trung thực một cách tàn nhẫn.

   Cười mở miệng. Phản hồi chi tiết hơn cho tác giả - biện minh chi tiết hơn cho đề xuất của bạn, yêu cầu làm rõ trong phiên bản cuối cùng, thiếu tài liệu tham khảo, lỗi trong các bằng chứng, đơn giản hóa, khái quát hóa, lỗi chính tả, v.v ... Hãy tôn trọng, nhưng trung thực một cách thô bạo.

3. Báo cáo hội nghị nên ngắn hơn; ủy ban chương trình có hàng trăm giấy tờ để xem xét cùng một lúc. Việc có nên có sự khác biệt giữa các bài báo và hội thảo hay không là tùy thuộc vào tạp chí (và gián tiếp, tùy thuộc vào cộng đồng). Hầu hết các tạp chí khoa học máy tính lý thuyết không nhấn mạnh vào một sự khác biệt đáng kể; nó là khá phổ biến cho các phiên bản hội nghị và tạp chí của một bài lý thuyết về cơ bản là giống hệt nhau. Khi nghi ngờ, hãy hỏi biên tập viên!

4. Nếu bạn vẫn không hiểu bài báo sau khi thực hiện một nỗ lực thiện chí, đó là lỗi của tác giả, hoặc có thể là của biên tập viên, nhưng chắc chắn không phải của bạn. Trách nhiệm chính của tác giả là truyền đạt hiệu quả kết quả của họ tới khán giả của họ và một biên tập viên giỏi sẽ gửi cho bạn một tờ giấy cho trọng tài chỉ khi họ nghĩ bạn là đại diện tốt của khán giả dự định của bài báo. Nhưng bạn phải thực hiện một nỗ lực thiện chí; đừng mong đợi ngay lập tức hiểu mọi thứ (bất cứ điều gì?) ngay lần đọc đầu tiên của bạn.

5. Nếu có nhiều lỗi, thậm chí không đọc bài báo; chỉ đề nghị từ chối với lý do giấy không được viết chuyên nghiệp. Mặt khác, nếu bạn thực sự muốn kỹ lưỡng, hãy bao gồm một danh sách đại diện về ngữ pháp, chính tả và lỗi chấm câu, nhưng đừng tự tìm ra mọi lỗi cuối cùng. Hãy tôn trọng, nhưng trung thực một cách tàn nhẫn.

6. Dự kiến ​​sẽ dành khoảng một giờ mỗi trang, chủ yếu là để nội hóa các kết quả và kỹ thuật của bài báo. Hãy ngạc nhiên khi nó không thực sự mất nhiều thời gian. (Nếu mất ít thời gian hơn đáng kể so với điều đó, thì tờ giấy cực kỳ thanh lịch và được viết tốt, bạn biết rất rõ về khu vực đó, hoặc giấy rất kỹ thuật. Đừng nhầm lẫn ba khả năng này.)

7. Bạn nên viết ít nhất là nhiều báo cáo trọng tài như những người khác viết cho bạn. Nếu việc này mất nhiều thời gian hơn là viết giấy tờ của riêng bạn, thì bạn không dành đủ thời gian cho giấy tờ của chính mình.

Rất nhiều phụ thuộc vào hội nghị / tạp chí, vì mỗi cộng đồng đã phát triển phong cách riêng của họ, vì vậy biết những gì được mong đợi của hội nghị / tạp chí chắc chắn sẽ giúp ích một chút.

1. Các tiêu chí chính để xác định tầm quan trọng của kết quả của bài báo là gì? Làm thế nào để tôi đánh giá liệu một bài báo nên được chấp nhận cho hội nghị / tạp chí? Có quan trọng để xác minh tính đúng đắn?

Tiêu chí: Tính mới / tính nguyên bản, tác động dự kiến, tính chính xác / hiệu lực, tính mở rộng (bao nhiêu vấn đề được nghiên cứu? + Định lý? + Thực hiện? + Kết quả thử nghiệm?), Chất lượng trình bày. Các tiêu chí để chấp nhận tạp chí cao hơn nhiều so với các hội nghị. Đối với một hội nghị, bạn cho điểm dựa trên các tiêu chí trước đó. Xác minh tính chính xác càng nhiều càng tốt là rất quan trọng, đặc biệt là đối với các bài báo.

2. Các yếu tố chính của một báo cáo trọng tài, và phần nào là quan trọng nhất? Có phải luôn luôn cần đưa ra một khuyến nghị về sự chấp nhận (không)? Những gì diễn ra trong báo cáo và những gì chỉ dành cho biên tập viên?

Báo cáo của trọng tài có ít nhất 4 yếu tố chính: Tóm tắt bài báo và những đóng góp của nó; điểm ủng hộ chấp nhận bài báo; điểm so với bài báo; ý kiến ​​chính, bao gồm các điểm sẽ được giải quyết; ý kiến ​​nhỏ (lỗi chính tả, vv). Bạn phải luôn luôn đưa ra một dấu hiệu chấp nhận hoặc từ chối hoặc mức độ sửa đổi cần thiết. Nhận xét cho biên tập viên có thể bao gồm: một bản đánh giá ngắn, có lẽ cùn; bất kỳ tuyên bố nghi ngờ; chi tiết về đạo văn có thể hoặc đệ trình song song của bài báo; ...

3. Đánh giá cho các hội nghị khác với các tạp chí như thế nào? Làm thế nào để báo cáo cho các hội nghị khác với những báo cáo trong các tạp chí? (Làm thế nào để tôi đánh giá "sự tự tin" của tôi trong khuyến nghị của tôi?) Phiên bản tạp chí có khác biệt đáng kể so với bài báo không?

Các đánh giá tạp chí có xu hướng mở rộng hơn và có thể bao gồm rất nhiều điều mà các tác giả phải làm để đưa bài viết của họ vào trạng thái chấp nhận được, chẳng hạn như "thực hiện và đánh giá những ý tưởng này". Sự tự tin của bạn nên dựa trên cảm giác tự tin của bạn. Nói chung điều này sẽ đi kèm với kinh nghiệm, vì vậy hãy bắt đầu bảo thủ. Nó nằm ngoài lĩnh vực của bạn, mặc dù bạn có thể hiểu bài báo, bảo thủ cũng là một ý tưởng hay. CƠ HỘI rất khó để đánh giá tính nguyên bản của một bài báo bên ngoài lĩnh vực của bạn. Một số tạp chí nói rằng đệ trình tạp chí phải chứa một lượng đáng kể tài liệu mới so với phiên bản hội nghị. 30% là con số tôi đã nghe.

4. Nếu tôi không hiểu bài báo thì sao? ... bằng chứng? (Đó là lỗi của tôi hay của họ?)

Điều này có thể thay đổi. Đôi khi nó sẽ là lỗi của bạn, đôi khi nó sẽ là của họ. Sử dụng phán đoán của bạn. Có thể yêu cầu một đồng nghiệp nhìn vào tờ giấy. Nếu bạn hoàn toàn không thể hiểu nó và nó không phải do định dạng kém, thì có lẽ liên hệ với chủ tịch PC và giải thích rằng đây là trường hợp. Trong mọi trường hợp, điều này nên được phản ánh trong điểm tự tin của bạn. Nếu bài báo không thể được hiểu do văn bản hoặc ngôn ngữ kém hoặc vì nó đã được gửi sớm, thì điều này nên được viết trong báo cáo của bạn.

5. Điều gì về lỗi đánh máy / ngữ pháp? Điều gì nếu có rất nhiều trong số họ?

Khi tôi còn trẻ, tôi sẽ báo cáo từng lỗi chính tả và ngữ pháp. Bây giờ tôi không có thời gian. Báo cáo một số luôn luôn hữu ích: chọn những người nghiêm túc nhất. Cũng khuyên rằng giấy nên được hiệu đính (bởi người bản ngữ). Đối với các bài báo được kỹ lưỡng hơn. Nếu nó có quá nhiều lỗi, thì không nên gửi đến một tạp chí, mà một mình là lý do để từ chối (IMHO).

6. Tôi nên dành bao nhiêu thời gian cho một báo cáo?

Tối đa một ngày cho một bài báo hội nghị, bao gồm cả thời gian đọc. Đối với các bài báo, đặc biệt là những bài dài, đọc kỹ bài có thể mất cả tuần.

7. Tôi dự kiến ​​sẽ viết bao nhiêu báo cáo? Khi nào có thể chấp nhận từ chối yêu cầu trọng tài?

Số tiền dự kiến ​​có thể thay đổi trong khoảng từ 5 đến 30. Là một nhà nghiên cứu cơ sở, bạn sẽ được cung cấp một ít để thực hành. Khi bạn vượt qua các lớp, bạn sẽ tham gia đánh giá nhiều hơn khi bạn trở thành thành viên của PC. Sau đó, khi bạn tiến xa hơn nữa, bạn sẽ có một đội ngũ nghiên cứu sinh tiến hành đánh giá cho bạn. Hơn 30 trong một năm là khá khó khăn.

Như tôi đã nói ở trên, tôi muốn nói rằng nên từ chối yêu cầu trọng tài khi (1) bạn không cảm thấy rằng bạn có đủ chuyên môn để thực hiện đánh giá tốt hoặc (2) bạn có quá nhiều đánh giá (hoặc khác) cam kết tại thời điểm này. Nó cũng được coi là hình thức tốt để đề xuất một số người đánh giá thay thế có thể, trong trường hợp bạn từ chối.

Tôi đưa ra ở đây 2 xu của mình và tôi thêm điểm thứ bảy:

1. Tôi phải làm bao nhiêu báo cáo mỗi năm?

Câu trả lời của tôi

1. Tất nhiên các tiêu chí không giống nhau cho các hội nghị và tạp chí. Đối với cả hai tính chính xác có lẽ là tiêu chí quan trọng nhất. Sau đó, tiêu chí thứ hai của tôi là tính mới của kết quả cho các hội nghị, trong khi đó là tác động của kết quả đối với các tạp chí. Đối với một hội nghị, điều quan trọng là phải đánh giá xem bài báo có được khán giả quan tâm hay không, nhưng đây là một cuộc gọi phán xét có thể được thực hiện bởi các chủ tịch PC chứ không phải các nhà phê bình.

2. Trước hết, ngoại trừ nếu bạn nghi ngờ có gian lận hoặc thực hành xấu và không chắc chắn (thì bạn chỉ nên nói chuyện với biên tập viên), ý kiến ​​của tôi là bạn nên nói mọi thứ với các tác giả. Tôi nghĩ điều quan trọng là phải trung thực với các tác giả và do đó luôn đưa ra một khuyến nghị. Trong một báo cáo, bạn nên mô tả chủ đề, kết quả (để các tác giả có thể thấy rằng bạn hiểu bài viết), sau đó bạn nên đánh giá giá trị của kết quả (tính mới của trạng thái nghệ thuật, độ sâu kỹ thuật, tính chính xác, rõ ràng) và chỉ ra mọi vấn đề. Cuối cùng, bạn nên đưa ra khuyến nghị của mình, có thể là lời khuyên cho các tác giả (chẳng hạn như "Tôi nghĩ rằng kết quả này là tốt, nhưng phù hợp hơn cho hội nghị A hơn là điều này"). Trong một số ít trường hợp, bạn sẽ được cung cấp những giấy tờ không xứng đáng được nộp,

3. Tôi nghĩ rằng, ngoại trừ trong trường hợp thư mời tạp chí về một vấn đề đặc biệt liên quan đến một bài báo hội nghị, cần có sự khác biệt đáng kể.

4. hai trường hợp: không thể hiểu được (lỗi của họ) vì vậy bạn có thể từ chối giấy vì lý do đó hoặc bạn không phải là người đánh giá tốt cho bài báo đó. Khi nó xảy ra bạn biết đó là trường hợp nào, nếu không bạn sẽ ở trường hợp thứ hai!

5. Tôi không phải là một người nói tiếng Anh bản địa, vì vậy có một sự thiên vị trong câu trả lời của tôi. Nhưng tôi nghĩ đó không phải là lý do để từ chối một bài báo (trừ một số trường hợp cực đoan).

6. Thời gian cần thiết. Nó có thể dao động từ 1 giờ (một bài báo xấu trong một hội thảo) đến vài ngày (một bài báo rất liên quan đến một tạp chí hàng đầu).

7. Cá nhân, tôi dự kiến ​​sẽ thực hiện 3 báo cáo cho mỗi bài tôi đã gửi (và vâng, thực tế là rất nhiều, có lẽ việc xem xét có lẽ là một trong những nhiệm vụ tốn thời gian nhất của tôi - trước khi có thể giảng dạy).